加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 （https://www.hunanwang.cn/）- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置： 首页 > 建站 > 正文

Java 多线程爬虫及分布式爬虫架构探索

发布时间：2019-10-18 03:08:06 所属栏目：建站 来源：平头哥
导读：这是 Java 爬虫系列博文的第五篇，在上一篇 Java 爬虫处事器被屏障，不要慌，咱们换一台处事器 中，我们简朴的聊反爬虫计策和反反爬虫要领，首要针对的是 IP 被封及其对应步伐。前面几篇文章我们把爬虫相干的根基常识都讲的差不多啦。这一篇我们来聊一聊爬
副问题[/!--empirenews.page--]

这是 Java 爬虫系列博文的第五篇，在上一篇 Java 爬虫处事器被屏障，不要慌，咱们换一台处事器 中，我们简朴的聊反爬虫计策和反反爬虫要领，首要针对的是 IP 被封及其对应步伐。前面几篇文章我们把爬虫相干的根基常识都讲的差不多啦。这一篇我们来聊一聊爬虫架构相干的内容。

Java 多线程爬虫及漫衍式爬虫架构试探

前面几章内容我们的爬虫措施都是单线程，在我们调试爬虫措施的时辰，单线程爬虫没什么题目，可是当我们在线上情形行使单线程爬虫措施去收罗网页时，单线程就袒暴露了两个致命的题目：

  • 收罗服从出格慢，单线程之间都是串行的，下一个执行举措必要等上一个执行完才气执行
  • 对处事器的CUP等操作率不高，想想我们的处事器都是 8核16G，32G 的只跑一个线程会不会太挥霍啦

线上情形不行能像我们当地测试一样，不在乎收罗服从，只要能正确提取功效就行。在这个时刻就是款子的年月，不行能给你时刻去逐步的收罗，以是单线程爬虫措施是行不通的，我们必要将单线程改成多线程的模式，来晋升收罗服从和进步计较机操作率。

多线程的爬虫措施计划比单线程就要伟大许多，可是与其他营业在高并发下要担保数据安详又差异，多线程爬虫在数据安详上到要求不是那么的高，由于每个页面都可以被看作是一个独立体。要做许多几何线程爬虫就必需做好两点：第一点就是同一的待收罗 URL 维护，第二点就是 URL 的去重， 下面我们简朴的来聊一聊这两点。

维护待收罗的 URL

多线程爬虫措施就不能像单线程那样，每个线程独自维护这本身的待收罗 URL，假如这样的话，那么每个线程收罗的网页将是一样的，你这就不是多线程收罗啦，你这是将一个页面收罗的多次。基于这个缘故起因我们就必要将待收罗的 URL 同一维护，每个线程从同一 URL 维护处领取收罗 URL ，完成收罗使命，假如在页面上发明新的 URL 链接则添加到 同一 URL 维护的容器中。下面是几种适实用作同一 URL 维护的容器：

  • JDK 的安详行列，譬喻 LinkedBlockingQueue
  • 高机能的 NoSQL，好比 Redis、Mongodb
  • MQ 动静中间件

URL 的去重

URL 的去重也是多线程收罗的要害一步，由于假如不去重的话，那么我们将收罗到大量一再的 URL，这样并没有晋升我们的收罗服从，好比一个分页的消息列表，我们在收罗第一页的时辰可以获得 2、3、4、5 页的链接，在收罗第二页的时辰又会获得 1、3、4、5 页的链接，待收罗的 URL 行列中将存在大量的列表页链接，这样就会一再收罗乃至进入到一个死轮回傍边，以是就必要 URL 去重。URL 去重的要领就很是多啦，下面是几种常用的 URL 去重方法：

  • 将 URL 生涯到数据库举办去重，好比 redis、MongoDB
  • 将 URL 放到哈希表中去重，譬喻 hashset
  • 将 URL 颠末 MD5 之后生涯到哈希表中去重，对比于上面一种，可以或许节省空间
  • 行使 布隆过滤器(Bloom Filter)去重，这种方法可以或许节省大量的空间，就是不那么精确。

关于多线程爬虫的两个焦点常识点我们都知道啦，下面我画了一个简朴的多线程爬虫架构图，如下图所示： 

Java 多线程爬虫及漫衍式爬虫架构试探

多线程爬虫架构图

上面我们首要相识了多线程爬虫的架构计划，接下来我们不妨来试试 Java 多线程爬虫，我们以收罗虎扑消息为例来拭魅战一下 Java 多线程爬虫，Java 多线程爬虫中计划到了 待收罗 URL 的维护和 URL 去重，因为我们这里只是演示，以是我们就行使 JDK 内置的容器来完成，我们行使 LinkedBlockingQueue 作为待收罗 URL 维护容器，HashSet 作为 URL 去重容器。下面是 Java 多线程爬虫焦点代码，具体代码以上传 GitHub，地点在文末：

  1. /** 
  2.  * 多线程爬虫 
  3.  */ 
  4. public class ThreadCrawler implements Runnable { 
  5.     // 收罗的文章数 
  6.     private final AtomicLong pageCount = new AtomicLong(0); 
  7.     // 列表页链接正则表达式 
  8.     public static final String URL_LIST = "https://voice.hupu.com/nba"; 
  9.     protected Logger logger = LoggerFactory.getLogger(getClass()); 
  10.     // 待收罗的行列 
  11.     LinkedBlockingQueue<String> taskQueue; 
  12.     // 收罗过的链接列表 
  13.     HashSet<String> visited; 
  14.     // 线程池 
  15.     CountableThreadPool threadPool; 
  16.     /** 
  17.      * 
  18.      * @param url 起始页 
  19.      * @param threadNum 线程数 
  20.      * @throws InterruptedException 
  21.      */ 
  22.     public ThreadCrawler(String url, int threadNum) throws InterruptedException { 
  23.         this.taskQueue = new LinkedBlockingQueue<>(); 
  24.         this.threadPool = new CountableThreadPool(threadNum); 
  25.         this.visited = new HashSet<>(); 
  26.         // 将起始页添加到待收罗行列中 
  27.         this.taskQueue.put(url); 
  28.     } 
  29.  
  30.     @Override 
  31.     public void run() { 
  32.         logger.info("Spider started!"); 
  33.         while (!Thread.currentThread().isInterrupted()) { 
  34.             // 从行列中获取待收罗 URL 
  35.             final String request = taskQueue.poll(); 
  36.             // 假如获取 request 为空，而且当前的线程采已经没有线程在运行 
  37.             if (request == null) { 
  38.                 if (threadPool.getThreadAlive() == 0) { 
  39.                     break; 
  40.                 } 
  41.             } else { 
  42.                 // 执行收罗使命 
  43.                 threadPool.execute(new Runnable() { 
  44.                     @Override 
  45.                     public void run() { 
  46.                         try { 
  47.                             processRequest(request); 
  48.                         } catch (Exception e) { 
  49.                             logger.error("process request " + request + " error", e); 
  50.                         } finally { 
  51.                             // 收罗页面 +1 
  52.                             pageCount.incrementAndGet(); 
  53.                         } 
  54.                     } 
  55.                 }); 
  56.             } 
  57.         } 
  58.         threadPool.shutdown(); 
  59.         logger.info("Spider closed! {} pages downloaded.", pageCount.get()); 
  60.     } 
  61.  
  62.     /** 
  63.      * 处理赏罚收罗哀求 
  64.      * @param url 
  65.      */ 
  66.     protected void processRequest(String url) { 
  67.         // 判定是否为列表页 
  68.         if (url.matches(URL_LIST)) { 
  69.             // 列表页理会出详情页链接添加到待收罗URL行列中 
  70.             processTaskQueue(url); 
  71.         } else { 
  72.             // 理会网页 
  73.             processPage(url); 
  74.         } 
  75.     } 
  76.     /** 
  77.      * 处理赏罚链吸取罗 
  78.      * 处理赏罚列表页，将 url 添加到行列中 
  79.      * 
  80.      * @param url 
  81.      */ 
  82.     protected void processTaskQueue(String url) { 
  83.         try { 
  84.             Document doc = Jsoup.connect(url).get(); 
  85.             // 详情页链接 
  86.             Elements elements = doc.select(" div.news-list > ul > li > div.list-hd > h4 > a"); 
  87.             elements.stream().forEach((element -> { 
  88.                 String request = element.attr("href"); 
  89.                 // 判定该链接是否存在行列可能已收罗的 set 中，不存在则添加到行列中 
  90.                 if (!visited.contains(request) && !taskQueue.contains(request)) { 
  91.                     try { 
  92.                         taskQueue.put(request); 
  93.                     } catch (InterruptedException e) { 
  94.                         e.printStackTrace(); 
  95.                     } 
  96.                 } 
  97.             })); 
  98.             // 列表页链接 
  99.             Elements list_urls = doc.select("div.voice-paging > a"); 
  100.             list_urls.stream().forEach((element -> { 
  101.                 String request = element.absUrl("href"); 
  102.                 // 判定是否切合要提取的列表链接要求 
  103.                 if (request.matches(URL_LIST)) { 
  104.                     // 判定该链接是否存在行列可能已收罗的 set 中，不存在则添加到行列中 
  105.                     if (!visited.contains(request) && !taskQueue.contains(request)) { 
  106.                         try { 
  107.                             taskQueue.put(request); 
  108.                         } catch (InterruptedException e) { 
  109.                             e.printStackTrace(); 
  110.                         } 
  111.                     } 
  112.                 } 
  113.             })); 
  114.  
  115.         } catch (Exception e) { 
  116.             e.printStackTrace(); 
  117.         } 
  118.     } 
  119.     /** 
  120.      * 理会页面 
  121.      * 
  122.      * @param url 
  123.      */ 
  124.     protected void processPage(String url) { 
  125.         try { 
  126.             Document doc = Jsoup.connect(url).get(); 
  127.             String title = doc.select("body > div.hp-wrap > div.voice-main > div.artical-title > h1").first().ownText(); 
  128.  
  129.             System.out.println(Thread.currentThread().getName() + " 在 " + new Date() + " 收罗了虎扑消息 " + title); 
  130.             // 将收罗完的 url 存入到已经收罗的 set 中 
  131.             visited.add(url); 
  132.  
  133.         } catch (IOException e) { 
  134.             e.printStackTrace(); 
  135.         } 
  136.     } 
  137.  
  138.     public static void main(String[] args) { 
  139.  
  140.         try { 
  141.             new ThreadCrawler("https://voice.hupu.com/nba", 5).run(); 
  142.         } catch (InterruptedException e) { 
  143.             e.printStackTrace(); 
  144.         } 
  145.     } 
  146. } 

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
相关内容
    推荐文章
    站长推荐
    热点阅读

      【免责声明】本站内容转载自互联网，其发布内容言论不代表本站观点，如果其链接、内容的侵犯您的权益，烦请提交相关链接至邮箱bqsm@foxmail.com我们将及时予以处理。

      建议您使用1920×1080分辨率、谷歌浏览器Google Chrome、Microsoft Edge以获得本站的最佳浏览效果

      Copygight © 2008-2022 https://www.hunanwang.cn/ All Rights Reserved. 湖南网