java爬虫（及常用数据结构）

类与类之间的关系

项目目录结构

终端显示爬取的结果

我的Java爬虫代码

从爬虫项目中体会常用数据结构的用法 //

未完待续。。。。。

Queue // 放在 队列中浏览的新闻。。 poll() add()

LinkedList // Queue<NewsWithRelated> newsQueue = new LinkedList<NewsWithRelated>();

Set // 标记 已经访问过的 URL add()

HashSet // Set<String> visited = new HashSet<>();

ArrayList // 存储 扫描到的内容 （多态） add()

HashMap // put() entrySet()

Map

==============================================================
jsoup : jsoup is an open-source Java library designed to parse, extract, and manipulate data stored in HTML documents.
==============================================================