构建爬虫需要两步 :
- 请求网页,此时需要用到superagent
- 获取网页html中的元素数据,此时需要用到cheerio
我们准备构建一个爬虫来摘取简书网页中的数据。
首先查看一下简书主页返回的html文件:
可以看到其中的文章列表格式为:
<h4 class="title">
<a target="_blank" href="/p/6d7d50a12e58">简书晚报160720——《说到吃,明代皇帝口味有多重?》</a>
</h4>
代码如下:
操作结果:
构建爬虫需要两步 :
我们准备构建一个爬虫来摘取简书网页中的数据。
首先查看一下简书主页返回的html文件:
可以看到其中的文章列表格式为:
<h4 class="title">
<a target="_blank" href="/p/6d7d50a12e58">简书晚报160720——《说到吃,明代皇帝口味有多重?》</a>
</h4>
代码如下:
操作结果: