(1)使用superagent和cheerio构建简单爬虫

构建爬虫需要两步 ：

• 请求网页，此时需要用到superagent
• 获取网页html中的元素数据，此时需要用到cheerio

我们准备构建一个爬虫来摘取简书网页中的数据。

简书.png

首先查看一下简书主页返回的html文件：

jianshu_html.png

可以看到其中的文章列表格式为：

<h4 class="title">
  <a target="_blank" href="/p/6d7d50a12e58">简书晚报160720——《说到吃，明代皇帝口味有多重？》</a>
</h4>

代码如下：

crawler_code.png

操作结果：

crawler_result.png