因为要搜集很多内容,所以简书当然是目标之一呀。所以今天来试试把简书中的文字提取出来。
简单观察一下发现,想要的内容都在span标签中,但是不想要的内容也在span中,这个要怎么解决呢?

span标签中的文字
观察到每一段落有个<br>段落符,在beautifulsoup解析之后为\xa0

\xa0
可以利用这个特点,把得到的文字分段。
简单改造一下昨天的提取搜狐文字的程序就实现了:

简书文字提取
基本实现提取简书文字。
既然可以提取简书了,那今日头条就更不能放过了。
今日头条这里稍微有些不同,这里不是简单的html了,而是有效内容在某个js代码中不规则分布。

头条网页代码
查找相关知识发现这篇文章讲的不错:网页文字提取

文章截图
可以看到正文在script标签的content:和groupId:之间,于是我们需要截取字符串,然后将正文中的乱码进行处理即可。