2019-01-13派森学习第56天

因为要搜集很多内容,所以简书当然是目标之一呀。所以今天来试试把简书中的文字提取出来。

简单观察一下发现,想要的内容都在span标签中,但是不想要的内容也在span中,这个要怎么解决呢?

span标签中的文字

观察到每一段落有个<br>段落符,在beautifulsoup解析之后为\xa0

\xa0

可以利用这个特点,把得到的文字分段。

简单改造一下昨天的提取搜狐文字的程序就实现了:

简书文字提取

基本实现提取简书文字。

既然可以提取简书了,那今日头条就更不能放过了。

今日头条这里稍微有些不同,这里不是简单的html了,而是有效内容在某个js代码中不规则分布。

头条网页代码

查找相关知识发现这篇文章讲的不错:网页文字提取

文章截图

可以看到正文在script标签的content:和groupId:之间,于是我们需要截取字符串,然后将正文中的乱码进行处理即可。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 十月有七天长假,又去了一次南京,当脱身正常的生活工作轨道,就像脱了疆的野马,任何事情都变得无规划起来。书读得不多,...
    柳二白阅读 1,175评论 0 0
  • 若想成功,你就记住两点: 我需要的人是谁 他需要的是什么
    17d29357f903阅读 789评论 0 0

友情链接更多精彩内容