[Python]从Web解析到网络空间(一些第三方库的简要介绍))

Python库之网络爬虫

http://www.python-requests.org/
Requests:最友好的网络爬虫功能库
提供了简单易用的类HTTP协议网络爬虫功能,支持连接池,SSL、Cookies、HTTP(S)代理等。是Python最主要的页面级网络爬虫功能库。

https://scrapy.org
Scrapy:优秀的网络爬虫框架,提供了构建网络爬虫系统的框架功能,功能半成品。支持批量和定时网页爬取,提供数据处理流程等。是Python最主要且最专业的网络爬虫框架。Python数据分析高层次应用库。

http://docs.pyspider.org
pyspider:强大的Web页面爬取系统,提供了完整的网页爬取系统构建功能。支持数据库后端、消息队列、优先级、分布式架构等。Python重要的网络爬虫类第三方库。

Python库之Web信息提取

https://www.crummy.com/software/BeautifulSoup/bs4
Beautiful Soup:HTML和XML的解析库,提供了解析HTML和XML等Web信息的功能。又名beautifulsoup4或bs4,可以加载多种解析引擎,常与网络爬虫库搭配使用,如Scrapy、requests等。

https://docs.python.org/3.6/library/re.html
Re:正则表达式解析和处理功能库,提供了定义和解析正则表达式的一批通用功能,可用于各类场景,包括定点的Web信息提取。Python最主要的标准库之一,无需安装。

Python-Goose:提取文章类型Web页面的功能库,提供了对Web页面中文章信息/视频等元数据的提取功能,针对特定类型Web页面,应用覆盖面较广,Python最主要的Web信息提取库。

Python库之Web网站开发

https://www.djangoproject.com
Django:最流行的Web应用框架,提供了构建Web系统的基本应用框架。MTV模式:模型(model)、模板(Template)、视图(Views)。
Python最重要的Web应用框架,略微复杂的应用框架。

https://trypyramid.com/
Pyramid:规模适中的Web应用框架,提供了简单方便构建Web系统的应用框架,不大不小,规模适中,适合快速构建并适度扩展类应用,Python产品级Web应用框架,起步简单可扩展性好。

Python库之网络应用开发

http://flask.pocoo.org
Flask:提供了最简单构建Web系统的应用框架,特点是简单,规模小,快速。Django>Pyramid>Flask

https://github.com/offu/WeRoBot
WeRoBot:微信公众号开发框架,提供了解析微信服务器消息及反馈消息的功能,建立微信机器人的重要技术手段。

https://github.com/Baidu-AIP/python-sdk
aip:百度AI开放平台接口,提供了访问百度AI服务的Python功能接口,语音、人脸、OCR、NLP、知识图谱、图像搜索等领域。Python百度AI应用的最主要方式。

https://github.com/sylnsfar/qrcode
MyQR:二维码生成第三方库。提供了生成二维码的系列功能,基本二维码、艺术二维码和动态二维码。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    小迈克阅读 3,034评论 1 3
  • 《”侠”》 把昨日从视线中抹去……
    小庄主人阅读 356评论 2 0
  • (1)什么时候使用ViewStub?为什么使用ViewStub?当我们需要根据某个条件控制某个View的显示或者隐...
    大灰狼zz阅读 185评论 0 0
  • 老舍说:人即使活到七八十岁,只要母亲在,就多少可以有点孩子气。没错的,在从黄土地上走来的母亲大人面前,从小到大对她...
    金指尖的花园阅读 329评论 0 3
  • 凡尘世外望静阳, 一日娇艳色满堂。 离缺东南西北风, 偏安一隅独自芳。
    刘子震厚德载物阅读 548评论 4 11