人生苦短,我用Python。这句话我仅仅只是说说而已,Python丰富的库,意味着Python写代码的效率比其他的编程语言高出好几倍。Python的应用领域也特别的广,比如:web开发、爬虫、自动化测试/运维、测试/运维开发、大数据、数据分析、人工智能、机器学习等等。如果你是想要爬取网上数据的话,那肯定就是用Python了呀,毕竟很强大。
学习Python的朋友都知道"廖雪峰",也都会在上面看教程,但是总是用网页看感觉特别麻烦,今天小编就用Python把"廖雪峰"的教程制作成PDF,这样离线也能可以看了!
今天小编就是用Python爬虫中最为常用的两个模块,也是爬虫的两大神器了
Requests和beautifulsoup
首先咱们需要做的就是先安装这两个模块
Pip install requests
Pip install beautifulsoup
既然要把网页的html转换成PDF那么也要需要pdfkit这个模块的,和上面一样的安装方法。
小编给大家推荐一个学习氛围超好的地方,python交流企鹅裙:【611+530+101】适合在校大学生,小白,想转行,想通过这个找工作的加入。裙里有大量学习资料,有大神解答交流问题,每晚都有免费的直播课程
接下来就是爬虫的基本的流程了
先在浏览器里面利用开发者工具(F12)找到正文的div标签,然后用requests获取整个页面数据,在用beautifulsoup提取正文内容。
简单明了
左侧的目录也可以用同样的方法找到。
实现源码
效果图