Python系列:第一篇 爬虫

1.下载postman,postman是一种网页调试工具,它可以发送几乎所有HTTP请求。很万能的

2.爬取数据之前必需要有一个目标URL才能获取到自己想要的数据,利用postman可以用来分析我们想要爬取的请求相关的数据

3.python导入requests、json、csv、pandas库

requests库:用来获取网页的URL相关信息

json库:通常是要将我们爬取的数据转换成json的格式

csv库:csv是一种通用的简单的纯文本格式存储表格数据

pandas库:在获取到的数据文字过多或者想要 csv与excel格式之间转换的话,pandas可以做到

4.代码如下,上图



爬取的最后结果是这样子的


简单的爬取数据可以做到了,实现它的方式有很多种,我们要找到最快速最简单的方法,这个过程需要慢慢优化。

总之,爬取数据是一个既简单也复杂的过程。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容