这是一个很简单的python爬虫入门教程. 仅仅入门的话可以读一下.
前言:
提醒一下, 文章的重点是如何解析页面, 而不是python库怎么用. 如果能了解页面从输入网址到信息展示出来的整个过程,那么随便什么语言,大概都可以写爬虫.
写的会比较凌乱. 凑合着看吧
原理:
我们自己访问网站, 其实就是从某个网址处下载一个页面(html+script+css),
然后浏览器把这个页面"展示出来". 那么爬虫的工作, 就是让程序去干这件事情.
插一点页面相关知识:
一个页面里面其实主要分三种信息: 数据+给数据穿的华丽的衣服+特效, 分别对应: html标签+css样式+javascript脚本
1. html标签(甚至html页面源码)很简单, 就是一个层级数据结构, 比如: <html><title>百度</title><body></body></html>, 基本成对出现,有层级关系,类似省-市-县-镇的关系一样
2. css就是页面渲染. 决定信息在哪展示, 怎么展示, 比如title放页面中间, 字体要大,颜色要红色之类.....对爬虫来说, 我们只关心数据, 不关心"外表", 所以css基本不用理会.(当然定位元素的时候可能会用到, 开发人员有时候偷懒, 不给元素身份id.那只能从"那个元素穿什么衣服, 字体多大号"来查了)
3. javascript脚本. html只是一堆简单标签,是写死的东西....如果一个页面里面有图片,有视频,有一百行用户的列表, 还有几个弹窗广告.....这么多东西, 浏览器想在一秒内下载好再展示出来其实是很困难的(除非你家千兆带宽,没网速限制...但是不是所有人都这么土豪)......为了不让看网站的人等得不耐烦, 最好的办法就是: 分工合作,同时进行, 你在浏览器输入www.baidu.com. 这是一个命令, 然后他先给你返回一个空架子和一堆命令, 浏览器拿到一堆命令(比如30个)后, 同时进行30个新的访问去拿数据....也就是你先看到一个超大的空架子, 然后看到一堆人苦哈哈的往上面不同的地方放东西....一秒内放完(F2打开network, 然后左边重刷一下页面,你会看到网络访问刷刷的请求一堆东西)
如下图是我们访问百度首页的时候, 浏览器下载的东西(chrome浏览器 F12调出调试模式)
- 所以入门爬虫的重点: 不是爬虫本身, 而是对页面实现要有一些了解. 知道页面是怎么工作的
爬虫方法:
python提供了很多爬虫相关的工具库, 原理都很简单. 就是通过网址下载好相关的页面, 自己提供解析工具把页面里的东西提取出来.
为什么会有很多不同的工具?
我没用过其他工具, 但是大概知道原因, 因为页面的技术也在不断进步和变的复杂, 比如ajax, cookie, session, request-nonce等东西的加入. 都是为了给用户提供更好的体验, 或者为了访问安全, 甚至有的是专门为了防爬虫的.... 然后就出现各种爬虫工具, 会侧重某方面的特征, 帮使用者干一些活.
我用的最多的两种爬虫方法: [基于python3.x版本. 还有很多其他工具库]
1. requests库
2. selenium.webdriver库
这两个库有什么区别? 为什么要用两个?
上面有提到过页面包含html, css,和js. 而且截图中也看到即使是百度主页, 也不止下载了一个html, 而是包含一堆css,js,png图片之类的东西.... 这些附属物不是浏览器主动请求的, 浏览器开始只请求了一个地址: www.baidu.com, 这地址也只返回一个html页面, 只不过这个html页面里面包含了一些只有浏览器理解的命令, 这些命令告诉浏览器说:我还要css样式, 还要js, 还有一个png的logo....然后浏览器就再遵旨去拿.....
requests是个简单的request-response工具, 不是浏览器. 它不会去解读拿到的东西. 而webdriver你后面用的话会看到, 他其实就是浏览器, 会解读拿到的东西, 如果拿到的东西里面有更多的命令, 他就会去执行.....这就是区别
上面讲的很糙....主要是担心涉入太多对爬虫入门来说会变的复杂...之后我会通过截图展示两种方法的使用.
方法1 : requests库 [待补充]
方法2: selenium.webdriver库 [待补充]
