九、多线程爬虫

9.1利用多线程爬虫爬取糗事百科的资源：

十、爬虫代码总结：

       要实现一个完整的爬虫，无外乎4个核心步骤：

1.首先我们要确定要爬取的目标url：

                a.如果目标url地址有明显的规律，则可直接构建一个url_list来遍历读取数据

                b.如果目标url地址不明显，那就先获取第一页的url地址，通过代码提取下一页的url地址

 2.获取到url地址后，我们就可以向这个url发送请求，获取响应：

                a.添加随机的User-Agent,反反爬虫

                b.添加随机的代理ip，反反爬虫

                c.在对方判断出我们是爬虫之后，应该添加更多的headers字段，包括cookie

                d.cookie的处理可以使用session来解决

                e.准备一堆能用的cookie，组成cookie池：

                          - 如果不登录

                                    - 准备刚开始能够成功请求对方网站的cookie，即接收对方网站设置在response的cookie

                                    - 下一次请求的时候，使用之前的列表中的cookie来请求

                          - 如果登录

                                    - 准备多个账号

                                    - 使用程序获取每个账号的cookie

                                    - 之后请求登录之后才能访问的网站随机的选择cookie

3.提取数据

                a.确定数据的位置

                    - 如果数据在当前的url地址中：

                            1.提取的是列表页的数据

                                - 直接请求列表页的url地址，不用进入详情页

                            2.提取的是详情页的数据

                                - 1. 确定url

                                - 2. 发送请求

                                - 3. 提取数据

                                - 4. 返回

                    - 如果数据不在当前的url地址中：

                            1.在其他的响应中，寻找数据的位置：

                                - 从network中从上往下找

                                - 使用chrome中的过滤条件，选择出了js,css,img之外的按钮

                                - 使用chrome的search all file，搜索数字和英文

                b.数据的提取

                        - xpath,从html中提取整块的数据，先分组，之后每一组再提取

                        - re，提取max_time,price,html中的json字符串

                        - json

4.保存

              - 保存在本地，text,json,csv

              - 保存在数据库

十一、动态HTML处理：

        1.Selenium和PhantomJS介绍：

                  Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，

                  Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），

                  可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏

                  PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript

        2.Selenium和PhantomJS的使用方法：

                加载网页：

                    * from selenium import webdriver

                    * driver = webdriver.PhantomJS(“c:…/pantomjs.exe”)

                    * driver.get("http://www.baidu.com/")

                    * driver.save_screenshot("长城.png")                //截屏

                定位和操作：

                    * driver.find_element_by_id(“kw”).send_keys(“长城”)

                    * driver.find_element_by_id("su").click()

                查看请求信息：

                    * driver.page_source

                    * driver.get_cookies()

                    * driver.current_url

                退出

                    * driver.close() #退出当前页面

                    * driver.quit()  #退出浏览器

                页面元素定位方法：

                    * find_element_by_id (返回一个)

                    * find_elements_by_xpath （返回一个列表，获取属性和文本需要使用get_attribute() 和.text）

                    * find_elements_by_link_text    （返回全部文本）

                    * find_elements_by_partial_link_text  （返回某个文本）

                    * find_elements_by_tag_name

                    * find_elements_by_class_name

                    * find_elements_by_css_selector

                页面等待：

                   * 如果网站采用了动态html技术，那么页面上的部分元素出现时间便不能确定，

                       这个时候就可以设置一个等待时间，强制要求在时间内出现，否则报错

                    * 强制等待：time.sleep(10)

        3.Selenium的使用注意点：

                 1.如果页面中含有iframe、frame，需要先调用driver.switch_to.frame的方法切换到frame中才能定位元素

                 2.selenium中find_element_by_class_name只能接收一个class对应的一个值，不能传入多个

                 3.使用selenium登录，遇到验证码

                      - url不变，验证码不变

                            - 1.请求验证码的地址，获得相应，识别

                      - url不变，验证码会变

                            - 1.selenium请求登录页面，同时拿到验证码的地址

                            - 2.获取登录页面中driver中的cookie，交给requests模块发送验证码的请求，识别

                            - 3.输入验证码，点击登录

        4.Selenium的使用总结：

                 a. 应用场景：

                        1. 动态html页面请求

                        2. 登录获取cookies

                 b. 如何使用

                        1. 导包并且实例化driver

                        2. 发送请求

                        3. 定位获取数据

                        4. 保存

                        5. 退出driver

                c. Cookies相关方法：

                        1.get_cookies()

                d. 页面等待

                        1.强制等待

        5.Tesseract认识：

                a.定义：Tesseract是一个将图像翻译成文字的OCR库

                b.安装：pip install pytesseract

                c.使用方法：

                            import pytesseract

                            from PIL import Image

                            image = Image.open(jpg)

                            pytesseract.image_to_string(image)

十二、斗鱼爬虫实例：