python爬虫011-IP代理池的维护-（2）获取模块-代理66、快代理、旗云代理

最近突然有所松懈，突然间变得好累。早上起不来，上午没精神，下午没体力，晚上没效率。学习的动力似乎突然消失。我怎么了？
似乎是休息方面除了问题，持续一个多月的学习，没有运动过，更别说出去走走，散散心。好不容易来的清明假期，也没有出去玩，我似乎失去了活力、激情。记得当年学习时除了精力不允许时，我总是很活跃，上了大学以后不知怎么了，失去了活力，失去了激情，失去了那种冲动。很怀念那个想什么做什么的我。

不说了，进入正题。接着昨天的文，今天写获取模块，从各大网站上获取代理。
我选了代理66、快代理、旗云代理这三个代理网站，作为代理的来源。

这次我跟着书上做的，遇到了点问题。由于我基础不太好，对与面对对象编程的掌握不到位，并不能理解抽象基类的使用。总之先给代码：

from pyquery import PyQuery as pq
import requests


class ProxyMetaclass(type):
    """定义一个抽象基类，来获取以crawler_开头的方法"""
    def __new__(cls, name, bases, attrs):
        count = 0
        attrs['__CrawlFunc__'] = []
        for k, v in attrs.items():
            if 'crawl_' in k:
                attrs['__CrawlFunc__'].append(k)
                count +=1
        attrs['__CrawlFuncCount__'] = count
        return type.__new__(cls, name, bases, attrs)


class Crawler(object, metaclass=ProxyMetaclass):
    """从各大网站提取代理"""
    def get_proxies(self, callback):
        """获取代理

        :param callback: 调用的方法名称
        :return: 返回得到的代理列表"""
        proxies = []
        for proxy in eval("self.{}()").format(callback):
            print('成功获取到代理', proxy)
            proxies.append(proxy)
        return proxies

    def crawl_daili66(self, page_count=4):
        """从代理66上获取代理

        :param page_count:页码
        :return: 代理"""
        start_url = 'http://www.66ip.cn/{}.html'
        urls = [start_url.format(page) for page in range(1, page_count + 1)]
        for url in urls:
            print('Crawling', url)
            html = requests.get(url)
            if html:
                doc = pq(html.text)
                trs = doc('.containerbox table tr:gt(0)').items()
                for tr in trs:
                    ip = tr.find('td:nth-child(1)').text()
                    port = tr.find('td:nth-child(2)').text()
                    yield ':'.join([ip, port])

    def crawl_kuaidaili(self,page_count=4):
        """从快代理上获取代理

        :param page_count:页码
        :return: 代理"""
        start_url = 'https://www.kuaidaili.com/free/inha/{}/'
        urls = [start_url.format(page) for page in range(1, page_count + 1)]
        for url in urls:
            print('Crawling', url)
            html = requests.get(url)
            if html.status_code == 200:
                doc = pq(html.text)
                trs = doc('tbody tr')
                for tr in trs:
                    ip = tr.find('td:nth-child(1)').text()
                    port = tr.find('td:nth-child(2)').text()
                    yield ':'.join([ip, port])

    def crawl_qiyundaili(self, page_count=4):
        """从旗云代理上获取代理

        :param page_count:页码
        :return: 代理"""
        start_url = 'http://www.qydaili.com/free/?action=china&page={}'
        urls = [start_url.format(page) for page in range(1, page_count + 1)]
        for url in urls:
            print('Crawling', url)
            html = requests.get(url)
            if html.status_code == 200:
                doc = pq(html.text)
                trs = doc('tbody tr').items()
                for tr in trs:
                    ip = tr.find('td:nth-child(1)').text()
                    port = tr.find('td:nth-child(2)').text()
                    yield ':'.join([ip, port])

首先我定义了一个ProxyMetaclass的元类，也就是抽象基类。这是为了获取所有以‘crawl_’开头的方法定义的，虽然我现在看不懂，但是书上这么说的。

先过这里，下面的三个方法就是我们获取代理的函数。我就不讲了，太简单了。三个页面源码差不多。唯一注意的地方，就是你用的requests还是urllib，这两个源码的烈性不一样，一个要调用text属性，一个要调用read()方法。还有就是pyquery的使用，说实话很好用。我觉的比beautifulsoup好使。

现在不知道怎么了，写完了这个水之又水的文，我就不想学了，想睡了。不行啊!!!

昨天投了6份简历，只有一份被查看了。。。。然后就没然后了。。。。。还是学的不够好，简历也不够吸引人。

我发现所有的书，越写越烂，我看书也是越来越没动力。