python多线程爬虫下载rpm包

写在前面

好久没更新简书了，贴一个多线程下载rpm包的小爬虫。

需求

今天主管跟我说，阿祖啊，你去搞个erlang离线源，把erlang的rpm包全下一下，不多，几百个好像，给你10分钟哈。我：。。。。。。。

程序

于是我打开了尘封已久的pycharm，开始写爬虫，好久不写了，import都费劲。

# coding=utf-8
#author:OrangeLoveMlian
import sys
import re
import threading
import Queue
import time
import requests
from pyquery import PyQuery as pq

第一步：读取网页内容。加了个headers模拟浏览器

url = 'http://packages.erlang-solutions.com/rpm/centos/7/x86_64/'
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"}
res= requests.get(url,headers = headers)
#print res.text
doc = pq(res.text)

第二步：分析标签元素。写入文件。

这不是程序~~~~~~~~~~
<html>
 <head>
  <title>Index of /rpm/centos/7/x86_64</title>
 </head>
 <body>
<h1>Index of /rpm/centos/7/x86_64</h1>
<table><tr><th><img src="/icons/blank.gif" alt="[ICO]"></th><th><a href="?C=N;O=D">Name</a></th><th><a href="?C=M;O=A">Last modified</a></th><th><a href="?C=S;O=A">Size</a></th><th><a href="?C=D;O=A">Description</a></th></tr><tr><th colspan="5"><hr></th></tr>
<tr><td valign="top"><img src="/icons/back.gif" alt="[DIR]"></td><td><a href="/rpm/centos/7/">Parent Directory</a></td><td>&nbsp;</td><td align="right">  - </td><td>&nbsp;</td></tr>
<tr><td valign="top"><img src="/icons/unknown.gif" alt="[   ]"></td><td><a href="erlang-17.1-1.1.el7.centos.x86_64.rpm">erlang-17.1-1.1.el7.centos.x86_64.rpm</a></td><td align="right">14-Aug-2014 16:08  </td><td align="right"> 16K</td><td>&nbsp;</td></tr>

贴了点网页编码便于分析
我要抓取的是td之间的erlang的包的名字。利用了pquery模块

for item in doc("td").find("a"):
    rpm_url = item

    with open('test.txt','a') as f:
        f.writelines(rpm_url.text + '\n')

抓好到后写入到test.txt文件中。这里需要说明的是，打开文件要用‘a’，因为这是追加写入。写入后为了便于读写，加了个空格'\n'.
手动打开test.txt文件，发现众多rpm包名字中混入了什么奇怪的东西。Parent Directory和repodata\。把他两干掉。这里用了正则，写的比较蠢/(ㄒoㄒ)/~~

with open('test.txt','r') as f:
    for line in f:
        if not re.search("rpm",line):
            line[:-1]
        else:
            with open('url.txt','a') as f:
                f.writelines('http://packages.erlang-solutions.com/rpm/centos/7/x86_64/' + line)

处理完写入新的url.txt文件时，加了个http的url。这样地址就是下载地址了。
下面写一个下载函数：

def download(url):
    r = requests.get(url)
    name = url.split('/')[-1]
    with open('D:/rpm/' + name, 'wb')as f:
        f.write(r.content)

现在到d盘目录下，保存的格式为wb。名字就是rpm包的名字

引用队列，加入多线程

q = Queue.Queue()
with open('D:/rpm/test/test.txt', 'r')as f:
    for line in f:
        # download(line)
        url = line.strip('\n')
        q.put(url)

非阻塞读取队列的url。多线程下载rpm包.我这里起了一个线程

def download_rpm(q):
    while True:
        try:
            url = q.get_nowait()

        except Exception, e:
            print e
            break;
        print 'Current Thread Name Runing %s ... ' % threading.currentThread().name
        download(url)


t1 = threading.Thread(target=download_rpm, args=(q,), name="child_thread_1")
t1.start()
t1.join()
print '%s ' % over(*^_^*)

结束

就这样，一个简单的多线程爬虫下载rpm包的程序就写完了。可以加上time的模块，测试一下开不同线程下载的时间。我测试的是，下载8个rpm包，开一个线程需要54s。开3个线程只需要6s。