写在前面
好久没更新简书了，贴一个多线程下载rpm包的小爬虫。
需求
今天主管跟我说，阿祖啊，你去搞个erlang离线源，把erlang的rpm包全下一下，不多，几百个好像，给你10分钟哈。我：。。。。。。。
程序
于是我打开了尘封已久的pycharm，开始写爬虫，好久不写了，import都费劲。
# coding=utf-8
#author:OrangeLoveMlian
import sys
import re
import threading
import Queue
import time
import requests
from pyquery import PyQuery as pq
第一步：读取网页内容。加了个headers模拟浏览器
url = 'http://packages.erlang-solutions.com/rpm/centos/7/x86_64/'
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"}
res= requests.get(url,headers = headers)
#print res.text
doc = pq(res.text)
第二步：分析标签元素。写入文件。
这不是程序~~~~~~~~~~
<html>
<head>
<title>Index of /rpm/centos/7/x86_64</title>
</head>
<body>
<h1>Index of /rpm/centos/7/x86_64</h1>
<table><tr><th><img src="/icons/blank.gif" alt="[ICO]"></th><th><a href="?C=N;O=D">Name</a></th><th><a href="?C=M;O=A">Last modified</a></th><th><a href="?C=S;O=A">Size</a></th><th><a href="?C=D;O=A">Description</a></th></tr><tr><th colspan="5"><hr></th></tr>
<tr><td valign="top"><img src="/icons/back.gif" alt="[DIR]"></td><td><a href="/rpm/centos/7/">Parent Directory</a></td><td> </td><td align="right"> - </td><td> </td></tr>
<tr><td valign="top"><img src="/icons/unknown.gif" alt="[ ]"></td><td><a href="erlang-17.1-1.1.el7.centos.x86_64.rpm">erlang-17.1-1.1.el7.centos.x86_64.rpm</a></td><td align="right">14-Aug-2014 16:08 </td><td align="right"> 16K</td><td> </td></tr>
贴了点网页编码便于分析
我要抓取的是td之间的erlang的包的名字。利用了pquery模块
for item in doc("td").find("a"):
rpm_url = item
with open('test.txt','a') as f:
f.writelines(rpm_url.text + '\n')
抓好到后写入到test.txt文件中。这里需要说明的是，打开文件要用‘a’，因为这是追加写入。写入后为了便于读写，加了个空格'\n'.
手动打开test.txt文件，发现众多rpm包名字中混入了什么奇怪的东西。Parent Directory和repodata\。把他两干掉。这里用了正则，写的比较蠢/(ㄒoㄒ)/~~
with open('test.txt','r') as f:
for line in f:
if not re.search("rpm",line):
line[:-1]
else:
with open('url.txt','a') as f:
f.writelines('http://packages.erlang-solutions.com/rpm/centos/7/x86_64/' + line)
处理完写入新的url.txt文件时，加了个http的url。这样地址就是下载地址了。
下面写一个下载函数：
def download(url):
r = requests.get(url)
name = url.split('/')[-1]
with open('D:/rpm/' + name, 'wb')as f:
f.write(r.content)
现在到d盘目录下，保存的格式为wb。名字就是rpm包的名字
引用队列，加入多线程
q = Queue.Queue()
with open('D:/rpm/test/test.txt', 'r')as f:
for line in f:
# download(line)
url = line.strip('\n')
q.put(url)
非阻塞读取队列的url。多线程下载rpm包.我这里起了一个线程
def download_rpm(q):
while True:
try:
url = q.get_nowait()
except Exception, e:
print e
break;
print 'Current Thread Name Runing %s ... ' % threading.currentThread().name
download(url)
t1 = threading.Thread(target=download_rpm, args=(q,), name="child_thread_1")
t1.start()
t1.join()
print '%s ' % over(*^_^*)
结束
就这样，一个简单的多线程爬虫下载rpm包的程序就写完了。可以加上time的模块，测试一下开不同线程下载的时间。我测试的是，下载8个rpm包，开一个线程需要54s。开3个线程只需要6s。
