爬虫爬取qq空间
from selenium import webdriver
import time
import pymongo
import csv
import urllib.parse
import time
import datetime
import re
import urllib.request
import urllib.robotparser
from lxml import etree
from selenium import webdriver #webdriver网页内驱动软件
#webdriver网页内驱动软件
driver = webdriver.Chrome(r"D:\chromedriver.exe")
# 根据域名计算并延迟一定的时间
class Throttle:
def __init__(self, delay):
# 访问同域名时需要的间隔时间 delay延期
self.delay = delay
# key:netloc,value:lastTime.记录每个域名的上一次访问的时间戳 domains域名
self.domains = {}
# 计算需要的等待时间，并执行等待
def wait(self, url):
if self.delay <= 0:
return
domain = urllib.parse.urlparse(url).netloc #urllib数据 parse解析 urlparse的差别
lastTime = self.domains.get(domain) #lastTime上次登陆
if lastTime is not None:
# 计算等待时间 wait等待 sec秒 now现在 seconds秒
wait_sec = self.delay - (datetime.datetime.now() - lastTime).seconds
if wait_sec > 0 :
time.sleep(wait_sec)
self.domains[domain] = datetime.datetime.now()
# 下载网页
def download(url, headers={}, proxy=None, retry_count=5):
print('downloading:' + url)
request = urllib.request.Request(url, headers=headers)
# 支持代理 proxy代理
if proxy:
proxy_handler = urllib.request.ProxyHandler({"http": "http://%(host)s:%(port)d" % proxy})
opener = urllib.request.build_opener(proxy_handler)
urllib.request.install_opener(opener)
try:
response = urllib.request.urlopen(request)
html = response.read()
except urllib.error.URLError as e:
print(e)
if hasattr(e, 'code') and 500 <= e.code < 600:
return download(url, headers, retry_count - 1)
return None
return html
targetQQ = **************
#登陆函数
def login(): #driver驱动程序 format格式 target目标
# targetQQ = input("请输入您要爬取的QQ账号:")
# account = input("请输入您的QQ账号:")
# password = input("请输入您的QQ密码:")
account = **************
password = *****************
driver = webdriver.Chrome(r"D:\chromedriver.exe")
driver.get('http://user.qzone.qq.com/{}/311'.format(targetQQ)) # 进入好友空间
print('http://user.qzone.qq.com/{0}/311'.format(targetQQ))
time.sleep(2)
try:
driver.find_element_by_id('login_div') # 判断是否有登陆选项 find查找 element元素
login_div_exit = True #exit出口
except:
login_div_exit = False
if login_div_exit:
driver.switch_to.frame('login_frame') #switch开关 switch_to切换到 login登陆_frame框
driver.find_element_by_id('switcher_plogin').click() #plogin动态空灵 click点击
driver.find_element_by_id('u').clear() # 选择用户名框，点击账号密码登陆 clear清除
driver.find_element_by_id('u').send_keys(account) # 你的QQ号
driver.find_element_by_id('p').clear()
driver.find_element_by_id('p').send_keys(password) # 你的密码
driver.find_element_by_id('login_button').click()
time.sleep(20)
qq_spider()
# driver.implicitly_wait(10000) #implicitly隐藏式_wait等待
#driver驱动程序 format格式 target目标 frame框 targetPage目标网页 find查找 element元素
#2.是否有权限进入空间，如果有就爬取数据，没有就提示“你没有权限访问
def qq_spider():
print(targetQQ)
urlFormat = 'http://user.qzone.qq.com/{0}/311'.format(targetQQ) #format格式
print(urlFormat)
t = Throttle(5)
t.wait(urlFormat)
print("你现在的位置是：")
print(targetQQ)
print("的空间说说页面")
# 可以通过implicitlywait()方法设置超时时间。
# driver.implicitly_wait(30)
# 我们设置了30秒的延时。如果我们要查找的元素没有出现，Selenium
# 至多等待30秒，然后就会抛出异常。要想选取国家链接，我们依然可以使用
# WebKit示例中用过的那个 css 选择器 。
# link1 = driver.find_elements_by_xpath('//*[@id="msgList"]/li[1]/div[3]/div[2]/pre')
# link1 = driver.find_elements_by_xpath('//*[@id="msgList"]/li[1]/div[3]/div[2]/pre')
# link1 = driver.find_elements_by_xpath('//*[@id="msgList"]/li[2]/div[3]/div[2]/pre')
link1 = driver.find_elements_by_xpath('//*[@id="msgList"]/li[1]/div[3]/div[2]')
print(link1)
list_gs =[link.text for link in link1]
#数据保存到文件
f = open('qq.txt','wb')
print(list_gs)
for i in list_gs:
print(i)
f.write((i + '\n\n\n').encode('utf8')) #write写
f.flush()#保证数据及时从缓存写入本地
if __name__ == '__main__':
login()
