思路
还记的上一篇文章里使用的Cookie吗？由于每次登陆淘宝的Cookie都不一样，所以每次都要手动登陆获取新的Cookie。这里我想研究一下怎样用程序获取这个Cookie。
分析报文
手动登陆淘宝并抓取报文，这里要注意的是如果页面发生跳转造成报文丢失，则需要勾选Preserve Log, 同时在跳转之前按个点一下每个报文用来缓存，否则跳转之前的报文虽然都在，但不能查看具体的内容。
经过分析，Cookie值得来源主要来自两个关于login.jhtml的POST请求，第一条是你访问登陆页面时的报文，第二条则是你输入账户密码之后点击登陆按钮后发送的报文，如图：
响应头里面包含了set-cookie字段， HTTP cookie：
An HTTP cookie (also called web cookie, Internet cookie, browser cookie, or simply cookie) is a small piece of data sent from a website and stored on the user's computer by the user's web browser while the user is browsing.
最后，因此这部分就是我们要的Cookie，处理的时候将后面的Domain和Path去掉，然后将剩下的部分保存下来即可。
这里的难点在于，第二条报文带很多FormData，大多数很容易理解也很容易获得，除了ncoToken, gvfdcre, um_token, 和 ua，同样这些值应该会在其他报文中找到计算方法，前提是都能看懂。不幸的是，我看了半个小时后没有找到具体的计算um_token的方法。之后我就放弃了，因为我还知道一种曲线救国的方法。
使用Selenium模拟浏览器行为
在上篇文章淘宝抓取所有订单中，在获取ua值时我就用到了Selenium+PhantomJS来模拟浏览器执行Javascript并获得脚本运行后的结果。这里简单再介绍下Selenium。
Selenium的官方文档是Selenium with Python。安装Selenium非常简单pip install selenium，除了安装，要正常使用Selenium还需要一个浏览器驱动并安装对应的浏览器本身，比如说如果你要模拟Chrome，你至少需要一个能正常使用的Chrome浏览器和一个Chromedriver，后者文档里有下载地址，Driver是一个可执行文件，你需要把它的目录添加到环境变量Path中。目前Selenium支持四种浏览器：Chrome，Edge，Firefox和Safari。当然也支持PhantomJS，不过在运行的时候会输出警告信息，另外几种浏览器也都支持无界面访问模式。
显然，这种组合很适合一个场景：WEB自动化测试。不过结合Python做爬虫，也非常有用。浏览器用来解析JS文件，通过Webdriver与Selenium连接，Selenium再通过一些API供Python使用达到与浏览器交互的目的（也有其他语言的API）。
目前Selenium提供了7中用来定位网页元素的接口，可以分别通过ID、Name、XPath、链接文本、标签名、类名和CSS选择器来定位元素。定位元素成功后，你可以与网页进行交互：进行表格填写，拖放，窗口交互，对话框操作，访问历史记录以及操作Cookies。你也可以设置等待浏览器解析并完成js加载之后再进行内容抓取。具体的API和其他特性可以参考官方文档。
如果要模拟淘宝账号登陆，需要填写两个文本框，单击一次登陆按钮，最后抓取获得到的Cookie。
如果要模拟二维码登录，需要先点开二维码，然后等待手机扫码，跳转时抓取Cookie。
不幸的是，第一种方法没有成功，就是那种理论上都没问题，但就是不成功的情况，后面我会细说。第二种方法可以成功。
代码
账号密码登陆
我这里使用URL是否以https://login.taobao.com开头来判断是否登陆成功。关于账号密码的登陆逻辑是这样的：
- 判断是否处于登陆页面，不是的话跳转到6，否则继续；
- 填写用户名和密码，判断是否有滑动块；
- 如果滑动快的文字是
验证通过, 跳转到5； - 判断文字是否是
请按住滑块，如果是，定位滑块，并向右拖动滑块；其他情况，输出错误信息（这里只考虑了一种验证模式）； - 定位
登陆按钮并点击，等待5s，回到1； - 获取Cookies。
这里的难点在于滑动块的处理，首先只要是用selenium必定会要求滑动块检测（至少我没遇到不要的情况）；其次，淘宝肯定对拖动滑动块是否由人类完成有一个非常严格的判断，并且很可能会因为失败的次数增加而变得更加严格，我这么说，是因为我没有成功！
我在网上查到说这类滑块的操作，会综合考虑你拖动时鼠标的走向、移动的停歇、总时间等等等等因素。我在网上找到一片文章写了如何使用GhostMouse软件录制鼠标操作：滑动验证码破解。我录制了能够通过验证的鼠标操作，之后根据这个操作记录用Python计算出偏移量，从而让爬虫能模拟出我的验证操作。但这没有成功，我后来甚至发现直接用GM的录制回访功能，同样的操作第一次能成功，第二次也不能成功。等到后面测试多了之后，几乎是100%失败，即使人工操作都不行。现在的效果大概是这样：
除了最后不能成功之外，其他都没问题。我仍然把代码贴在这：
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.action_chains import ActionChains
import time
import random
# 你的账户密码
username = "username"
password = "password"
options = webdriver.ChromeOptions()
options.add_argument("--window-position=0,0")
options.add_argument("--window-size=1280,960")
#options.add_argument('--proxy-server=https://101.27.22.17:61234')
driver = webdriver.Chrome(chrome_options=options)
#driver.maximize_window()
#driver.delete_all_cookies()
driver.get("https://login.taobao.com/member/login.jhtml")
driver.implicitly_wait(5)
def get_track_from_GM():
file = open("human2.gms")
# 这是滑块的位置，需要自己调整
x, y = 1176, 413
res = []
while True:
line = file.readline().strip()
if not line:
break
data = line.split(" ")
pos = (int(data[0])-x, int(data[1])-y, random.randint(0,10)*0.01)
res.append(pos)
file.close()
return res
def Login_by_Account():
while True:
url = driver.current_url
if not url.startswith("https://login.taobao.com"):
break
# 填写用户名和密码
driver.find_element_by_id("TPL_username_1").clear()
driver.find_element_by_id("TPL_password_1").clear()
driver.find_element_by_id("TPL_username_1").send_keys(username)
driver.find_element_by_id("TPL_password_1").send_keys(password)
# 处理验证
text = driver.find_element_by_id("nc_1__scale_text").text
if not text or text == "验证通过":
pass
elif text.startswith("请按住滑块"):
slider = driver.find_element_by_id("nc_1_n1z")
print (slider.location)
action = ActionChains(driver)
action.click_and_hold(slider).perform()
action.reset_actions()
res = get_track_from_GM()
for i in res:
action.move_by_offset(i[0], i[1]).perform()
action.reset_actions()
time.sleep(i[2])
action.release().perform()
action.reset_actions()
else:
print ("[ERROR]文本内容是:" + text)
break
# 点击登陆按钮
driver.find_element_by_id("J_SubmitStatic").click()
time.sleep(5)
cookies = driver.get_cookies()
res = ""
for cookie in cookies:
res += cookie.get('name')+'='+cookie.get('value')+';'
res = res[:-1]
print (res)
driver.quit()
if __name__ == '__main__':
Login_by_Account()
这里的human2.gms文件是GhostMouse录制后保存的内容，它的结构很简单：
...
1208 504 1 0
1211 504 1 0
1214 504 1 0
1216 504 1 0
1219 504 1 0
...
前两个数字分别是坐标轴的x和y值，像这类坐标，都是以父窗口的左上角为原点，向右是x正向，向下是y正向。注意selenium提供的move API的参数是位移，需要自己计算；后两个数字分别代表鼠标的左键和右键，1表示按住，0表示没有。
二维码登录
经历了很多次账号密码登陆的失败后，我又想到了一个退而求其次的办法：通过手机扫描二维码登录。逻辑会简单点，但你需要人工用手机扫一下二维码：
- 打开网页，定位到二维码标签，点击，让登陆框载入二维码。
- 等待扫码，同时判断二维码是否过期，过期则刷新二维码。
- 判断URL是否跳转，如果跳转说明成功登陆，抓取Cookie。
代码如下：
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.action_chains import ActionChains
import time
import random
username = "username"
password = "password"
options = webdriver.ChromeOptions()
options.add_argument("--window-position=0,0")
options.add_argument("--window-size=1280,960")
#options.add_argument('--proxy-server=https://101.27.22.17:61234')
driver = webdriver.Chrome(chrome_options=options)
#driver.maximize_window()
#driver.delete_all_cookies()
driver.get("https://login.taobao.com/member/login.jhtml")
driver.implicitly_wait(5)
def Login_by_qcode():
qcode = driver.find_element_by_id("J_Static2Quick")
action = ActionChains(driver)
action.reset_actions()
action.move_to_element(qcode)
action.move_by_offset(20, -20).click()
action.perform()
while True:
url = driver.current_url
if not url.startswith("https://login.taobao.com"):
cookies = driver.get_cookies()
res = ""
for cookie in cookies:
res += cookie.get('name')+'='+cookie.get('value')+';'
res = res[:-1]
print (res)
break
try:
refresh = driver.find_element_by_class_name("J_QRCodeRefresh")
refresh.click()
except:
pass
time.sleep(6)
driver.quit()
if __name__ == '__main__':
Login_by_qcode()
打印出来的Cookie可以直接复制粘贴到上一篇文章中Cookie变量里面。执行后，可以直接抓取到订单信息：
进度条
之前我提到过，程序抓取数据的时间其实不算短，这时候使用一个进度条可以有效的缓解等待的紧张感，同时也可以知道程序仍在工作，没有进入死循环。
第一种
import time
total = 1000
for i in range(0, total, 7):
print("{0:.2f}%".format(float(i/total)*100), end="\r")
time.sleep(0.05)
第二种
progressbar2库了解一下，果然大家都有相同的困扰。
