爬虫遇到的问题：关于网页需要跳转后才能访问的问题

有时候访问一些网页，显示网页需要等待5s才能跳转到所需要的网页：Your browser will redirect to your requested content shortly；

这是为了防止是爬虫去访问，requests没有提供相应的方法，如果每次用chromedriver访问影响效率太低下；

经观察网页首次打开会出现需要等待的问题，再次刷新就不会了，那应该是设置了cookie的问题；

复制cookie跑下程序，访问结果就是想要的json数据，那就证明首次访问设置了cookie，后面就一直刷新就直接访问数据了；

复制的cookie过一段时间再访问还是会跳出需要等待5s跳转的问题，说明cookie会过期；

解决思路：

首次使用chromedriver访问获取cookie，再用request.session保持cookie更新，使用无头浏览器拿到cookie后再访问仍不OK，经排查是user-agent和chromedriver访问时的user-agent不一样，需要设置无头浏览器的user-agent，再访问就OK了，代码如下：

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

chrome_options = Options()

chrome_options.add_argument('--headless')

chrome_options.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36')   # 此处设置的user-agent要和后面每次访问的user-agent一致才不会报错

chrome_options.add_argument('--no-sandbox')

driver = webdriver.Chrome(chrome_options=chrome_options)

driver.get(url)

time.sleep(10)

cookies = {}

for cookie in driver.get_cookies():

cookies[cookie['name']] = cookie['value']

print(cookies)

s = requests.Session()

s.cookies = requests.utils.cookiejar_from_dict(cookies, cookiejar=None, overwrite=True)

driver.quit()

res = s.get(url, headers=headers)

print(res)

再拿着这个url就可以去反复请求url都不会跳出需要等待5s的问题