Selenium / PhantomJS / requests / urllib.request

from selenium import webdriver
import  requests
import urllib.request

def get_selenium_content(page):
    br = webdriver.PhantomJS(executable_path=r'phantomjs.exe')
    br.get('https://www.guazi.com/sh/buy/o'+str(page)+'/')
    data = br.page_source
    br.close()
    return data

def get_request_content(page):
    url = 'https://www.guazi.com/sh/buy/o'+str(page)+'/'
    r = requests.get(
        url,params = None,headers = {
            'User - Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 67.0.3396.99 Safari / 537.36'
        }
    )
    return r.text

def get_urllib_content(page):
    url = 'https://www.guazi.com/sh/buy/o' + str(page) + '/'
    request = urllib.request.Request(url)
    r = request.add_header(
            'User - Agent','Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 67.0.3396.99 Safari / 537.36'
    )
    content = urllib.request.urlopen(request).read().decode('utf-8')
    return content

print(get_selenium_content(2))
print(get_request_content(2))
print(get_urllib_content(2))
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容