from selenium import webdriver
import requests
import urllib.request
def get_selenium_content(page):
br = webdriver.PhantomJS(executable_path=r'phantomjs.exe')
br.get('https://www.guazi.com/sh/buy/o'+str(page)+'/')
data = br.page_source
br.close()
return data
def get_request_content(page):
url = 'https://www.guazi.com/sh/buy/o'+str(page)+'/'
r = requests.get(
url,params = None,headers = {
'User - Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 67.0.3396.99 Safari / 537.36'
}
)
return r.text
def get_urllib_content(page):
url = 'https://www.guazi.com/sh/buy/o' + str(page) + '/'
request = urllib.request.Request(url)
r = request.add_header(
'User - Agent','Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 67.0.3396.99 Safari / 537.36'
)
content = urllib.request.urlopen(request).read().decode('utf-8')
return content
print(get_selenium_content(2))
print(get_request_content(2))
print(get_urllib_content(2))
Selenium / PhantomJS / requests / urllib.request
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- Python和爱好的结合。今天是爬虫姐姐平时喜欢编织,遇到编织图解会收藏起来。 遇到一个帖子,以图片的方式上传了一...
- 关键字: Python 爬虫 PhantomJS MongoDB Webdriver 模拟登陆 Fiddler ...
- 使用requests.get出现raise ProxyError(e, request=request)错误 折腾...
- 在做动态网页爬虫时用到了selenium + PhantomJS,安装好之后运行时报错: 说是 Selenium...
- [urllib2中的urlopen()使用方法及实例]http://www.cnblogs.com/langdas...