Python不同网络模块网页源代码的获取

requests模块

req=requests.get(url)
source = req.text

或者使用

req.content

selenium模块

driver = webdriver.PhantomJS(desired_capabilities=dcap)
driver.get(url)
source = driver.page_source

BeautifulSoup模块

soup=BeautifulSoup(req.text,'lxml')
source=soup.content
webtext=soup.text
#BeautifulSoup对象的text属性是所有文本内容

urllib模块

response=urllib.opernner.open(url)
source = response.read()
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容