Python-爬取豆瓣电影

from selenium import webdriver
import time

phantomjs路径r#

path=r'phantomjs电脑上的存贮路径'
browser=webdriver.PathtomJS(path)

url='https://movie.douban.com/typerank?type_name=%E7%88%B1%E6%83%85&type=13&interval_id=100:90&action='

browser.get(url)
time.sleep(3)

browser.save_screenshot(r'phantomjs\douban1.png')

让browser执行简单的js代码,模拟滚动到底部#

js='document.body.scrollTop=10000'
browser.execute_script(js)

time.sleep(3)
browser.save_screenshot(r'phantomjs\douban2.png')#又多加载一页#

获取网页的代码,保存到文件中#

html=browser.page_source
with open(r'phantomjs\douban.html','w',encoding='utf8') as fp:
fp.write(html)

browser.quit()

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 爬取目标 爬取豆瓣电影TOP250信息并简单分析 爬取网址为https://movie.douban.com/to...
    熊定坤阅读 4,937评论 0 0
  • Python爬取豆瓣电影250的相关信息,然后保存到mongodb。 代码如下: import requests ...
    吴强_71b2阅读 4,093评论 0 0
  • 前言 对于爬虫很不陌生,而爬虫最为经典的案例就是爬取豆瓣上面的电影数据了,今天小编就介绍一下如果爬取豆瓣上面电影影...
    嗨学编程阅读 8,560评论 0 0
  • 平时和女儿交谈,听她常常冒出惊人之语,太好玩了!这童真能保持几年呢,一定要记录下来呀,不要随时光流逝无踪影。 (一...
    携梅阅读 5,087评论 24 43
  • 文、图|恬伶 为了将朱砂痣印入你的胸口 我扯住月老的红线 执着的走进你的世界 缘份由此开始 欣喜、狂热、躁动 哪怕...
    恬伶阅读 2,812评论 6 12

友情链接更多精彩内容