Python爬虫相关

一. 核心:

    1.selenium:

        python包,模拟人操作浏览器获取数据,支持等待某元素加载完,支持模拟点击翻页等,速度慢;

    2.request:

        python自带的url访问功能模块,容易被封,速度快;

二. 所需知识:

    1.xpath:

        网站的结构定位方式,即html路径;

    2.sql:

        数据库交互语句,因为自动化爬虫需把爬取所得的数据载入数据库;

三. 相关工具:

    1.浏览器:chrome;

    2.驱动:chromedriver;chromedriver下载


    

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 学习爬虫有一段时间了,期间接触了很多相关的库,不禁感慨Python就是强大,当你遇到任何问题的时候基本上都有前人造...
    HomerX阅读 12,316评论 0 13
  • 一时兴起,想用 python 玩儿一下爬虫,顺便体验 python 这门语言。 前言 Python 学习,推荐使用...
    Deemons阅读 5,915评论 0 1
  • 前言 最近做了一个python自动登录淘宝爬取数据的脚本,关于这个脚本下篇会做介绍,在这之间涉及到许多框架,也遇到...
    若小北00阅读 4,164评论 0 9
  • Python学习网络爬虫主要分3个大的版块:抓取,分析,存储 另外,比较常用的爬虫框架Scrapy,这里最后也详细...
    Joyce_1dca阅读 3,051评论 0 0
  • builtwith:识别网站所用技术python-whois:寻找网站所有者urllib2:下载网页,并返回其HT...
    何幻阅读 3,508评论 0 0

友情链接更多精彩内容