我的网络爬虫出生了

我的第一个在线网页的爬虫出生了,感觉自己就是有黑魔法(黑科技)的养蛊的人。

我的代码和运行界面:


总结一下经验:

一、使用chrome解析网页源代码的时候,copy selector路径有时并不准,因为有些标签是动态加载的,其中的标签代码是自动生成的,与源代码并不一致,要得到准确的路径,最好还是分析网页的源代码。

二、BeautifulSoup解析网页返回的对象是一个类似的列表的对象,可以好像获取列表元素一样获取它的元素,如果该对象只有一个元素,就直接去它的[0]元素就可以了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,896评论 18 139
  • HTML标签解释大全 一、HTML标记 标签:!DOCTYPE 说明:指定了 HTML 文档遵循的文档类型定义(D...
    米塔塔阅读 3,320评论 1 41
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 173,179评论 25 708
  • 文/刘彩霞 (十二) 小邱开始是好言相劝,接下来是表明态度,就是不让宫庆庆回来,到最后,怎么阻止也没有效果。上午九...
    彩霞漫天阅读 162评论 0 0
  • 24岁。 雏菊。 工资。 努力。 盒子书生/第三十七天
    盒子书生阅读 85评论 0 1