Python爬虫-Android手写爬虫

我以我自己的想法来分析用Python爬网页的步骤以及注意点~

首先我个人认为一个小爬虫的步骤很简单,无非就是“找网站-分析网页源码-请求-分析-匹配-输出”,就这样,这是我个人理解

那么手机爬虫也就是和PC端一毛一样,除了工具以外

那么开始吧~

我这里推荐三个手机app:packet capture(抓包工具,网上有汉化版)、termux(手机终端)、pydroid(网络上比较少,但是可以到Google play下载,只支持Python2,我这里有自己汉化了的,有需求的可以找我)

这篇文章只用两个软件:termux和chrome浏览器即可

我们要爬取的网站是著名的老司机网站:i.jandan.net,我们只抓取100页的图片(60-160)

网址在这:http://i.jandan.net/ooxx/page-60,没瞎的人都知道page-60是指的页码。。。我没鄙视那些没看懂的人;但是我们还不知道它网页的构造,在浏览器的网址栏上加上“view-source”,加在网址的最前面,也就成了这样

图片发自简书App

OK,现在该网页的源码已经呈现在我们眼前了,可能看着有点费劲,但还好有高亮,不算太坑爹

图片发自简书App

一般情况下:我们找到图片的链接关键字,比如href、jpg、png之类的

但是这,我们只需要找“查看原图”这四个字就可以了,找到之后,我们可以看到它的一个图片都是用一个div给包裹着,每个都是

图片发自简书App

这个就好办了,可以开始写代码来

那么开始把,打开termux,新建一个crawler.py文件,我这里是这个,你们随意

图片发自简书App

然后导入我们那需要的包

import requests
import re

只需要这两个包即可

然后分享一下我的代码:

图片发自简书App

图片发自简书App

接下来,我们就只需要下载就可以完成了,看代码吧:

图片发自简书App

下载过程:

图片发自简书App

完成:

图片发自简书App

简单,代码量很少,有用的代码最多20行

感谢观看,有错的地方别喷,指出来,我学习。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 172,924评论 25 708
  • 本内容为《用Python写网络爬虫》书籍内容,有兴趣的读者可以购买本书,本章的代码皆可在Python3中运行。为了...
    海人为记阅读 2,262评论 0 5
  • 1 前言 作为一名合格的数据分析师,其完整的技术知识体系必须贯穿数据获取、数据存储、数据提取、数据分析、数据挖掘、...
    whenif阅读 18,103评论 45 523
  • ❤️调伏身心:昨晚带孩子去跳舞,等待的过程中,站桩半个钟,晚上10点回到家,继续热水泡脚、身体热敷。早晨醒来继续站...
    陈俊宁阅读 334评论 0 1
  • 最近被看了一部电视剧《大唐荣耀》。之所以说“被”,是因为遥控器掌握在老婆手里。先不说景田那叫一个漂亮,今天我拿广平...
    一路凯哥阅读 545评论 2 4