爬虫工具—whistle安装与使用

一.whistle安装

1.whistle安装步骤

1).终端使用npm命令安装whistle

$ npm install -g whistle

2).终端启动whistle

$ w2 start

[i] whistle@2.7.7 restarted
[i] 1. use your device to visit the following URL list, gets the IP of the URL you can access:
       http://127.0.0.1:8899/
       http://xxx.xxx.xxx.xxx:8899/
       Note: If all the above URLs are unable to access, check the firewall settings
             For help see https://github.com/avwo/whistle
[i] 2. configure your device to use whistle as its HTTP and HTTPS proxy on IP:8899
[i] 3. use Chrome to visit http://local.whistlejs.com/ to get started

3).whistle其他操作

  • 关闭whistle
$ w2 stop
  • 重启whistle
$ w2 restart
  • whistle帮助
$ w2 help

2.打开whistle后台管理页面

  • 在浏览器输入 w2 start q启动后的显示地址127.0.0.1:8899进入whistle后台管理页面

二.whistle插件配置

1. 下载SwitchyOmega插件

1)Firefox下载方法

  • 工具-扩展和主题-搜索SwitchyOmega-添加组件

2)chrome下载方法

  • google搜索SwitchyOmega,选择chrome 网上应用店安装SwitchyOmega
chrome添加whistle配置.png
  • 选择添加至Chrome

2.新建情景模式

  • 建好后,启动whistle的配套情景模式,可在whistle后台管理页面查看页面访问情况

1)浏览器配置

chrome配置whistle.png

3.手机-新建情景模式

1.iPhone配置

    1. 设置-无线局域网,切换到和电脑同一局域网下
    1. 进入局域网详情-配置HTTP代理-手动输入服务器:127.0.0.1和端口8899,存储退出
    1. 配置完成,可以在电脑上的浏览器whistle后台管理页面查看手机访问网址情况

三.whistle后台管理页面调试

1.打开whistle管理后台步骤

1) 在浏览器输入127.1:8899进入whistle后台管理页面

  • 前提:保持终端开启whistle
$ w2 start

2) SwitchyOmega切换到刚刚配置好的whistle

whistle开启.png

3) 这时访问其他网站,就会在whistle后台管理页面显示

whistle后台管理页面.png

4) 如果要支持HTTPS还需要下载证书

2.Network使用

1)使用settings配置过滤条件等

  • 过滤只显示www.baidu.com的请求,需要Clear后重新访问baidu
whistle过滤.png

2).使用Inspectors

  • 可以看到Request和Response详情,其中包含Header等参数信息

3).使用Composer

  • 用于调试Rules,调试结果在Body或JSONView中查看
  • 调试完毕需要写到左侧菜单的Rules下,再次访问网站才能看到修改效果
Network基础操作.png

3.Rules使用

I.常用Rules介绍

# 规则:pattern operatorURI(即:自定义域名或URL+空格+本地目录路径)


www.mydemo.com/ln/ file:///Users/ln/Desktop/Python练习100道/index.html
www.mydemo.com/index/ file:///Users/ln/Desktop/Python练习100道/index2.html


#api.weibo.cn/2/comments/build_comments resMerge://(tip_msg=显示微博评论30天内博主拉黑人数&tip_close_disable=1)

api.weibo.cn/2/comments/build_comments resMerge://{demo.json}

api.weibo.cn/2/statuses/extend resMerge://{status.json}

api.weibo.cn/2/searchall resMerge://{test1.json}


#重定向
# https://www.baidu.com/ redirect://https://www.qq.com/


# hosts
# 127.0.0.1 www.mydemo.com

# 端口映射
# 127.0.0.1:8899 www.baidu.com

# CNAME 
# host://www.qq.com www.mydemo.com 

# 本地替换
# www.mydemo.com file:///Users/ln/Desktop/Python练习100道/index2.html

# 请求转发
# www.mydemo.com www.aliexpress.com

# 注入html、js、css
# www.mydemo.com js://D:/test/test.js

# 调试远程页面
# www.mydemo.com weinre://test
# log
# www.mydemo.com log://{test.js}

# resBody替换为values里面的内容
# www.mydemo.com resBody://{test.txt}
# 带模板解析
#www.mydemo.com resBody://`{test.json}`

# 内联多行操作值(带模板解析)
# www.mydemo.com file://`{test123.html}`
#  ```test123.html
# Hello ${url}.
# Hello world1.
# Hello world2.
# ```

# 禁用请求的缓存,只要经过代理且匹配到的请求都不会使用缓存
# 跟 cache 协议的区别是,cache 只是用来设置响应的缓存头
# wwww.test.com disable://cache

# 禁用请求和响应的cookie
# wwww.test.com disable://cookie # 也可以写成复数形式cookies

# 只禁用请求的cookie
# wwww.test.com disable://reqCookie # 也可以写成复数形式reqCookies

# 只禁用响应的cookie
# wwww.test.com disable://resCookie # 也可以写成复数形式reqCookies

# 删除ua
# wwww.test.com disable://ua

# 删除referer
# wwww.test.com disable://referer

# 删除csp策略
# wwww.test.com disable://csp

# 禁用timeout,默认情况下whistle对每个请求如果36s内没有发生数据传输,会认为请求超时
# wwww.test.com disable://timeout

# 把301转成302,防止cache
# wwww.test.com disable://301

# 禁用https拦截
# wwww.test.com disable://intercept

# 不缓存远程的dns(通过whistle配置的host是不会缓存),主要用于测试网页的极端情况的加载速度
# wwww.test.com disable://dnsCache

# 禁用代理服务器请求链接复用
# wwww.test.com disable://keepAlive

# 删除请求头 `x-requested-with`
# wwww.test.com disable://ajax

# 也可以同时禁用多个
# www.example.com disable://cache|cookie|ua|referer|csp|timeout|301|intercept|dnsCache|keepAlive

4.Values使用

  • 用于定义一些Rules用到的值,可以替换网页的页面内容
  • 常用来定义默认的json,注意json文件必须要加后缀.json,否则Rules识别不了

四.whistle参考文章

8102 年的程序员不需要 Hosts 和 Fiddler

whistle文档

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,701评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,649评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,037评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,994评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,018评论 6 395
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,796评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,481评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,370评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,868评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,014评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,153评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,832评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,494评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,039评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,156评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,437评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,131评论 2 356

推荐阅读更多精彩内容