闲鱼app数据实时采集探索实验

前言

转自：https://segmentfault.com/a/1190000042460135
本文章分享一下最近研究闲鱼app商品数据采集。

技术栈

1. Python
2. Frida
3. JADX
4. Objection
5. Android Studio

思路

1. 使用Android Studio创建x86模拟器并运行，安装闲鱼和frida
2. 使用Objection hook URL类，打印调用栈分析出关键函数
3. 使用JADX打开APK分析关键函数的参数
4. 使用firda构造参数调用关键函数
5. python获取来自frida脚本的回调写入es数据库，按照小时分片
6. 暴露接口实现任意关键词的实时查询

效果

可以看出闲鱼每秒大概有30-40条新数据产生，我们的请求速度为每5s一次，刷新速度甚至低于人工操作app时候的频率，不会对服务器造成任何影响，我们把他们写入我们自己的数据库，便可以实现实时分析。

总结

1. 通过这次实验，我学会了使用frida去获取app的数据，不需要破坏app本身的任何东西，也不需要进行http抓包，直接hook函数即可实现，非常友好
2. 从技术角度讲，这样的思路可以搞定一切app。