用python抓取饿了么无证店铺

一、前言

饿了么平台上很多店铺都无营业执照，只能借用他人的营业执照上传开店。那就想看看附近有多少这样无证共用营业执照的店铺。

先看一下抓取的截图，竟然有这么多店没有营业执照。

mongodb3.png

在饿了么上显示的地址都是营业执照的地址，有时候当你点餐会看到送餐员取餐的地址不是营业执照标注的地址。
通常这种店铺都是无营业执照的，因为店铺老板都可以在后台自行设置取餐地址，所以用户在点餐时候看到不一定是真实地址，在下单后才能具体取餐地址。
还有一种店铺是自行配送的，下单后根本就看不到取餐地址，这种店铺更可怕，根本就不知道是哪个黑作坊加工的食品。

二、运行环境

python3
pymongo
requests

三、分析

首先访问饿了么主页，输入想搜寻的区域，页面随即返回附近区域店铺。

address.png

页面浏览器地址如下：
https://www.ele.me/place/wtw39y8614v4?latitude=31.237236&longitude=121.36636

打开浏览器开发者工具，分析需要抓取的数据，接着用requests抓取该页面地址，使用BeautifulSoup解析数据，竟然返回空值数据。
再次查看页面信息，向下滚动页面，发现XHR异步加载类型中有返回JSON格式数据。如下图所示：

F12.png

后台用json格式传递数据，前台浏览器用javascript展示json格式的方法，是目前比较通用的做法。后台提供的json格式的api接口可以供网页、手机调用，属于restful风格。这样只需要开发和维护一套后台，简化系统架构。
虽然用requests抓取不到页面，但json格式可以更方便的采集我们需要数据。

1、抓取数据

分析JSON页面地址：
https://www.ele.me/restapi/shopping/restaurants?extras[]=activities&geohash=wtw39y8614v4&latitude=31.237236&limit=24&longitude=121.36636&offset=24&terminal=web

其中参数：
1、longitude，latitude采用的高德坐标系对应搜索区域的经纬度
2、limit=24 每次限制返回上限24个店铺；设置再多后台最多返回30个
3、offset=24 每次返回的店铺数量，24个数量级增加，比如页面继续往下翻offset=48,72……
用循环增加offset的偏移量，就可以得到更多的店铺数据。

此页面我们需要采集name ,phone, address 即商户名称，电话，营业地址三个数据即可。一个页面可以采集24个商家数据，json数据如下图：

detail.png

代码如下：

import requests
import json
url='https://www.ele.me/restapi/shopping/restaurants?extras[]=activities&geohash=wtw39y8614v4&latitude=31.237236&limit=24&longitude=121.36636&offset=24&terminal=web'
r=requests.get(url).text
d=json.loads(r)
for v in d:
    print (v['name'],v['phone'],v['address'])

返回结果如下：

single_page.png

设置offset=48，期望得到更多商家，返回结果如下：

{'message': '登陆后查看更多商家', 'name': 'UNAUTHORIZED_MORE_RESTAURANTS_ERROR'}

这是因为后台设置了需要登录才能访问更多商家数据。

2、设置cookies登录

我们需要在访问请求中添加cookies信息，让后台认为我们已登录。前提是用于已注册账号并登录，在开发者工具中打开->网络->消息头->cookies，复制cookies数据。

cookies.png

cookies数据处理成字典格式，这里部分cookies用***代替

cookies_str='ubt_ssid=pwppg5un1gd56zefxvx**********e_2017-11-17; _utrace=f550e02b0883e3b96b3c8e7d9b9801a9_2017-11-17; perf_ssid=7rulhdqct6md********************; eleme__ele_me=1cc2663f830938c9104e9f6f5ae73a10%3A6e49f5779ec4bca5c1f1c4a352b22d05cd8568f6; USERID=578****'
cookies={}
for i in cookies_str.split(';'):
    k,v=i.strip().split('=')
    cookies[k]=v

把之前request的get方法中也略微修改，增加cookies信息登录

r=requests.get(url,cookies=cookies).text

3、循环设置offset偏移量后，生成URL新地址

    i=j=1
    for i in range(30):
        j=i*24
        url='https://www.ele.me/restapi/shopping/restaurants?extras[]=activities&geohash=wtw39y84pc8&latitude=31.23723&limit=24&longitude=121.3663&offset='+str(j)+'&terminal=web'
        return url

4、数据插入Mongodb

from pymongo import MongoClient
client=MongoClient('127.0.0.1')
db=client['elm']
col=db['resturant']

四、代码截图

code.png

代码访问我的GITHUB

五、结果显示

在mongodb中按照地址排序，sort({address:1}) 按照地址升序排序

mongodb3.png

mongodb2.png

mongodb1.png

从结果看饿了么很多商铺都没有营业执照，饿了么也是睁只眼闭只眼，毕竟可以从每家店铺收取20%的服务器，而且有些店月销量可达几千单，哪个平台愿意自断财路。

六、改进目标

1、登录用户名和密码保存cookies
2、以订餐地址方圆20公里定位获取更多餐厅信息
3、获取店铺实际取餐地址更精确判断。
4、获取区域内热销商品，活动营销。
5、使用Flask模块web方式显示数据。
5、接入微信公众号