最近公司需要抓取百度地图中所有药店数据，本人比较愚笨，断断续续花了2天时间才完成此次任务。期间遇到的各种小坑，但目前进度良好。以下记录的是我进行任务的整个流程。
1、熟悉百度API，调用API获得数据。
既然要拿百度地图的数据，那自然首选在地图API入手。经过了解，发现了 place api 可以使用。
Place API 提供区域检索POI服务、POI详情服务与团购信息检索服务、商家团购详情查询。
区域检索POI服务提供三种区域检索方法：
城市内检索（对应JavaScriptAPI的Search方法）
矩形检索（对应JavaScript API的SearchInBound方法）
圆形区域检索（对应JavaScript的SearchNearBy方法）。
调用此API也非常简单，只需要用PHP生成一条URL，并生成get请求即可得到数据。由于API的每次调用默认只返回10条信息，所以为了能够获得更多的信息，需要设置page_num参数进行翻页操作。这时候使用一个递归函数完成比较好。
class DataCollector{
public function getShopDataByCity($cityName,$keyword){
$this->_getShopDataByCity($cityName,$keyword);
return $this->shopData;
}
private function _getShopDataByCity($cityName,$keyword,$page_num=0){
$url = "http://api.map.baidu.com/place/v2/search?q=$keyword®ion=$cityName&output=json&ak=597a11f21bf9dfd3ab95632271b3832c&page_num=$page_num";
$curl = new \Common\Lib\Curl();
$result = $curl->get($url);
$resultData = json_decode($result);
if($resultData->results != null){
foreach ($resultData->results as $value) {
$value = $this->objectToArray($value);
$this->shopData[] = $value;
}
//继续寻找下一页
$this->_getShopDataByCity($cityName,$keyword,$page_num+1);
}
}
}
运行一下，成功了返回数据。
2、发现数据不够，并填坑
然而当我换了几个城市名调用的时候，发现API返回的数据最多是760条，这远远是不够的。一个大城市的药店总数能超过5000，而一些二线城市的药店总数也能接近一千。看来百度在API上做了手脚，强行阻止了用户扒她的数据。于是我继续研究了她提供的API，发现给API支持矩形检索。好，那就试试吧。
public function getShopDataByBounds($bounds,$keyword){
$this->_getShopDataByBounds($bounds,$keyword);
return $this->shopData;
}
private function _getShopDataByBounds(array $bounds,$keyword,$page_num=0){
$url = "http://api.map.baidu.com/place/v2/search?query=$keyword&bounds=$bounds[0],$bounds[1],$bounds[2],$bounds[3]&output=json&ak=".DataCollector::AK."&page_num=$page_num";
$result = $this->curl->get($url);
$resultData = json_decode($result);
$this->msg= $resultData->message;
if($resultData->results != null){
foreach ($resultData->results as $value) {
$value = $this->objectToArray($value);
$this->shopData[] = $value;
}
//继续寻找下一页
$this->_getShopDataByBounds($bounds,$keyword,$page_num+1);
}
}
好了，如果bounds的经纬度间隔足够小，就能够拿到充足的数据。但是我们的大中国是由无数个小矩形组成的，这意味着获得全部的数据，就必须遍历无数的矩形。但显然没什么好办法，那就遍历下去吧。
3、内存溢出
我先使用上面的函数将中国这个大公鸡的头部拿下了，先用矩形框住公鸡头，在百度的拾取系统中找到矩形的左下角和右上角的大概的经纬度，分别是：（26，95）（31，122.6）。使用下面的循环反复调用getShopDataByBounds()函数，即可得到大公鸡头部的数据了。
for($i=26;$i<=31; $i = $i+0.1){
for($j=95;$j<=122.6;$j=$j+0.1){
$shopData = $cotor->getShopDataByBounds(array($i,$j,$i+0.1,$j+0.1),'药店');
}
}
print_r($shopData);
但是很不幸的是，程序运行了10分钟左右，爆出了内存溢出的错误，函数被意外终断了。
4、解决问题
到底是怎么回事呢？其实重新审视一遍自己的代码，很快就发现了问题，_getShopDataByBounds()函数使用到了class中的一个私有数组resultData。每次我调用_getShopDataByBounds()后，这个数组并没有被重置，以至于它越来越大，到最后撑爆了内存，爆出严重错误。因此，需要在调用外部函数getShopDataByBounds()的时候，必须先重置数组。
public function getShopDataByCity($cityName,$keyword){
unset($this->shopData);
unset($this->msg);
$this->_getShopDataByCity($cityName,$keyword);
return $this->shopData;
}
再次运行程序，OK了再也不出现内存溢出情况了。
5、继续调优
程序安静平稳的运行了差不多两个小时，这是突然发现后面再也不能获取到数据了，而且在这两个小时的时间里产生的数据只有1W多，效率太慢了。其实获取不到数据，是由于百度限制了每个AK的调用次数，当AK的调用次数达到了上限，就不再能够获取数据了。所以程序程序必须要能智能切换AK，同时为了提高效率，还应该多起几个进程进行采集任务。小菜程序还需要花很多精力去完善才能变得健壮起来呢。
代码的精益求精能使得自己的能力更上一层楼，所以抓取数据的活在未来慢慢完善。就写到这了。
