主题缘由
由于app首页需要展示B端发布的需求，但是一开始我们服务端是没有任何需求展示的，所以想到了爬虫，很早的时候想要抓取信息分类网站的信息，一直未动手，最近迫不得已，直接进入正题。
1.分析所需网页数据
这里我们用某服务众包网站举例：url=http://www.zbj.com/ydyykf/tp1.html， 打开开发者工具，这里tp%d对应的是可递增的页数，分析如下图所示:
Paste_Image.png
从html可以看出我们的重点就在table列表，我们就来获取3个字段：
价格，项目名称，项目简介。我们继续深入挖掘，找到对应3个字段的html元素，如下图：
Paste_Image.png
ok，网页数据我们已经分析完了，可以开始爬了。
2.爬数据
- 说到爬虫，最容易想到的就是python，BeautifulSoup是python的一个库，最主要的功能是从网页抓取数据，形成一个类似树状结构的文档。
安装BeautifulSoup，执行：
pip install BeautifulSoup
主要代码如下：
# !/bin/env python
#encoding=utf-8
import urllib2
import urllib
import os
import sys
import leancloud
from fileOp import *
from leancloud import Query
from BeautifulSoup import BeautifulSoup
#reload(sys)
#sys.setdefaultencoding('utf-8')
#print sys.getdefaultencoding()
def parseHtml(index):
#解析HTML
html = urllib2.urlopen('http://www.zbj.com/ydyykf/tp%d.html'%(index)).read()
soup = BeautifulSoup(html)
table = soup.findAll('table', attrs={'class':'list-task'})
if(len(table) <= 0):
print "exit zbjSpider"
saveIndex(0)
sys.exit()
tbody = table[0].findAll('tr')
print "===================index=%d=================="%index
index += 1;
saveIndex(index)
for tr in tbody:
price = tr.findAll('em', attrs={'class':'list-task-reward'})[0].string
#去除¥
newPrice = price.replace('¥','').strip();
title = tr.findAll('a', attrs={'class':'list-task-title'})[0].string
introduce = tr.findAll('p', attrs={'class':'list-task-ctn'})[0].string
print "price=%s, title=%s, introduce=%s"%(newPrice, title, introduce)
#保存数据到leancloud
saveData(newPrice, title, introduce);
def saveData(price, title, introduce):
#init leancloud
leancloud.init('IRLv1lvUGypwG5XCKF248SiG-gzGzoHsz', '2lRAArUswyFeFTtIXl2wC6b5')
#sql
Query.do_cloud_query("insert into table_prjList(price, title, introduce) values(?, ?, ?)", price, title, introduce)
def main():
if(len(sys.argv) != 2):
print 'lenth of argv Error!'
return
index = sys.argv[1]
parseHtml(int(index))
if __name__ == '__main__':
main();
3.保存数据到服务端
这里我要用的是一个第三方平台，介绍如下图：
Paste_Image.png
看了这图大家应该知道这个平台是干什么的了，我们个人开发者不用找php伙伴和购买服务器，该平台都帮我们完成了，我们来看下python下如何使用：
- 1.像其它第三方框架一样，需要创建应用，得到appkey和appid；
- 2.python下导入该框架；
- 3.尽管该平台把关系型数据库封装了，表当作对象，字段当做属性，如果你熟悉sql，使用起来会很方便，看上面的代码片段，saveData函数，
Query.do_cloud_query("insert into table_prjList(price, title, introduce) values(?, ?, ?)", price, title, introduce)，该平台自定义了一种语句叫cql，反正使用起来跟sql没两样； -
4.登录leancloud，查看服务器控制台，看我们的表中是否有数据，如下图：
Paste_Image.png - 5.至此，我们自己的服务端就有数据了，接下来只要移动端访问就行了。
- 6.扩展：我们不可能总是手动去执行这些脚本，就直接在服务端放个脚本定时执行吧，脚本片段如下：
# !/bin/bash
python /Users/fanmaoyu/Desktop/python/zbjClear.py
while true
do
cat /Users/fanmaoyu/Desktop/python/index | (while read line;
do
if [ $line -eq 0 ];then
exit 0
else
python /Users/fanmaoyu/Desktop/python/zbjSpider.py $line
fi
done)
done
crontab任务定时在每日0点执行上面的脚本
0 0 * * * /bin/sh /Users/fanmaoyu/Desktop/python/spider.sh &
4.客户端访问数据
在iOS下同样可以使用sql访问，而且是直接访问leancloud服务器，都不需要我们写网络框架，如下代码：
NSString *cql = [NSString stringWithFormat:@"select * from %@ limit 100", @"table_prjList"];
[AVQuery doCloudQueryInBackgroundWithCQL:cql callback:^(AVCloudQueryResult *result, NSError *error)
{
NSArray *array = result.results;
for(AVObject *obj in array)
{
NSString *price = [obj objectForKey:@"price"];
NSString *title = [obj objectForKey:@"title"];
NSString *introduce = [obj objectForKey:@"introduce"];
PrjModel *model = [[PrjModel alloc]init];
model.price = price;
model.title = title;
model.introduce = introduce;
[self.dataArray addObject:model];
}
[self.tableView reloadData];
}];
我们看下iphone上的展示效果：
Paste_Image.png
至此，我们个人就完成了移动端，服务端开发的一个“闭环”
