在上一篇文章我们已经完成数据的采集，并将数据存储在mysql，现在我们来继续后面的数据分析工作，先放出项目流程：
0.主要流程
0.数据采集
0. 目标网址获取
1. 爬虫框架选用
注：了解这一步请登录https://www.jianshu.com/p/2b015d289083
或http://blog.csdn.net/weixin_41716128/article/details/79306923
1.数据处理
由于某种原因上一篇采集的960条记录不小心给我删除了--_--（而且没有备份）
因此我重新再采集了一次，并且这次只采集只有有追加评论的订单。如图：
对比一下抓取的数据与网页基本一致。
0. 数据存储
数据库是mysql5.7版本，配置与安装数据库这里就不介绍了，度娘很多教材呢！
1. 数据清洗
好了进入正题，我们开始整理数据。初步观察数据是比较完整的，没有什么缺失值。但是要专业分析sql代码还是需要敲下！如下：
select id from iphonex where 当天评论 is NULL or 追加评论 is NULL;
#选择评论为空的id
update iphonex set 当天评论=replace(当天评论,'此用户没有填写评论!','0');
#消除 ’此用户没有填写评论!’ 的字符值
update iphonex set 当天评论=replace(当天评论,',','，');
update iphonex set 追加评论=replace(追加评论,',','，');
#把英文的逗号改为中文格式，方便以后导出csv格式
update iphonex set 机身颜色=机型;
update iphonex set 存储容量=机型;
update iphonex set 机身颜色=replace(机身颜色,'网络类型:无需合约版;机身颜色:','');
update iphonex set 机身颜色=replace(机身颜色,';存储容量:256GB','');
update iphonex set 机身颜色=replace(机身颜色,';存储容量:64GB','');
update iphonex set 存储容量=replace(存储容量,'网络类型:无需合约版;机身颜色:银色;存储容量:','');
update iphonex set 存储容量=replace(存储容量,'网络类型:无需合约版;机身颜色:深空灰色;存储容量:','');
update iphonex set 存储容量=replace(存储容量,'GB','');#去除多余信息
这里需要注意的是先用图形工具MySQL-Front添加2个字段
update iphonex set 当天评论=replace(当天评论,',','，');
update iphonex set 追加评论=replace(追加评论,',','，');
注意一下这2条代码，原值与修改值分别英文和中文的逗号，将文件存为csv必须要注意的问题。（当然你也可以选择空格或者制表符，那么就要将多余空格和制表符替换掉）运行代码后，再修改存储容量的属性为int型
结果如图：
2. 数据初步分析
导出数据：
数据格式为csv，以英文逗号为分隔值。再用数据分析图形工具spss打开数据（当然你也可以选择excel）
如图：
spss配置与安装？请问度娘。
好了一切准备好了showtime！！！！！！
订单完成交易时间与计数关系图：
初步分析可以发现销量最高的2天为11月30 与12月16，这个比较符合现实规律销量最高的都在双11与双12之间（快递一般最迟7天？）。
机型与计数饼图：
机身颜色与计数图：
灰色比较受欢迎哦！！！
这个有点惊讶64和256差不多，但是感觉256多点呢有木有？
当天就追加评论的人数较多。评论可靠度算是一般般。因为很多人没有体验太多就评论了。
突然发现忽视了一个重要的问题----------价格。因为64GB和256GB的价格是不一样的，因此第一个图只能证明销量而无法表示销售金额。若要分析销售金额，需要再对数据进行一些处理。需要作变量替换即64GB=8388元，256GB=9688元再分析。（这里就不展开了！！）
好了初步分析做到这里了，当然其实还有许多隐藏的有用信息，要将这些挖掘出来需要大家不断积累经验了！！数据挖掘要放到下一篇文章做了！下面介绍下上篇文章爬虫提到的天猫securitymatrix技术
2.数据挖掘
0. 文本挖掘
1. 用户情感分析
1.难点说明
0.关于天猫securitymatrix技术
关于securitymatrix先上某博主对securitymatrix的介绍:
安全矩阵(Security Matrix)是专业从事信息安全产品与服务、应用数学技术与密码技术的技术与学术研究组织，聚集了一批优秀的专业人才，致力于数学技术、密码技术、信息安全技术研究和相关软件产品研发，在国内信息安全领域独树一帜。目前，安全矩阵以专业的安全服务为核心，开发出包括商用加密系统及其相关产品、反黄系统、多款安全WEB信息系统、个人反木马套装在内的多款产品，并在安全评估、内容安全、接入安全、Web安全、密码技术、软件保护技术等研究领域中取得多项科研技术成果。诚信、协作与创新是我们价值观中最重要的部份。在我们的研究、开发、服务过程中，在我们与客户及国内外信息安全研究团队学习、交流过程中，我们都坚持这些原则，并且坚信通过我们专业的产品与服务，能够为社会创造高价值。参考网址：http://www.smatrix.org/
一大堆概念？好像天书？这个与爬虫有什么关系？总结一下吧！天猫这个系统其实对爬虫有有一定限制（其他限制爬虫方式还有许多如js封装，登陆验证，验证码，封ip。。。。），比如：重定向(是什么?度娘)。天猫相对于京东，爬取难度就高很多了。因此要更深入的爬取天猫还要做很多的突破！！！！所以希望大家能多交流分享经验！
换一个角度想想，其实我们快速且大量地（分布式）爬取天猫的数据时。对天猫是有一定影响的，天猫不但有可能泄漏了一些重要信息，而且会加大天猫服务器的负担的。（爬虫侵权的例子不少：eBay起诉Bidder's Edge）我们要遵守法规，适度爬虫呀！！！！！（对于我这个新手这好像是梦话哈哈哈哈）
最后引用Ryan Mitchell的话：时间就是一切，请限制你的爬虫，time.sleep(3)。
注：要获取标准的代码格式请访问：csdn微博
1.关于机器学习
好了写那么多赞赏或关注下吧
