一年一度的TI刚刚结束，来自世界各地的dota2职业战队齐聚西雅图，争夺这一dota2领域的荣誉桂冠，同时还有高达900多万美金的冠军奖金，最终此项荣耀由来自中国的Wings战队豪取。
本文将以dota2为例浅谈一下电子竞技领域的数据分析。
准备
巧妇难为无米之炊，进行数据分析当然需要先有数据。这里，我们拿dota2各种比赛的BP数据进行分析（BP，就是Ban/Pick，赛前每个战队Ban掉5个英雄，Pick 5个英雄，然后开始比赛。对于实力接近的两个队伍，BP对比赛最终的胜负有极其重要的作用）。
BP数据可以从某网站获得：
使用python来进行网页爬取，信息采集，入库，分别需要引入package：urllib2， BeautifulSoup， MySQLdb。同时由于效率问题，最好使用多线程爬虫，用到threading 和Queue：
引入Pickle是希望在程序过程中不断持久化已经得到的数据（list对象），可以保存进度。
main程序里面轮询page num，读取每个page页面的match url，放入Queue，同时起NUM_WORKER数目的子线程，不断地读取Queue里面的url（生产者消费者问题），进行页面爬取，并使用BeautifulSoup parse HTML文档，得到需要的各种信息（所属赛事，时间日期，每场胜者（这里面一个url可能有多场比赛），队伍名，成员，Ban，Pick，Bestof等），以特定的分隔符按照相同的顺序拼接成字符串，放入一个全局的list对象，最终load到MySQL。
多线程，爬取match url等的代码如下：
do_work主要处理对于每一场比赛，进行爬取，以及parse HTML文档得到详细信息，如下：
编码完成，就nohup到后台执行。我开了8个线程，依然用了将近10个小时得到22000场比赛数据，插入MySQL数据库（urllib2.urlopen方法中加入了timeout值，可以记录timeout的request url，用于重新抽取）
MySQL Table DDL：
全部条目数：
TI6总决赛Wings vs DC：
单独看下第二行数据：
分析
首先，可以看下整个TI6期间所有战队的胜率排行：
EH胜率最高。
此外，还能根据战队，或者联赛名称做filter，进行分析，这些都是纯SQL操作，不再赘述。
接下来可以使用R进行高级一点的分析：设定的场景是取所有胜场的pick list，然后分析hero frequency，还有做因子关联分析。
先了解三个术语：支持度（Support），置信度（Confidence），提升度（Lift）
支持度：Support(A→B)，即A和B这两个项集在事务集D中同时出现的概率，为P(AUB)
置信度：Confidence(A→B)，即在出现项集A的事务集D中，项集B也同时出现的概率，为P(B|A) = P(AUB) / P(A)
提升度：Lift(A→B)，即项集A出现情况下，项集B出现的概率，与B总体发生概率之比，为P(B|A) / P(B)
满足最小支持度的项集称为频繁项集，满足最小支持度和最小置信度的规则，叫做强关联规则，强关联规则里面如果提升度大于1则称之为有效的，反之无效。
接下来，需要导出winner pick list，因为dota2版本的不同，会导致不同的英雄热度，在此只取基于最近的一个版本的近1500场比赛：
导出成文本备用，winner_pick.data。
R里面做因子关联分析，需要使用到arules这个library，如下：
第一行引入arules，第二行读取winner_pick.data文本，定义分隔符为“|”，第三行对数据集查看summary。
可以看到winner数据集中一共有1454行，每行有5个element，arules会把数据集转换为稀疏矩阵，从上图看出这个矩阵有1454行109列，每一个单元格里面表示的是此element是否出现（即此英雄是否pick）。
看下item frequence：itemFrequencyPlot(winner, topN=10, horiz=T)
把数据集换成TI6（数据集较小，180场比赛左右），重新生成plot：
可以看出Mirana（Pom）在TI6胜场pick里面占了很大比例。
接着进行因子关联分析，依旧使用1500多场那个数据集，数据集比较大情况下分析比较有意义：
第一行使用apriori进行关联分析（分析满足支持度大于0.01，置信度大于0.25，且lhs + rhs数目最少为2的关联规则），第二行依据支持度排序关联规则。
Tiny与Io，Luna与Shadow Demon，Huskar与Dazzle成为比较火的组合，组内提升很明显；同时Phoenix（凤凰）和FV（虚空）组合支持度比较高，即组合选择比较多。
后续除了因子关联分析，还可以选取适当的feature，进行逻辑回归，预测胜负等等。
小结
本文简单介绍了从数据提取，清洗转换，到数据分析的一般流程。当然数据工程师处理的可能是更大的数据集（TB级别或以上），Hadoop存储以及Spark分布式计算，数据分析师使用的是可能是逻辑回归，SVM或者深度学习等更为高深的算法，不过从中还是可以看到数据工程师，数据分析师的日常剪影。
本文作者：韩新润（点融黑帮），目前就职于点融数据团队，负责数据仓库架构流程设计以及数据ETL实施。
