1、百分位数:
以身高为例,身高分布的第五百分位表示有5%的人的身高小于此测量值,95%的身高大于此测量值。
第p百分位数是这样一个值,它使得至少有p%的数据项小于或等于这个值,且至少有(100-p)%的数据项大于或等于这个值。
这样理解:一组数据从小到大排,百分位数代表的值处于排列中的位置。
2、归一化:
一、 归一化的作用是:将数据去掉量纲的影响。简单的讲,由于数据单位不一致,故需将不同的数据进行格式化,使之在指定的范围内 (比如在0~1之间)。
二、归一化方法:
1、线性函数转换:y=(x-MinValue)/(MaxValue-MinValue)
说明:x、y分别为转换前、后的值,MaxValue、MinValue分别为样本的最大值和最小值。
2、对数函数转换:y=lg(x)
说明:以10为底的对数函数转换。
3、反余切函数转换:y=atan(x)*2/pi
4、#### Z-score标准化方法 —— 针对正态分布的数据
这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1,转化函数为:
为所有样本数据的均值,3、智奇真的好聪明啊(╥╯^╰╥) 人和人的智商差别真是蛮大的。。。——???我什么时候写的这个!!!他就是大傻X。。。口亨~~~ 2018/7/17
4、- 召回率R:用实际检索到相关文档数作为分子,所有相关文档总数作为分母,即R = A / ( A + C )
- 精度P:用实际检索到相关文档数作为分子,所有检索到的文档总数作为分母,即P = A / ( A + B )
举例来说:
一个数据库有500个文档,其中有50个文档符合定义。系统检索到75个文档,但是实际只有45个符合定义。则:
召回率R=45/50=90%
精度P=45/75=60%
F1分数(F1 score),又叫平衡F分数(balanced F Score),定义为召回率和精度的调和平均数。
Generally,定义Fβ分数为:
除了 F1 分数之外,F2 分数和 F0.5 分数在统计学中也得到大量的应用。其中,F2 分数中,召回率的权重高于准确率,而 F0.5 分数中,准确率的权重高于召回率。在合并的过程中,召回率的权重是准确率的 β 倍
F分数是准确率和召回率的调和平均数,G分数被定义为准确率和召回率的几何平均数。
5、第一个阶段是,做出各种相关或者不相关的但是有意义的统计指标;
第二个阶段是,定义任务,从各种统计指标中找出“可能”与任务有关联的指标,从视觉上看
第三个阶段是,基于这些指标和任务的目标(比如养猪收益最大,或者养猪存活率最高)做优化函数,我们的客户的任务或者目标可能是很发散。
我们要先把第一个阶段做多,把第二个阶段中的代表性任务定义出来。
然后才去搞第三个阶段的方法。