热爱生活的大川

基于矩阵分解 快速简洁，但属性信息与结构信息的融合比较困难。 1. Skip-Gram with Negative Sampling (SGNS) 损失函数 将中心词与上下文...

热爱生活的大川

定义 优化问题：的解满足如下条件该条件即KKT条件。 解释 无约束条件时，局部极值点在梯度为0时取得。例如，当为局部极大值点，则在任一方向移动（一个任意小距离）时函数值应不增...

热爱生活的大川

在某一固定时段内，事件发生次，即事件的期望值已知。将该时段无限细分，每一个内都看做一个0-1事件，则在时段内，其发生k次的概率为 比如，一个医院一天出生8个婴儿，那一天出生k...

热爱生活的大川

1. 函数內积 将函数在其定义域中，按切分后，看做无限维的向量(希尔伯特空间)。则其模平方为参照有限维度向量內积的定义，函数內积定义为 內积定义的推导 通过向量到向量的投影垂...

热爱生活的大川

基础准备 1.定比分点公式 点为上一点，则设，则 证明： 2.凸函数性质 设，为凸函数，则 3.markov不等式 证明： Hoeffding 不等式 取随机变量，令。若满足...

热爱生活的大川

一、DF转换器 Transformer：SparkML中有很多直接对DF进行变换的类，如TF-IDF，PCA等，它们统称Transformer；子类主要需要实现_transf...

热爱生活的大川

1.定义 假设只有三种编辑方式：插入，删除，替换。每种编辑方式对应一次操作。按规定的编辑方式，将原始字符串变换到目标字符串所需的最少操作次数，被称为最小编辑距离。Levens...

热爱生活的大川

ERM 真实损失定义为总体分布，为真实标签函数，为标签函数，也叫模型或分类器。为在总体分布和真实标签函数分别为D和f时h所对应的误差，也叫做真实损失。其公式为 经验损失抽取个...

热爱生活的大川

一、矩阵求导 矩阵求导就是对内部每一项求导 ， 矩阵的迹有如下性质： 因而可推出如下性质：设 ，相当于分别对和取偏导后相加 ，分子为标量可看做矩阵的迹 二、最小二乘法 已知为...

热爱生活的大川

一、信息熵（information entropy） 不确定性设是不确定性的度量，则需满足a. 是概率的减函数，且非负b. 独立事件间具有可加性：可知，满足以上条件，可作为不...

热爱生活的大川

1. ogrid 调取方式如下 np.ogrid可以有多个切片索引，结果也对应多个。结果产生逻辑为 统一维度总数，如上X与Y均变为2维； 令第n个结果的值按照第n个切片索引可...

热爱生活的大川

中心极限定理 设独立同分布，期望为，标准差为，随机变量的分布函数为即，服从正态分布，其概率密度函数为 证明：不妨设的概率密度为，令，这里可求出的概率密度，暂设为则，由下面第一...

热爱生活的大川

一、Wallis公式 通常根据的积分递推性及其关于n的单调性应用极限夹逼准则推导出。 令从而有，即由得根据的单调性可知整理为由极限夹逼准则可得出 二、的单调性 对于，当时，为...

热爱生活的大川

数据分析中，我们常常会统计数据的平均增长率或平均下降率。事实上，我们可以通过指数拟合来得到上升比率或下降比率。 如图，针对不断下降的月度数据，我们制作一个指数拟合曲线： 图中...

热爱生活的大川

记： 梯度下降算法 系数更新公式为：不妨设，且损失函数为：则梯度为：对于BGD，n为全体数据量；对于SGD，n为1；对于MGD，n为批量大小m。 牛顿二阶梯度优化法的推导 在...