对于常规的机器学习算法，一般经历三个步骤：1. 建模。用数学语言来描述问题，然后建立一个模型。例如回归模型或者分类模型等来描述该问题；2. 建立...

请听题:什么是熵？什么是交叉熵？什么是联合熵？什么是条件熵？什么是相对熵？它们的联系与区别是什么？ 如果你感到回答这些问题有些吃力，对这些概念似...

视频教程的总结和一些自行补充的内容，旨在尽可能的理解其原理。 本文持续更新地址：https://hellogod.cn： 个人博客机器学习面试基...

1、特点 统计学习以数据为研究对象（数据驱动），以方法为中心，目的是为了对数据进行预测与分析。 2、方法 统计学习包括监督学习，非监督学习，半监...

感知机算法 《统计学习方法》系列笔记的第二篇，对应原著第二章。大量引用原著讲解，加入了自己的理解。对书中算法采用Python实现，并用Matpl...

k近邻算法 给定一个训练数据集，对新的输入实例，在训练数据集中找到跟它最近的k个实例，根据这k个实例的类判断它自己的类（一般采用多数表决的方法）...

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。训练的时候，学习输入输出的联合概率分布；分类的时候，利用贝叶斯定理计算后验概率最大的输...

决策树模型与学习 决策树模型 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部节点和叶节点，内部...

本文希望通过《统计学习方法》 第六章的学习，由表及里地系统学习最大熵模型。文中使用Python实现了逻辑斯谛回归模型的3种梯度下降最优化算法，并...