Semi-supervise
和supervised learning 的区别：有 unlabelled data（无output，且远大于labelled data）
为什么要用semi-supervised？
1：labelled data少
2：和人类的学习原理类似
Semi-supervise准确率很大程度由假设的unlabelled的结果是否一致决定
transductive learning（转换式学习）：unlabelled data就作为test data
inductive（归纳学习）：和transductive相反，unlabelled data不作为test data
常常伴随假设
加入unlabelled data后，P（c1)分子得加上unlabelled的条件概率和
在初始化时，用labeled的数据来估测全部的类别
似然估计的计算
Low-density separation（低密度划分）：分类有明确的界限：low-density，即中间空着的位置（说人话：啥也没有的地方就是分界线）
self-training
优势：不用假设，就是自己训练自己
先用label data得到一个model，然后再用这个model，得到unlabelled数据的output（伪标签），将其加入到labelled data中，不断的迭代训练model
regression不能用self-training，因为伪标签数据对model不会产生影响，为什么呀？
主要是因为regression是由training data得到的一条拟合的曲线，伪标签是由regression函数得到的，那必然也在这个函数上，那加不加入伪标签到training data，影响也不大
self-training是一种比较经典的semi-supervised方法，和GM模型类似，但self-training用的是hard-label（非黑即白），而后者用的是soft-label（可能是黑也可能是白，gm模型算的是概率）
hard-level得出的概率，如果大于50%，就代表为class 1
soft-level，得出是得到每一个class的概率
基于熵的正则化
是self-training的进阶版，不同于self-training是hard-label，熵的正则化是soft-label
概率要集中在一个class中，分散就不太好啦
熵就是去描述概率分布是否集中：
越集中，熵越小，因为如果集中，概率为1，代入公式后，熵为0
重新设计loss function，对于unlabelled data，加入熵
补充一点svm知识：
svm就是要找一条直线将两个class分出来，其中这条直线距离两个class都有最大间隙
semi-svm：每一次会将unlabel 数据变为其中class，不断的枚举，不断的划分这条直线，直到找到一条直线距离margin最大，且error最少
smoothness assumption
有点近朱者赤近墨者黑的意思，来一探究竟
先做一个假设：
1：x（input）分布不均匀
2：如果x1，x2，在分布集中且相似的情况下，y1（output），y2看作是一样
会不会好奇为什么叫 “smoothness assumption”呢？
看下图，如果单看最左边的2和右边的2和3，会发现最左边的2和3类似，与2 的相似度不高，但通过不断的演化，如同曲线的smooth变化，就会发现最左边的2，其实和2类似
smoothness代表的是一个不断演化的过程
在不同学科的文件分类中，很有效
cluster and label
划分范围，并打上标签
graph-based approach
在图中，两个点相连就代表是一个class
比如在网页分类中，两个网页相互调用，那就有联系，可以连在一起、论文之间的引用
可以用k nearest neighbor方法来连两个点
k nearest neighbor就是选相似度最近的k个点连在一起
计算相似度的函数
会不断的传递
计算一下两个图的smoothness，利用下边的公式
smoothness 越小，越好，越smoothness
公式的变形
L为图拉普拉斯
W是边上的权重值
D是对称矩阵，值为W的每一行的和
loss function加一个smoothness，相当于正则项
