Matrix Factorization

①linearNetwork Hypothesis

机器学习的作用就是要从一堆数据中学习到学习到某种能力，然后用这种skill来预测未来的结果。比如一个电影推荐的例子，我们手上有很多的电影数据，现在就需要训练一个机器学习的模型来使得这个模型可以预测一个新来的用户会喜欢什么电影，然后推荐过去。或者是对用户没有看过的电影进行评分预测。

中间还有一个小问题，中间有一个非线性的函数，目的就是要使得整个模型nonlinear化，可以处理非线性的数据，但是在这里需不需要呢？其实是不需要的，因为输入的向量是encoding得到的，大部分是0，小部分是1，那么就意味着这后面乘上的W权值其实就是只用一行有用，其他都是0，相当于只有一个权重值进入到tanh函数进行运算。从效果上来说，tanh(x)与x是无差别的，只是单纯经过一个函数的计算，并不影响最终的结果，修改权重值即可得到同样的效果。因为进入计算之后，修改权值就可以达到效果了，而之前需要的原因是，之前的结果都是需要多个权值就行组合，不加tanh就是线性组合了，所以加来变成非线性。这里就只有一个，不存在什么组合，所以直接使用即可。
改进一下，就是下面的图像了：

对于这种结构，自然就是linearNetwork了，这个网络结构里面：就是Nxd，用V来表示，其实应该是V的转置，隐藏层到输出层：是dxM，所以进行线性模型之后：
如果是单个用户，那么其他的都是0，只有第n个位置才是1，所以，输出的hypothesis：

②Basic Matrix Factorization

上面的变换VX我们看做是一种特征转换，φ(x)，那么就可以变成这样：
如果是对于单部电影：

④对于Matrix Factorization和Linear Autoencode的比较

可以看出这两者是有很强的相似性的，所以linear antoencode可以看做是matrix fatorization的一种形式的。

⑤SGD做优化

之前的迭代是所有的一起，SGD就是随机梯度下降，随机找一笔资料，只在这个资料上下做优化，效率很高，程序简单也容易实现，同时扩展到其他的错误也是很简单的。

对于每一笔资料如上图

还有一个需要知道的，在推荐的过程中，用户的习惯是可能发生改变的，比如三年前喜欢DC，三年后就喜欢漫威了，所以随着时间的变化，数据也应该随着时间的变化，所以在使用SGD的过程中，最后的T次迭代我们可以使用时间比较靠近的样本放入optimization中作为优化数据，相对来说结果也会比较准。

⑥summary

总结一下所学过的提取特征：

Adaboost是通过每一次选择最好的特征进行划分，也是一种Extraction Model，Network肯定是了，隐藏层就是一个提取的方法，k近邻是用距离作为特征提取的工具，MF就是刚刚说的矩阵分解了。

优缺点

优点：简单，机器可以自动化的提取特征。powerful，可以处理各种复杂的问题，比如神经网络。
缺点：hard：比较难，有时候会遇到non-convex的问题，容易得到局部最优。overfit：过拟合的问题，其实上面的矩阵分解还是需要正则化处理的。后面的代码实现加上了。

⑦代码实现

1.数据的获取

我们处理的数据是一个矩阵，先找到一些movie的数据：

电影的ID名字，事实上名字我们倒不是特别关心。
还有一个评分的csv：

def load_Data(moves_name, ratings_name):
    print('loading data ......')
    movies = pd.read_csv('../Data/' + moves_name)
    ratings = pd.read_csv('../Data/' + ratings_name)
    n_movies = len(movies)
    n_ratings = len(ratings)
    last_movies = int(movies.iloc[-1].movieId)
    last_users = int(ratings.iloc[-1].userId)
    dataMat = np.zeros((last_users, last_movies))
    for i in range(len(ratings)):
        rating = ratings.loc[i]
        dataMat[int(rating.userId) - 1, int(rating.movieId) - 1] = rating['rating']
        pass
    return dataMat

要注意的是，这里电影的ID不是连在一起的，有点坑。

2.梯度上升做optimization

def gradDscent(dataMat, k, alpha, beta, maxIter):
    '''

    :param dataMat:dataSet
    :param k: params of the matrix fatorization
    :param alphs: learning rate
    :param beta: regularization params
    :param maxIter: maxiter
    :return:
    '''
    print('start training......')
    m, n = np.shape(dataMat)
    p = np.mat(np.random.random((m, k)))
    q = np.mat(np.random.random((k, n)))

    for step in range(maxIter):
        for i in range(m):
            for j in range(n):
                if dataMat[i, j] > 0:
                    error = dataMat[i, j]
                    for r in range(k):
                        error = error - p[i, r]*q[r, j]
                    for r in range(k):
                        p[i, r] = p[i, r] + alpha * (2 * error * q[r, j] - beta * p[i, r])
                        q[r, j] = q[r, j] + alpha * (2 * error * p[i, r] - beta * q[r, j])
        loss = 0.0
        for i in range(m):
            for j in range(n):
                if dataMat[i, j] > 0:
                    error = 0.0
                    for r in range(k):
                        error = error + p[i, r] * q[r, j]
                    loss = np.power((dataMat[i, j] - error), 2)
                    for r in range(k):
                        loss = loss + beta * (p[i, r]*p[i, r] + q[r, j]*q[r, j])/2
        if loss < 0.001:
            break
        print('step : ', step, ' loss : ', loss)
    return p, q

并没有使用SGD，只是完全迭代。k就是分解的因子了，可以5个10个等等。中间都是按部就班的根据公式来即可。但是中间加入的正则化，求导也是很容易得到结果的。

p, q = gradDscent(dataMat, 10, 0.0002, 0.02, 100000)

跑的太慢了，使用直接看loss就好了，毕竟很简单而已。

都是不断减小的。

附上GitHub代码：https://github.com/GreenArrow2017/MachineLearning/tree/master/MachineLearning/MatrixFactorization