前言
仅记录自己对pctr的理解
使用Python实现一个最简单的神经网络，解决一个点击率预估的问题。
场景
耐克，阿迪同时在微信公众号上投放广告，我们需要给这两个广告做出预估点击率排序
简单介绍下业务：
最终决定选哪个广告的公式：eCPM=pCTR x bid
bid 是出价的意思，假设他们bid 相同，则就看谁的pCTR 大，谁胜出。
公众号特征：文中广告，底部广告
用户特征：用户id，性能，年龄等
为了简单，假设两家广告都是在底部广告位，同一个用户下竞争。
广告特征：这里假设是
X={x1="有文字说明"，x2="有场景"，x3="有美女"}
任务分析
这是一个有监督的机器学习任务，我们想简单的预测广告最有可能被点击的概率，对广告来说是一个二分类问题：被点击，或者不被点击。
所以，我们需要搭建一个点击率预测模型，这也就决定我们需要构建一个有监督学习的训练数据集。
这里选择最简单前馈神经网络为例，这种类型的人工神经网络是直接从前到后传递数据的，简称前向传播过程。
数据预处理
源数据一般不能直接使用，会有确实，异常，冗余，重复等问题，
一般要经过数据清洗，数据转换，数据描述，特征筛选或组合，特征抽取，one-hot编码等等步骤处理，转化为机器学习算法能够利用的形式。
这里假设最终的数据经过数值化编码，最终格式为：
取第一样本X0=[0 0 1]，表示对应的三个特征，Y0=[0]，表示这个样本是否被点击。翻译一下：这个样本[没有文字，没有场景，有美女]，没有被点击
选择模型
这里选用神经网络，神经网络基本结构有：输入层，隐藏层，激活函数，输出层。
激活函数
通过引入激活函数，实现非线性变换。
这里选用sigmoid 函数实例
公式：
sigmoid函数图像：
sigmoid函数的导数形式：
训练模型
现在X确定，Y确定，模型也选好，训练模型就是求解模型中的权重W
训练的三个核心流程：前向计算、损失函数、反向计算
权重的更新公式：
推导过程在上一篇 LR逻辑回归 里
模型预估
X确定，Y确定，参数也确定后，将两广告的预测数据输入模型，即可得到广告被点击的预估结果： 耐克 = [0.9999]， 阿迪 = [0.0008]，可以认为耐克广告有极大的可能被点击。
代码实现
# coding:utf-8
import numpy as np
class NeuralNetwork():
def __init__(self):
np.random.seed(1)
self.synaptic_weights = 2 * np.random.random((3, 1)) - 1
def sigmoid(self, x):
return 1 / (1 + np.exp(-x))
def sigmoid_derivative(self, x):
return x * (1 - x)
def train(self, training_inputs, training_outputs,learn_rate, training_iterations):
for iteration in range(training_iterations):
output = self.think(training_inputs)
error = training_outputs - output
adjustments = np.dot(training_inputs.T, error)
self.synaptic_weights += learn_rate*adjustments
def think(self, inputs):
inputs = inputs.astype(float)
output = self.sigmoid(np.dot(inputs, self.synaptic_weights))
return output
if __name__ == "__main__":
# 初始化前馈神经网络类
neural_network = NeuralNetwork()
print "随机初始化的权重矩阵W"
print neural_network.synaptic_weights
train_data=[[0,0,1], [1,1,1], [1,0,1], [0,1,1]]
training_inputs = np.array(train_data)
training_outputs = np.array([[0,1,1,0]]).T
# 参数学习率
learn_rate=0.1
# 模型迭代的次数
epoch=15000
neural_network.train(training_inputs, training_outputs, learn_rate, epoch)
print "迭代计算之后权重矩阵W: "
print neural_network.synaptic_weights
# 模拟需要预测的数据X
naike_data=[1,0,0]
adi_data=[0,1,1]
# 使用训练的模型预测广告被点击的概率
print "naike 被点击的概率："
print neural_network.think(np.array(naike_data))
print "adi 被点击的概率："
print neural_network.think(np.array(adi_data))
总结
最终这个模型，可以根据输入特征输出预测结果。
例子里的特征非常简单，LR也没有考虑特征间的关系，所以仅用来学习理解。
