tf中交叉熵计算
标签（空格分隔）： tensorflow
https://zhuanlan.zhihu.com/p/27842203
http://blog.csdn.net/taoyanqi8932/article/details/77601188
http://geek.csdn.net/news/detail/126833
建议使用tf集成的api，计算上更稳定，且方便快速
一、基础计算
import tensorflow as tf
import numpy as np
sess=tf.Session()
#logits代表wx+b的输出，并没有进行softmax（因为softmax后是一个和为1的概率）
logits = np.array([[1, 2, 7],
[3, 5, 2],
[6, 1, 3],
[8, 2, 0],
[3, 6, 1]], dtype=np.float32)
#labels是[2,1,0,0,1]的ont-hot编码形式
labels = np.array([[0, 0, 1],
[0, 1, 0],
[1, 0, 0],
[1, 0, 0],
[0, 1, 0]], dtype=np.float32)
# 公式计算，-np.log(y*softmax_out)
# y=n*c,softmax_out是n*c，相当于将每个样本softmax的c个特征中最大的取出来，再取负就是求最小
softmax_out=tf.nn.softmax(logits)
cross_entropy1 = -tf.reduce_sum(labels * tf.log(softmax_out), axis=1) #对应元素相乘，非矩阵乘法
print sess.run(cross_entropy1)
#使用一维label计算，对每个样本取第k个元素出来，k代表实际类别
out_v = sess.run(out)
class_v = sess.run(classes)
cross_entropy1_label = -tf.log(out_v[range(len(logits)),class_v])
print sess.run(cross_entropy1_label)
#---输出
array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32)
二、tf.nn.softmax_cross_entropy_with_logits与tf.nn.sparse_softmax_cross_entropy_with_logits
import tensorflow as tf
sess=tf.Session()
#logits代表wx+b的输出，并没有进行softmax（因为softmax后是一个和为1的概率）
logits = np.array([[1, 2, 7],
[3, 5, 2],
[6, 1, 3],
[8, 2, 0],
[3, 6, 1]], dtype=np.float32)
#labels是[2,1,0,0,1]的ont-hot编码形式
labels = np.array([[0, 0, 1],
[0, 1, 0],
[1, 0, 0],
[1, 0, 0],
[0, 1, 0]], dtype=np.float32)
cross_entropy2 = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=labels)
sess.run(cross_entropy2)
classes = tf.argmax(labels, axis=1) #array([2, 1, 0, 0, 1])
cross_entropy3 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=classes)
sess.run(cross_entropy2)
#---cross_entropy2 输出
array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32)
A 1-D `Tensor` of length `batch_size` of the same type as `logits` with the
softmax cross entropy loss.
#---cross_entropy3 输出
array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32)
总结：
- 两个函数的输出结果相同，区别在于输入的labels不同
- 对于
sparse_softmax_cross_entropy_with_logits， labels must have the shape [batch_size] and the dtype int32 or int64. Each label is an int in range [0, num_classes-1]。 - 对于
softmax_cross_entropy_with_logits, labels must have the shape [batch_size, num_classes] and dtype float32 or float64.
三、tf.losses.softmax_cross_entropy 和 tf.losses.sparse_softmax_cross_entropy
- 主要用于进行不同样本的loss计算
- 默认weights=1，等价于tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits)
- weights为标量w时，等价于w*tf.reduce_mean(tf.nn.softmax_corss..)）
4.,weights为向量时，算出的每个loss需要乘以对应样本权重，再求均值
logits = np.array([[1, 2, 7],
[3, 5, 2],
[6, 1, 3],
[8, 2, 0],
[3, 6, 1]], dtype=np.float32)
#labels是[2,1,0,0,1]的ont-hot编码形式
labels = np.array([[0, 0, 1],
[0, 1, 0],
[1, 0, 0],
[1, 0, 0],
[0, 1, 0]], dtype=np.float32)
cross1 = tf.nn.softmax_cross_entropy_with_logits(labels=labels,logits=logits)
cross2 = tf.losses.softmax_cross_entropy(onehot_labels=labels, logits=logits)
cross3 = tf.losses.softmax_cross_entropy(onehot_labels=labels, logits=logits,weights=0.2)
print sess.run(cross1) #[ 0.00917445 0.16984604 0.05498521 0.00281022 0.05498521]
print sess.run(cross2) #0.0583602
print sess.run(tf.reduce_mean(cross1)) #0.0583602
print sess.run(cross3) #0.011672
print sess.run(0.2*tf.reduce_mean(cross1)) #0.011672
tf.losses.sparse_softmax_cross_entropy 同理等价于tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits),只不过输入labels是非one-hot编码格式
