来源于tanh求导详解_笔记大全_设计学院 (python100.com)
1. 双曲正切
hyperbolic tangent function
tanh函数是由指数函数组成的比值，并且其取值范围为[-1, 1]
是sigmoid函数的变形，是一种非线性函数，在神经网络中被广泛应用。
2. 求导
tanh'(x) = 2 * (sigmoid(2x))' = 2 * sigmoid(2x) * (1 - sigmoid(2x))
而sigmoid(x)' = sigmoid(x) * (1 - sigmoid(x))
tanh'(x) = 1 - tanh^2(x)
用python代码表示就是：
import math
def tanh(x):
return (math.exp(x) - math.exp(-x)) / (math.exp(x) + math.exp(-x))
def tanh_derivative(x):
return 1 - math.pow(tanh(x), 2)
