矩阵乘法
1. matmul product（一般矩阵乘积）
m x p矩阵A与p x n矩阵B，那么称 m x n 矩阵C为矩阵A与矩阵B的一般乘积，记作C = AB ，其中矩阵C元素$ [cij]为矩阵A、B对应两两元素之和，表示为：
例子：
2. Hadamard product（哈达玛积）
m x n矩阵A = [aij]与矩阵$B = [bij]的Hadamard积，记为A * B 。新矩阵元素定义为矩阵A、B对应元素的乘积(A * B)ij = aij.bij。
例子：
3. Kronecker product（克罗内克积）
Kronecker积是两个任意大小矩阵间的运算，表示为 A x B。如果A是一个 m x n 的矩阵，而B是一个 p x q 的矩阵，克罗内克积则是一个 mp x nq 的矩阵。克罗内克积也称为直积或张量积，以德国数学家利奥波德·克罗内克命名。
例子：
计算过程：
matmul product（一般矩阵乘积），hadamard product（哈达玛积）、kronecker product（克罗内克积）
我们知道，图片中粉红色的乘法表示的是Hadamard product，但是我在阅读源码的时候，发现使用的是∗∗, 而我对∗∗的理解一直是matrix product. 陷入泥潭，后来通过阅读python官方文档才发现是怎么回事。
先简单说一下Hadamard product：
(参照维基百科：https://en.wikipedia.org/wiki/Hadamard_product_(matrices))
而matrix product为：
（参照维基百科：matrix product）
这两者是完全不一样的，但为什么python都是用∗∗表示呢？通过查阅官方文档(PEP465)，我们可以得到如下解释：
For numpy.ndarray objects, * performs elementwise multiplication, and matrix multiplication must use a function call (numpy.dot). For numpy.matrix objects, * performs matrix multiplication, and elementwise multiplication requires function syntax.
也就是说，当变量类型为 numpy.ndarray 时，∗∗表示的是Hadamard product;当变量类型为 numpy.matrix 时，∗∗表示的是matrix product。而LSTM源码中变量类型为 numpy.ndarray ，所以使用∗∗操作自然是表示Hadamard product，问题解决。
下面，举个简单例子对这两种操作进行区分：
## Hadamard product
import numpy as np
a = np.array([[1,2],[3,4]])
b = np.array([[5,6],[7,8]])
a * b
Out[5]:
array([[ 5, 12],
[21, 32]])
## matrix product
c = np.matrix(a)
d = np.matrix(b)
c * d
Out[8]:
matrix([[19, 22],
[43, 50]])
可以看到，相同的∗∗操作得到的结果是不同的，原因就是变量类型不同。
当然，变量类型为numpy.array的变量也可以通过numpy.dot()函数实现矩阵乘法的操作：
np.dot(a,b)
Out[9]:
array([[19, 22],
[43, 50]])
