强化学习的作用在于通过当前的环境做出相应的action，得到最大的value
如TensorFlow实战中的例子：
在5x5的游戏棋盘中，蓝色的代表人物。绿色的代表奖励。红色的代表惩罚。人物可以选择向上，下，左，右，四个方向行走，每走到绿色位置加10，红色位置-10，其余位置不加也不减。我们针对这个原则来制定最佳的行走方案来使奖励最多。
我们可以把整个Q-learning的学习工程写成下面的这个式子：
即当前环境下某位置的价值Q可以通过原来的Q和下一步能走的位置的最大值之间进行计算后训练获得。
通俗来讲，我们知道某一个位置是绿色，它的价值就会比较大，相同地，它的上，下，左，右，方向的四个位置，由于靠近绿色位置，所以价值也会比普通位置大。
红色附近的位置，由于靠近红色位置，价值也会比一般位置小。
而相同的，都是绿色，如图中第一行的绿色位置由于靠近两个红色，所以比较起来第三行的绿色位置，由于附近还有绿色位置。前者的价值将会小得多。
为了求出价值Q，我们首先根据每个位置的价值初始化矩阵 ，将初始矩阵都设置为0，reward矩阵设为：
[[-10,10,-10,0,0],
[0,0,0,0,10],
[0,0,0,0 ,0],
[10,0,0,0,0],
[0,10,0,0,0]]
α为0.01，γ为0.8，进行训练。
import numpy as np
GAMMA = 0.8
ALPHA = 0.01
num_steps = 10000
SIZE = 5
R = np.asarray([[-10, 10, -10, 0, 0],
[0, 0, 0, 0, 10],
[0, 0, 0, 0, 0],
[10, 0, 0, 0, 0],
[0, 10, 0, 0, 0]])
Q = np.zeros([SIZE, SIZE], np.float32)
def getMaxQ(statex, statey):
state = []
if statex > 0:
state.append(Q[statex-1, statey])
if statey > 0:
state.append(Q[statex, statey-1])
if statex < SIZE-1:
state.append(Q[statex+1, statey])
if statey < SIZE-1:
state.append(Q[statex, statey+1])
return max(state[:])
def QLearning():
for statex in range(SIZE):
for statey in range(SIZE):
Q[statex, statey] = (1-ALPHA)*Q[statex, statey] + ALPHA* (R[statex, statey]+GAMMA * getMaxQ(statex, statey))
count = 0
while count < num_steps:
QLearning()
count += 1
print(Q)
得到Q值矩阵：
[[ 12.22179413 27.77730179 12.22179413 17.77730179 22.22174644]
[ 17.77730179 22.22174644 17.77730179 22.22174644 27.77730179]
[ 22.22174644 17.77730179 14.22179413 17.77730179 22.22174644]
[ 27.77730179 22.22174644 17.77730179 14.22179413 17.77730179]
[ 22.22174644 27.77730179 22.22174644 17.77730179 14.22179413]]
有了期望获取的最大价值Q，我们的最佳策略就是站在每一个state下，选择Q值最高的action来执行。
