tensorflow教程
一、基本概念：张量、计算图、自动微分
1、张量
1）结构操作
创建、索引切片，维度变换，合并分割
x=tf.Variable([[1,2],[3,4]],dtype=tf.float32)
a=tf.random.uniform([5],minval=0,maxval=10)\b=tf.random.normal([3,3],mean=0.0,stddev=1.0)
tf.gather
tf.reshape
tf.concat\tf.stack\tf.split
2）数学运算
标量运算，向量运算，矩阵运算。
标量运算：加减乘除乘方，以及三角函数，指数，对数等常见函数，逻辑比较运算符等都是标量运算符。
标量运算符的特点是对张量实施逐元素运算。
向量运算：向量运算符只在一个特定轴上运算，将一个向量映射到一个标量或者另外一个向量。 许多向量运算符都以reduce开头。
#tf.math.top_k可以用于对张量排序
a=tf.constant([1,3,7,5,4,8])
values,indices=tf.math.top_k(a,3,sorted=True)
tf.print(values)
tf.print(indices)
矩阵运算：矩阵必须是二维的。类似tf.constant([1,2,3])这样的不是矩阵。
矩阵运算包括：矩阵乘法，矩阵转置，矩阵逆，矩阵求迹，矩阵范数，矩阵行列式，矩阵求特征值，矩阵分解等运算。
#矩阵乘法
a=tf.constant([[1,2],[3,4]])
b=tf.constant([[2,0],[0,2]])
a@b
#等价于tf.matmul(a,b)除了一些常用的运算外，大部分和矩阵有关的运算都在tf.linalg子包中。
广播机制：
TensorFlow的广播规则和numpy是一样的:
如果张量的维度不同，将维度较小的张量进行扩展，直到两个张量的维度都一样。
如果两个张量在某个维度上的长度是相同的，或者其中一个张量在该维度上的长度为1，那么我们就说这两个张量在该维度上是相容的。
如果两个张量在所有维度上都是相容的，它们就能使用广播。
广播之后，每个维度的长度将取两个张量在该维度长度的较大值。
在任何一个维度上，如果一个张量的长度为1，另一个张量长度大于1，那么在该维度上，就好像是对第一个张量进行了复制。
tf.broadcast_to 以显式的方式按照广播机制扩展张量的维度。
example1:
a=tf.constant([1,2,3])
b=tf.constant([[0,0,0],[1,1,1],[2,2,2]])
b+a
#等价于 b + tf.broadcast_to(a,b.shape)
<tf.Tensor: shape=(3, 3), dtype=int32, numpy=
array([[1, 2, 3],
[2, 3, 4],
[3, 4, 5]], dtype=int32)>
example2:
#计算广播后计算结果的形状，动态形状，Tensor类型参数
c=tf.constant([1,2,3])
d=tf.constant([[1],[2],[3]])
tf.broadcast_dynamic_shape(tf.shape(c),tf.shape(d))
c+d#等价于 tf.broadcast_to(c,[3,3]) + tf.broadcast_to(d,[3,3])
<tf.Tensor: shape=(3, 3), dtype=int32, numpy=
array([[2, 3, 4],
[3, 4, 5],
[4, 5, 6]], dtype=int32)>
2、计算图
有三种计算图的构建方式：静态计算图，动态计算图，以及Autograph。
TensorFlow 2.0主要使用的是动态计算图和Autograph。
动态计算图易于调试，编码效率较高，但执行效率偏低。
静态计算图执行效率很高，但较难调试。
而Autograph机制可以将动态图转换成静态计算图，兼收执行效率和编码效率之利。
当然Autograph机制能够转换的代码并不是没有任何约束的，有一些编码规范需要遵循，否则可能会转换失败或者不符合预期。
我们将着重介绍Autograph的编码规范和Autograph转换成静态图的原理。
并介绍使用tf.Module来更好地构建Autograph。
本篇我们介绍使用Autograph的编码规范。
一，Autograph编码规范总结
1，被@tf.function修饰的函数应尽可能使用TensorFlow中的函数而不是Python中的其他函数。例如使用tf.print而不是print，使用tf.range而不是range，使用tf.constant(True)而不是True.
2，避免在@tf.function修饰的函数内部定义tf.Variable.
3，被@tf.function修饰的函数不可修改该函数外部的Python列表或字典等数据结构变量。
二，Autograph的机制原理？？？
当我们第一次调用这个被@tf.function装饰的函数时，第一件事情是创建计算图。即创建一个静态计算图，跟踪执行一遍函数体中的Python代码，确定各个变量的Tensor类型，并根据执行顺序将算子添加到计算图中。 在这个过程中，如果开启了autograph=True(默认开启),会将Python控制流转换成TensorFlow图内控制流。
三，Autograph和tf.Module概述？？？
前面在介绍Autograph的编码规范时提到构建Autograph时应该避免在@tf.function修饰的函数内部定义tf.Variable.
但是如果在函数外部定义tf.Variable的话，又会显得这个函数有外部变量依赖，封装不够完美。
一种简单的思路是定义一个类，并将相关的tf.Variable创建放在类的初始化方法中。而将函数的逻辑放在其他方法中。
这样一顿猛如虎的操作之后，我们会觉得一切都如同人法地地法天天法道道法自然般的自然。
惊喜的是，TensorFlow提供了一个基类tf.Module，通过继承它构建子类，我们不仅可以获得以上的自然而然，而且可以非常方便地管理变量，还可以非常方便地管理它引用的其它Module，最重要的是，我们能够利用tf.saved_model保存模型并实现跨平台部署使用。
实际上，tf.keras.models.Model,tf.keras.layers.Layer 都是继承自tf.Module的，提供了方便的变量管理和所引用的子模块管理的功能。
因此，利用tf.Module提供的封装，再结合TensoFlow丰富的低阶API，实际上我们能够基于TensorFlow开发任意机器学习模型(而非仅仅是神经网络模型)，并实现跨平台部署使用。
参考资料：https://www.kesci.com/home/column/5d8ef3c3037db3002d3aa3a0（30天吃掉那只TensorFlow2.0）
分享
