1、项目整体框架
input
result
save_models
script(包括代码运行文件和模型文件)
2、整个训练、产出embedding过程文件
包括输入、输出,包括train和inference两个过程
3、整个过程参数定义
(1)定义两个函数过程train_process、inference_process
train_process主要有三部分参数:options["dataset_opt"]、options["graph_opt"]、options["train_opt"]
inference_process主要有三部分参数:options["dataset_opt"]、options["graph_opt"]、options["inference_opt"]
(2)主函数调用上述两个过程
4、模型-训练数据读取
5、模型-整个模型构建(特征发射、接收和变换)
6、模型-训练过程定义(损失函数)
代码积累:
1、项目整体框架
2、整个训练、产出embedding过程文件,包括输入、输出,包括train和inference两个过程
3、整个过程参数定义
(1)定义两个函数过程train_process、inference_process
(2)主函数调用上述两个过程
4、模型-训练数据读取
(1)tf records 数据读取
example 协议格式
要将我们的数据写入 .tfrecords 文件,需要将每一个样本数据封装为tf.train.Example格式,再将Example逐个写入文件。Example格式中的数据基础类型是tf.train.Feature
tf.train.Feature(): 它的参数是BytesList (字符串列表), FloatList (浮点数列表), Int64List (64位整数列表)三种
tf.train.Feature(bytes_list=tf.train.BytesList(value=)
tf.train.Feature(int64_list=tf.train.Int64List(value=)
tf.train.Feature(float_list=tf.train.FloatList(value=)
tf.train.Features: 它的参数是一个字典,k-v对中 v 的类型是Feature,对应每一个字段。
tf.train.Features(feature={
"k1": tf.train.Feature(bytes_list=tf.train.BytesList(value=])),
"k2": tf.train.Feature(bytes_list=tf.train.BytesList(value=)),
"k3": tf.train.Feature(float_list=tf.train.FloatList(value=)),
})
没看到定义完了咋用的???
5、模型-整个模型构建(特征发射、接收和变换)
6、模型-训练过程定义(损失函数)