一、更改参数，训练Unet神经网络
1、更改的两个方向：
（1）batch_size改大
（2）训练集改多，比如可以改成800.
（3）epoch可以稍微改小，从30改成20。
2、复习训练和跑训练集的方法
参考自己的文章“在Linux服务器上跑Python Unet程序”，其实自己记录得不多，这里重新写一遍跑的方法吧。
（1）服务器选择：用greenpill跑；
（2）在自己电脑上改好代码（参数和需要用到的数据集）；
（i）改train数据集：
在Unet_project文件夹下的Data文件夹下的两个文件夹：“Data”和“GT_One_Class”分别代表原始图片和对应的ground truth。先把这里改掉。
注意，需要用到“renamer”软件来确保原始图片和groundtruth的对应名称是一样的。
这次我把前13个原始图像生成的扩增图像作为训练集，一共有871张图片。
注意：数据集从最后一个字为1的文件夹里复制粘贴，这里的名字是改过的。
其次检查名称是否对应：
第一个groudtruth图的名称是：“DS01_01.tif_0b2db155-af35-4c31-9586-f29fecb7e695”
第一个original图的名称是：“DS01_01.tif_0b2db155-af35-4c31-9586-f29fecb7e695”
是对应的，可能因为之前改过名字了。现在就不用改了。
（ii）改参数：
主要是改batch_size和epochs这两个量。
在“main.py”里，batch_size是从batch_size = args.batchsize这句话中得到的。其实就是从函数“get_args”中得到的。
所以改参数，实际上就改函数“get_args”里的变量就可以了。
我把batch_size改成了5，epoches还是30。
（3）放到服务器上运行
（i）把文件通过Winscp传到greenpill上。
（ii）运行python文件的方法：
直接先把目录转移到你需要运行的python文件的目录下，然后输入如下指令：python main.py 就可以了。其中“main.py”是我需要运行的文件。
转移目录的方法：比如：cd /home/duola/file
（iii）用windows打开ubuntu软件，输入 ssh 用户名@主机地址，进而键入密码。
（iv）返回上一级的方法：cd -就可以了
3、复习测试集的test方法
（1）这个文件“result_visualization"位于visualization文件夹里，是进行测试用的。
（2）测试前需要把由train的代码生成的结果“weights0.pth”放入visualization文件夹内。这个“weights0.pth”文件本身的路径在Unet_project的Checkpoints下。
（3）测试前需要把visualization文件夹下的“img_test”文件夹下的“Data”和“GT_One_Class”文件夹分别存上测试图的data和groundtruth
我放上剩余的由original_14和original_15扩增得到了图，一共有129张。
（4）然后把文件夹cd到test的python文件result_visualization.py所在的文件夹中，然后跑这个python程序。
4、运行时出现的问题
（1）服务器 oom了
可能是：train的图片数量太多了？（不是这个原因）batch_size太大了？（是这个原因）
改main.py的参数，还是把batch改成2吧，然后直接丢到greenpill里把这个文件换掉。
从命令行里运行的batch_size可以看出新的文件覆盖掉了原来的文件。然后正常开始跑了。说明batch_size设置成5不行，设置成2才可以。
（2）跑一个epoch的时间：10分钟
5、写一个能够一口气跑出所有test图并且保存的代码
（1）远程调试教程：（非常重要！）
https://www.jianshu.com/p/9b362cdee2ab
（2）需要改result_visualization.py的代码：
新建一个python文件叫做：result_visualization_1.py
（3）研究see_results这个函数：
see_results这个函数是从dir_img里导入原图，dir_cmp里导入groundtruth，用这个函数“get_dataloader_show”来导入。
（4）研究get_data_loader_show这个函数
（i）在这个“get_dataloader_show”函数里，这一句其实我没有太看懂：ids = [f[:-4] for f in os.listdir(dir_img)]
是只读第一个名字吗？
这个函数的返回值是一个dataloader
我新建了一个test进行测试。文件名为“test_1.py”，保存在visualization这个文件夹内。
其实不用写test的，只需要这一句：
ids = [f[:-4] for f in os.listdir("./img_test/"+args.dataset+"/")]，即把dir_img具体化就可以了。
结果发现ids读取了全部图片的名字（不包括文件后缀。）
我进而输入了type(ids)查看文件类型。发现是一个list。
（ii）loader = get_dataloader_show(dir_img, dir_cmp)这里的loader是什么呢？是只包含一个图还是包含了很多个图呢？
loader 是一个class类型的数据。
在class中有一个函数叫getitem，作用是ask for an image。是可以根据输入的index获取一张图。
（5） 研究result_visualization_1.py 里for (data, gt) in loader:这段循环，到底是对一个图循环还是对loader里的所有图循环？
我在test_1.py中跑了，惊讶地发现结果是把所有的结果放在同一张图上。类似这种效果：
这个感觉非常好哎！那我下一次可以试着用10个图生成这个结果图吧。
（6）实际尝试：
一次处理10张照片又oom了。
6、结果总结
（1）original_image_14我处理了第一幅图和前10幅图；
（2）original_image_15我处理了第一幅图和前10幅图；
二、评价结果
https://github.com/lucianolorenti/ImageSegmentationEvaluation.jl
https://github.com/martinkersner/py_img_seg_eval 这个代码特别好
我需要找pixel-based matrix
那么我还是自己写吧，基于https://github.com/martinkersner/py_img_seg_eval这个代码自己去写。
1、np.unique函数：该函数是去除数组中的重复数字，并进行排序之后输出。返回值通常是一个列表。
参考网址：https://blog.csdn.net/u012193416/article/details/79672729
2、for in enumerate这个循环：
例如：
3、explanation:
n_cl : number of classes included in ground truth segmentation
n_ij : number of pixels of class i predicted to belong to class j
t_i : total number of pixels of class i in ground truth segmentation
4、还是自己写程序会更快一点吧
参考文章：https://blog.csdn.net/hjxu2016/article/details/79104607
读入图片的代码：
from PIL import Image
import numpy as np
I = Image.open('./cc_1.png')
I.show()
I.save('./save.png')
I_array = np.array(I)
print I_array.shape
这理我发现了一个问题：保存的图片的格式是png格式的。肯定不行，我需要改成“.tiff”格式
争取在1点前出完图：结果：在1:30完成了出图和对应图的PPT的书写。
争取在2点前写完evaluation的代码：结果：可能在3点左右才能写完？3:18写完
主要参考文献是学长发给我的那篇论文。
在代码里我需要计算出以下几个量：
n_tp：groundtruth为正，预测也为正
n_tn：groundtruth为负，预测也为负
n_fp：groundtruth为负，但是预测为正
n_fn：groundtruth为正，但是预测为负
正为前景（即255），负为背景（即0）
出现了问题：n_tp,n_tn,n_fp,n_fn的总和和图片的像素之和对应不上。
解决办法：我放到matlab里看一看吧。
出现问题的原因是：
prediction里有介于0~255之间的值，我的处理方法是：大于255/2的都视为255，小于255/2的视为0。
争取在4点前做完PPT：在3:41的时候我写完了定量分析部分的PPT。争取在4:00前写完
其实主要是定量分析部分。
至于那边要求的数据扩增部分，参考：“（1-2）Python3.6进行图片及对应groundtruth的data augmentation”这篇文章进行增加。
增加完了。可以睡了。
