SRZoo--基于深度学习的图像超分辨率工具和模型库

前言

今天要介绍的是 Github 上一个基于深度学习的超分辨率工具--SRZoo,并且它还提供了多个预训练模型。Github 地址:

https://github.com/idearibosome/srzoo?u=2181051220&m=4512180215508847&cu=2181051220&ru=1402400261&rm=4512148967116203


简介

SRZoo 是一个基于深度学习的图像超分辨率的工具和模型库,它提供了多种图像超分辨率领域目前性能最好的预训练模型。

它的主要功能包括:

  • SRZoo 提供了多种超分辨率方法的官方预训练模型;
  • 通过 SRZoo,可以非常容易就通过提供的超分辨率方法来获取超分辨率(super-resolved)的图片;
  • 可以在不同配置环境下使用超分辨率模型,比如支持 CUDA 的 GPUs 以及通过 TensorFlow.js 的浏览器;
  • 可以在相同评估标准和环境下对比超分辨率方法的性能。

在下面这篇论文中,你可以了解更多我们的动机以及一些对 SRZoo 的细节描述,比如性能比较等:

J.-H. Choi, J.-H. Kim, J.-S. Lee. SRZoo: an integrated repository for super-resolution using deep learning. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), May 2020 

论文地址:

https://doi.org/10.1109/ICASSP40776.2020.9054533

arxiv 的地址:

https://arxiv.org/abs/2006.01339

使用要求

  • Python3.6 或者更新的版本
  • TensorFlow1.12 或者更新版本

预训练的超分辨率模型

下面是提供的一些预训练模型,模型的参数都在自模型算法的作者。如果你有用到这些模型算法,请加上对论文的引用。

image

超分辨率图片检索

在 SRZoo 中通过 get_sr.py 代码提供了一个简单的图像搜索,使用例子:

python get_sr.py --config_path=configs/edsr.json --model_path=edsr_x4.pb --input_path=LR --output_path=SR --scale=4

参数说明:

注意:部分模型由于不同维度顺序问题,只能在 GPU 上运行。

性能评价

在获取到超分辨率图片后,可以通过代码evaluate_sr.py 进行性能的评价,使用例子:

python evaluate_sr.py --sr_path=SR --truth_path=HR

参数说明:

  • sr_path:超分辨率图片路径
  • truth_path:真实图片的路径
  • shave_borders:图像边界需要修正的像素的数量。通常设置为增大尺寸的倍数(upscaling factor)
  • color_mode:颜色转换模式。
    • ycbcry:YCbCr 颜色空间的 Y 通道
    • RGB:RGB 颜色空间的 RGB 通道
  • evaluators:以逗号分隔的评估方法。主要采用文件夹evaluators 里的评估方法
  • output_name:输出的 CSV 文件的路径

这里你可以自定义自己的评估方法,通过继承基类BaseEvaluator ,代码是保存在文件夹evaluators/

模型转换

也可以对其他预训练的超分辨率模型进行转换。详情可以查看文件夹converter 中的信息。另外,根据config 文件夹的内容来编写你需要进行转换的模型的配置信息。

其他

图像降低(downscaling)工具

SRZoo 对于评估超分辨率模型也提供了降低工具(downscaling utilities),具体可以查看 utils/downscale 文件夹

采用其他的图像处理模型

SRZoo 可以应用于输入输出都是图像的模型,因此也可以在简单做了一些修改后应该其他的图像处理算法。作为一个概念验证,我们提供了一个基于 SRZoo 的预训练图像压缩模型,模型算法来自:

https://github.com/fab-jul/imgcomp-cvpr

使用结果:

image

如果要应用这些模型,可以简单地将 upscaling factor 设置为 1,比如get_sr.py 中的参数--scale

不过目前只支持在 GPU上运行这些模型。


最近滴滴云推出了多个基于 NVIDIA vGPU 的新型实例,包括计算型、渲染型和游戏型三大类,支持的 GPU包括 Tesla P4、P40、T4 等,可以选择包年、包月或者按照小时购买使用时间,非常灵活方便。

现在填写我的滴滴云专属 AI 大师码:9192,可以享受 9 折优惠。

滴滴云官网地址:

www.didiyun.com

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,142评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,298评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,068评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,081评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,099评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,071评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,990评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,832评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,274评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,488评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,649评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,378评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,979评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,625评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,643评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,545评论 2 352