2018-07-25【优质演讲】深度学习在短视频视觉内容分析中的核心应用方向

【总的来说】有用似乎也没用,以后希望能深度学习

美图数据部门北京技术总监赵丽丽,在LiveVideoStackCon 2017上与我们一同分享了深度学习在短视频视觉内容分析中的核心应用方向,以及前沿深度学习算法在产品化应用于短视频分析时的技术难点和解决方案。

分享包括四个方面,

1回顾深度学习的发展历程和

2讲述深度学习在短视频领域进行自动化视频内容分析的意义和必要性,

3再结合美拍短视频业务分享我们将深度学习应用到视频内容理解中遇到的问题和解决思路

4最后从产品、数据以及技术层面展望后续的一些优化方向。

有什么

识别视频中的物体、挖掘主题、并将视频特征信息提取保存

在哪里

检测视频发生的场景以及文字识别

做什么

检测视频中主体的行为、正在发生的事件以及视频描述

这三部分是理解视频内容的基础,我们在此基础上对美拍视频内容做了第四个分析——“好不好”:首先我们要保证视频内容是合法合规的,因此要做内容审核;同时还要做画质评估来保证画面质量,提升用户的观看体验;此外为了评价视频是否受欢迎,我们会用深度学习做播放预测。


标准化的标签体系

主题、物体、场景、事件、行为、

人工不可行的原因

量大

未知

时效性

机器算法好

实现层次

算法支撑:

图像识别:技术已经很完善了

场景理解:生活场景?用户场景?我需要了解现在所有的场景??

质量评估:我感觉我工作以后就一直做这块的工作,真的做烦了

转码分析

在线推理、训练、标注的交互闭环

智能视觉分析服务----在线业务提供推理服务

自动化训练服务对模型训练进行实时更新,解决模型时效性问题。

标注平台则负责收集标注数据,这部分数据包含两类——人工标注团队针对具体业务场景标注的数据以及审核业务数据时产生的一些并行标签。最上层是业务层,包括推荐、审核、画像、广告搜索。


DeepNet系统框架

系统框架分为以下三部分:

视觉分析服务

内容理解的语义标签

对视频的特征表示,它可能是一个浮点的高维向量,也可能是一个二进制的哈希码

模型训练

标注

以下就可能跟工作相关了

如何有效定义数据标签

三个方面

抽样分析人工检测

文本分析

第三部分是无监督学习——这也是我们正在做的,它应用了视频主题挖掘,也就是对所有一个阶段的视频根据无监督学习聚成几类,然后对这个类别的类中心的数据进行分析,提取它的标签、主题、场景、事件。

如图:


(其实不是很明白,但似乎又明白,因为数据结构课上学过关于图的一些聚类问题,再琢磨以下)

它的核心是对输入的大规模图像集提取一个特征表示,在这个特征表示的基础上再构建一个相似关系图进行聚类,相比于传统方法对于新的数据需要重新进行聚类,它将这个过程拆分成两部分:一个是图的构建,一个是基于图的聚类。而基于图的聚类在这个过程的时间其实非常少,那么当有新的数据时,只需要把新的数据加入这个图中做更新,再聚类的时间开销很小。

看来数据结构是必须要再学习以下的了,

哈希表是什么鬼,我怎么没有见过

哈哈哈哈

它的核心是对输入的大规模图像集提取一个特征表示,在这个特征表示的基础上再构建一个相似关系图进行聚类,相比于传统方法对于新的数据需要重新进行聚类,它将这个过程拆分成两部分:一个是图的构建,一个是基于图的聚类。而基于图的聚类在这个过程的时间其实非常少,那么当有新的数据时,只需要把新的数据加入这个图中做更新,再聚类的时间开销很小。

用上了没有呀,别介绍分享了,我完全看不懂

深度哈希特征提取的研究成果,由于研究成果非常多,这里只举两个例子:监督学习和非监督学习。监督学习的思路是使用数据的一些标签数据去进行训练从而学习到哈希码,eBay在今年关于视觉检索中用到的哈希方法就是监督学习。而非监督学习是利用图像本身的一些相关信息进行学习,不利用任何的标签数据,比如我讲一个图像旋转一定角度,它并不会关心这个图像包含什么标签,只会计算旋转前后图形之间的loss是最小的,从而保证学到的特征能够更好的表示当前图像。


好吧,如果我要是有时间我一定看看

我们提出了一个视频的深度哈希方法,这部分算法技术的相关论文” Deep Hashing with Category Mask for Fast

Video

Retrieval”放到了arxiv上[https://arxiv.org/abs/1712.08315],欢迎大家下载论文了解具体技术细节。


不想打字了

直接截图吧



以下都是看不懂的,

大概就是什么时间复杂度呀,空间复杂度

我也不知道我大学都学得是什么


其实没啥想法,对于工作我只能说

优化标注流程、提升标注的质量,加快模型的迭代更新速度

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,542评论 6 504
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,822评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,912评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,449评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,500评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,370评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,193评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,074评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,505评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,722评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,841评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,569评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,168评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,783评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,918评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,962评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,781评论 2 354

推荐阅读更多精彩内容