短视频系统及大数据推荐机制

1.短视频成为风口的必要因素


  三个商业维度决定了短视频已经成为主流,分别为网络流量趋势,信息高效传达,变现价值能力。这三个方面的分别为平台,用户,创作者满足了各取所需的形态,这是实际价值的存在点。
  网络流量趋势顾名思义,则是网络平台的唯一KPI。网络平台拥有越多的活跃用户就越证明该平台的成功,每一个网络巨头无一例外都是利用自身的流量,获取市场的广告效益,所以平台只有拥有流量才会成为具有实际价值的平台。
  信息高效传达则是针对用户而言,能够在网络平台上获取到自己需要的信息更高效的方式。无论是娱乐,财经,体育,知识,消费各方面的视频内容都是对网络1.0时代以图文为主的博客,新闻知识获取渠道的升级。视频的每一帧都可能涵盖成百上千字的文字内容,在这个数据爆炸的时代,提高获取内容成本是对用户的一次体验升级。
  变现价值能力,这是对于创作者的努力创造优质内容的原动力。这三者的高效配合形成一个正向循环齿轮,这样蛋糕就会越做越大。
  我个人认为一个优秀的短视频平台需要具备以下3个方面:
   (1).视频的实时性,热点性,个性化推荐
   (2).检索提取干货信息,作为更高效的搜索引擎
   (3).有娱乐性,实用学习性,传播性

2.大数据推荐算法


   2020年8月份科技部明确指出将基于数据分析的个性化服务推送服务技术列为限制出口名单,这必然会让大家联想到最近抖音海外版Tiktok的出售风波。因为推荐算法一般是根据海量app用户信息经过核心算法服务进行建模计算出来的。这里面包含大量用户隐私数据,核心算法技术积累,所以在目前初步人工智能时代,算法的重要程度在日益加重。

2.1机器学习初步认识


  说到推荐算法则不得不说到机器学习,在抖音熱門推荐区推荐的视频都是通过对每个用户进行建模后根据权重进行个性化推送的,平台也会通过计算点赞概率影响排序顺序,然后推荐给用户。用数学来表示的话:

概率预测:F(点击 | 用户 ,视频,环境)

针对已知用户,视频和环境和未知行为,比如点击去预测它产生的概率,这就是推荐算法的核心。

2.2 推荐算法的核心


   (1).特征X:用户,视频,环境
   比如用户年龄就可以作为特征,根据不同年龄进行特定内容推送,越多的特征可以帮助更好的帮助我们去给他们挑选感兴趣的内容。更多的用户特征也可以从用户的手机型号,来自哪里,收藏内容标签,观看停留时间,兴趣标签;当然也可以从视频内容获取特征信息,视频标签,用户评论信息提取,视频类别,视频的平均点击率,弹幕内容,评论量,转发量;用户在什么样的环境中看到的视频,白天或者晚上,使用手机看到的还是电脑看到的。很多做推荐算法的工程师会花很多时间用在制作一些特征的工程,用机器去实现用户的标签或者视频内容的理解,这部分是构成了推荐算法很重要的一部分。等到我们的特征准备完毕,就可以作为我们的输入去送给我们的模型,也就是Fx函数。
   (2).构建模型F(y|x)
   目前主流市场上有2种模型,第一种是基于树的模型,就比如说决策树。在实际的推荐算法工程里,这个决策树模型可以制作得非常深,并且根据板块门类的划分也可能不止一颗树,可能是很多树构成,相关树之间通过关联主键进行连接,一起加权构成了一个决策树的森林,它们会合在一起去做一个推荐算法,模拟计算Fx函数。另一种模型是基于神经网络去做的一些数据的拟合。(模型见图1)

图1

   第二种是基于人工神经网络(Artificial Neural Networks)简称连接模型(Connection Model),它是一种模仿动物神经网络行为的特征,进行分布式并行星系处理的算法数学模型。这种网络以考系统的复杂度,通过调整内部大量节点之间的相互关连的关系,从而达到处理信息的目的。神经网络是一种数据挖掘的方法,不仅可以使用与决策树大体相同的方式预测类别或分类,而且还能更好的确定属性之间的关联强度(模型见图2)。通常构建神经网络模型个人比较推荐RapidMiner,通过Excel或者DB导入各类不同属性的分类数据,比如医院里病人的血脂,体重,体温等各类指标数据,然后进行流程连接并设置条件,最终得出神经网络数据结果。

图2
图3

图4
图5

   (3).制定目标Y
   需要预测的位置行为Y指的就是推荐权重,通过一系列数据计算得出这类视频是否适合推荐给用户观看。

推荐分 = (点击率+播放率+评论率+转发率+收藏率+弹幕量......)* 各自权重

这也是很多短视频平台,一直以综合互动量为考核内容创作的最终指标。

2.3 机器学习中的数据集训练原理


   机器学习算法其实就是普通算法的进化版。通过自动学习数据规律,让你的程序变得更聪明些。这里举一个生活中的案例说明这一点,某天你去买芒果,小贩摊了满满一车芒果,你一个个选好,拿给小贩称重,然后论斤付钱。自然,你的目标是那些最甜最成熟的芒果,那怎么选呢?你想起来,外婆说过,明黄色的比淡黄色的甜。你就设了条标准:只选明黄色的芒果。于是按颜色挑好、付钱、回家。


image.png

   机器学习算法其实就是普通算法的进化版。通过自动学习数据规律,让程序变得更聪明些。那么如何让程序变得更聪明一些喃?则需要利用算法进行数据训练并在过程中对数据预测结果集进行效验。

机器学习中算法分类的学习方式汇总

根据数据类型的不同,对一个问题的建模有不同的方式。在机器学习或者人工智能领域,人们首先会考虑算法的学习方式。在机器学习领域,有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法,这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。

监督式学习:

在监督式学习下,输入数据被称为“训练数据”,每组训练数据有一个明确的标识或结果,如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”,对手写数字识别中的“1“,”2“,”3“,”4“等。在建立预测模型的时候,监督式学习建立一个学习过程,将预测结果与“训练数据”的实际结果进行比较,不断的调整预测模型,直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题。常见算法有逻辑回归(Logistic Regression)和反向传递神经网络(Back Propagation Neural Network)

非监督式学习:

在非监督式学习中,数据并不被特别标识,学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means算法。

半监督式学习:

在此学习方式下,输入数据部分被标识,部分没有被标识,这种学习模型可以用来进行预测,但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归,算法包括一些对常用监督式学习算法的延伸,这些算法首先试图对未标识数据进行建模,在此基础上再对标识的数据进行预测。如图论推理算法(Graph Inference)或者拉普拉斯支持向量机(Laplacian SVM.)等。

强化学习:

在这种学习模式下,输入数据作为对模型的反馈,不像监督模型那样,输入数据仅仅是作为一个检查模型对错的方式,在强化学习下,输入数据直接反馈到模型,模型必须对此立刻作出调整。常见的应用场景包括动态系统以及机器人控制等。常见算法包括Q-Learning以及时间差学习(Temporal difference learning)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,029评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,395评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,570评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,535评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,650评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,850评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,006评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,747评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,207评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,536评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,683评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,342评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,964评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,772评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,004评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,401评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,566评论 2 349

推荐阅读更多精彩内容