AIOps九大发展趋势--清华裴丹

大家知道,运维是数字世界的的基础设施级别的技术。随着支撑数字世界的软硬件系统越来越庞大、越来越复杂,运维对智能化的要求就会越来越高。所以我们说,AIOps(智能运维)是运维技术发展必然的趋势。

AIOps在国内正式提出来到现在的实际落地有两三年了,也取得了初步的落地效果。那么下一步到底怎么做?做什么?未来几年内能进一步达到什么样的效果?今天我就分享下我最近总结出来的AIOps发展九大趋势。

做趋势预测是有很大挑战和风险的,好在我之前在AIOps领域还有过成功的预测。

我在2018年1月曾给出一个AIOps宏观预测:我说2018年将是AIOps在中国落地的元年,而据我所知在2018年的确有小几十个AIOps项目开始落地,也就是说我的这个预测的确成为了现实。2019年1月我说2019年是AIOps快速发展的一年,而实际上截止2019年8月份在国内有大几十个AIOps项目开始推进;与此同时,我们看到2019年初的时候人行以及各大银行也发文阐述支持AIOps方向。

我在AIOps具体技术上也有个算是成功的预测。2018年中的时候我已经在公开演讲中讲AIOps平台化这个概念了;之后在2018年底,Gartner的报告也基于与世界范围内的客户和厂商的访谈正式提出了AIOps平台化这一方向。

下面这幅图的左下部分是我的团队给出的AIOps平台架构,该图的右下部分是2009年我在AT&T工作时做的智能运维平台的架构,可以看出两幅图在概念上是非常相似的。所以,从这个例子大家可以看出,我能够先于Gartner提出AIOps平台的概念,不是因为真有什么能看到未来的“水晶球”,而是因为我之前在其它场景下做过类似工作,并且在AIOps方向不断努力推进。当我看到需求到了,相关条件成熟了,自然而然就能判断应该做AIOps平台了。所以,所谓的预测能力无非是经验的积累、不断观察、思考,最重要的是不断的亲手实践,就像林肯和图灵奖得主Alan Kay(面向对象编程语言的发明者)所言,预测未来最好的方法就是亲手创造/发明这个未来。

下面我总结一下基于经验、访谈、观察、思考和实践得出的AIOps发展九大趋势,即行业多样化、产业生态化、数据多样化、场景多样化、场景精细化、算法服务化、技术平台化、落地加速化、成熟度评估的标准化。

第一个趋势就是AIOps落地的多样化,这个结论是基于我通过多种渠道采集到的信息。我们自己有一个公众号“智能运维前沿”,马上要突破10000个用户了;我们还有一个超过千人AIOps群,已经成功举办了两届AIOps 挑战赛,我一年中会到几十家各行各业机构去进行现场交流。从上述多种渠道采集到的信息清楚表明:现在开始落地AIOps的,除了互联网公司、银行以外,证券、保险,电力、运营商、工业制造、国家机关、自动驾驶公司也都在尝试AIOps落地。

第二个趋势是AIOps产业生态化。各个行业都在试图尝试落地AIOps给AIOps方向提供了一个很好的产业基础。“产、学、研、用”各方也都在积极跟进,形成了一个AIOps生态系统。在这个生态系统里,专业的人负责专业的事,有越来越多的学术机构从事AIOps原理研究;由机构用户负责提出实际需求,由有预研能力的厂商把AIOps原理上的突破变成实际落地效果;有负责数据采集、接入、存储等的厂商,还有负责集成、交付、维保等的厂商。也就是说,“学、研、产、用”几方专业分工,通力协作。AIOps产业生态化在AIOps落地过程中是一个重要的里程碑,会大力推动AIOps的更快落地。

第三个趋势是AIOps数据多样化。数据中心的系统物理架构和软件架构都非常庞大复杂。因此我们必须采集、治理、融合多种运维数据源、从中提取对运维最有用的信息,帮助我们了解数据中心最新最全的运行状态, 从而为AIOps的众多场景服务。因此我们说AIOps数据多样化是必然趋势。

第四个趋势是AIOps场景多样化。下图罗列了一些我们与合作伙伴合作、交流时遇到的具体场景。我们分成几个大场景:即异常发现、事件发现、事件分析、系统画像、图谱丰富等。每一个大场景会包含很多的具体场景,比如“事件分析”大场景就包括“异常机器定位”、“交易链条定位”、“多维度异常定位”等多种类型的事件分析。也就是说,当用户认识到AIOps能实际帮助到运维的时候,会自发与生态系统中的伙伴共同找到越发多样化的AIOps场景。

第五个趋势是AIOps场景精细化。如下图所示,异常检测(也就是通过分析监控数据自动发现运维故障)就包含单指标异常检测、多指标异常检测、多维度异常检测、日志异常检测等等。而单指标异常检测在检测业务、机器、网络、数据库、存储系统、批处理的异常时,其场景和检测侧重点会有所不同,因此需要针对精细化的具体场景进行AIOps异常检测算法的适当调整或适配。

为了避免AIOps场景多样化和精细化导致的落地工作量增加,我们必须把各类场景用到的AIOps算法共性部分抽象提炼出来作为公用模块,为多个场景服务。如下图所示,从日志数据测量出的指标数据的异常检测,就可以复用单指标异常检测这一算法模块,并且这一算法模块已经服务化,即可以通过API直接调用。所以我们说的第六个趋势就是AIOps算法服务化,提升了效率,让整体服务得更好。

在AIOps场景多样化、场景精细化、算法服务化的前提下,第七个趋势,即AIOps技术平台化也就水到渠成了。AIOps技术平台化打穿多个场景、多个数据源、多个算法。如下图所示,上面输入的是各种运维监控数据,输出的就是我们所需要的各种运维智能,中间是各种服务化的AIOps算法。不管具体的某个运维场景有什么样的特点,我们都可以通过整体平台进行自由组合和编排,从而高效落地该运维场景,避免传统方法的重复低效落地。

这也就引出了第八个趋势:AIOps新算法落地加速化。以往一个新算法研制出来后,需要大量的工程工作配合才能让新算法产生实际效果。有了平台化之后,只需要通过编排把该新算法、新算法所需数据、已有工程工作“串”在一起,就能够快速落地。比如做了一个0day攻击检测算法ZeroWall,我们在一家具体机构进行尝试的时候,一周内捕获28种0day攻击,每天捕获上万条0day攻击,每天误报数0到6个。如果按照以往方法,我们要花大量的时间去做ZeroWall的落地工作,而有了AIOps平台化, ZeroWall的落地工作就快了很多。

在过去半年期间,各个行业的合作伙伴都提出了AIOps成熟度评估标准化的需求,而银保监会、证监会、人行、工信部相关领导也都表示会支持。这个事情我也已经着手联合各方开始做,预计一两年的时间才能做出一个切实可行的标准。

总结一下AIOps的九大趋势:行业多样化、产业生态化、数据多样化、场景多样化、场景精细化、算法服务化、技术平台化、落地加速化、成熟度评估标准化。这九大趋势将助力AIOps在今后的几年起飞、爆发。

AIOps落地还会遇到各种各样的挑战。我们需要抬头看天,低头看路,目标一致,脚踏实地,一步一个脚印落地AIOps。AIOps是我本人“择一事,终一生”的事业,希望与更多志同道合的同仁一起,为AIOps这个事业共同奋斗!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,294评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,493评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,790评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,595评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,718评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,906评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,053评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,797评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,250评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,388评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,018评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2 350

推荐阅读更多精彩内容