智算材料-积累

人工智能是数字经济的核心驱动力,AI 大模型是人工智能的新引擎。AI 大模型指通过在海量数据.上进行预训练,能够适应多种下游任务的模型,具有强大的泛化能力、自监督学习功能和精度突破性能。其已经在自然语言处理、计算机视觉、气象预报等多个领域取得了令人瞩目的成果。大模型的发展是大势所趋,未来将会助推数字经济,为智能化升级带来新范式。.

近年来,随着ChatGPT等生成式人工智能(AIGC)的突飞猛进,全球范围内的经济价值预计将达到数万亿美元。尤其在中国市场,生成式AI的应用规模有望在2025年突破2000亿元。这一巨大的潜力不仅吸引着业内领军企业竞相推出万亿、10 万亿参数量级别的大模型,而且对底层GPU支撑规模提出了更高的要求,达到了万卡级别。然而, 如何满足如此庞大规模的训练任务,对网络的规模、性能、可靠性和稳定性等方面提出了前所未有的挑战。以GPT3.5为例,其训练过程依赖于微软专门建设的AI超算系统,由1万个V100 GPU组成的高性能网络集群,总计算力消耗约为3640 PF-days。在这种情况下,寻求提供极致高性能网络已成为人工智能领域的重要研究方向之一。

1.1人工智能技术发展趋势

2018年,OpenAI 团队发布了GPT-1,它使用了Transformer 架构,采用了无监督学习的方法进行训练,其目标是预测下一个词语。2019年,GPT-2 被提出,相比GPT-1, GPT-2具有更多的参数和更高的预测能力,参数数量达到了1.5亿个。2020年,OpenAI 团队提出了GPT-3,它是目前最大的语言模型之一,拥有1750亿个参数。相比于GPT-2,在生成文本的质量、多样性和准确性等方而都有明显提升。GPT-3采用的是白回归的生成方式,通过预测下一一个词来生成文本。

ChatGPT是OpenAl公司于2022年11月底上线的一.款具 有跨时代意义的大规模智能语言模型,它使用了OpenAI实验室开发的GPT-3.5和GPT-4系列大型语言模型,并采用了监督学习和强化学习等技术进行微调。具体而言,为了让预训练的语言模型更加智能和准确,可以在少量已标注的数据上进行调优。这种方法会使用已标注的数据训练一个有监督的策略,用于生成从给定的提示列表所需的输出。标注者们会对SFT模型输出结果进行打分,这样便可以创建- "个出输出数据组成的打分(排序)数据集。然后,会在该数据集上进行训练一.个打分模型。最后,使用近端策略优化进步通过打分 模型对语言模型进行调整,这种方法旨在提高ChatGPT生成输山时的准确性和白然度。ChatGPT展现的语言能力令人印象深刻,是具有跨时代意义的评言模型。由于大模型巨大的参数量,需要分布式计算、GPU/CPU等异构技术及多种并行模式等方式进行训练与推理。而智算中心网络川于连按CPU、GPU、内存等池化异构算力资源,贯穿数据计算、存储全流程,网络性能的提升对提升算力水平具有关键意义。

1.2人工智能业务发展趋势

中国的人工智能研究和发展方面已经取得了许多重大成就,包括在白动驾驶、机器人、语音识别和白然语言处理等领域。AI能小已渗透多行业多环节,其中对话式AI产品已在部分行业进入规模化落地阶段,优化人机交互形式、流程与赋能方案,为企业“降 本增效”。ChatGPT的出现将助力对话式Al进-步对产业赋能。云服务提供商提供的三种基础服务模式为SaaS、PaaS及laaS。伴随着人工智能的发展,涌现出了人工智能即服务(AlaaS) 和模型即服务(MaaS)。人工智能即服务,已经成为了中国TT行业的一个关键词。ATaaS 为企业和机构提供了一种创新的商业模式,使得他们]能够更加便捷地获得人上智能服务,同时也促进了人工智能技术的进步与发展。可以提供AlaaS的企业数量也在持续增加,包括如华为云、百度云、阿里云和腾讯云等等。这些企业在Al领域投入巨大的资金和人力,为各行业提供了高品质的人工智能服务。AlaaS的应用领域也不断拓展。AI让传统的企业也能够通过数字化的方式创新发展。例如,金融和零售业领域的使用人工智能技术,使得他们能够更加准确的进行风险管理和发现消费者需求等。随着Alaas市场的规模不断扩张,越来越多的企业也纷纷开辟了自己的人工智能服务领域。迫切需要AI赋能的领域包括教育、医疗、智慧城市和智能制造等。随着互联网和人工智能技术的融合,这些领域都会产生诸多的新的商业模式,从而带动整个行业的发展。模型即服务(MaaS)是基于云端提供预先训练好的机器学习模型,无需自己从头构建和维护模型。换句话说,MaaS 是为那些需要支持应用程序或工作流程的开发人员、数据科学家和企业提供预先构建好的模型的方式。MaaS平台方通过大量数据L0层的基础大模型,再结合行业数据训练LI层的行业模型,用户通过API或模型压缩的方式获得L2层的垂直领域模型。

MaaS提供商通常提供经过大量数据集训练和优化的模型,以支持特定的用例,例如图像识别、自然语言处理、预测分析和欺诈检测,这些模型用户可以通过多方式(API、在线部署)进行使用并获得推理结果。这种方法有多个好处,包拆减少开发时间和戍本,以及降低那些川能没有构建自己的模型所需资源或专业知识的组织的门槛。此外,MaaS提供商通常通过提供按需付费的定价模型,使扩展变得更加容易。一些 MaaS 提供商包括Amazon SageMaker、Microsoft Azure、Machine Leaming、百度文心大模型和华为云ModelArts等。

1.3人工智能政策发展趋势

中国一直非常关注人工智能,并将其列为国家发展计划的优先领域之- -。在过去- -段时间,中国多部门分别发布了多项人L智能的规划性和政策性文件,H标加速人工智能在我国的发展脚步。

2017年国家工信部颁布了《促进新- -代人工智能产业发展三年行动计划(2018-2020年)》的未米三年规划性文件,文件指出需要将人工智能和制造业深度赋能作为发展基础,将全新的人工智能技术的大规模落地作为发展重心,推动智慧T厂的发展,使我国未米制造业具备竞争力。

2017年7月国务院全新公布了政策性文件《新一代人工智能发展规划》,文件中明确了构建以人工智能为主研究方向的创新机构、会逐步提升人工智能的投入、大力培养人工智能全才“等指导性方案,日标加快人工智能在我国的前进脚步。

2018年9月,国家科技部推山了“新一代人 工智能开放创新平台”的新一-批名单, 在名单上的企业被称为“人工智能国家队”,并且数量已经增至15家。

2020年8月,国家五大部门联合发布了新一代人工智能的建设指引文件《国家新一代人工智能标准体系建设指南》,文件的目标是指定人工智能的标准,未来需要将重点工作投入在数据层面、算法层面、系统层面等,并优先将既有的成果应用于制造业、智慧交通、智慧金融、智慧安防等重点民生行业,并构建人工智能统- "的评价平台。

2023年2月24日,国家科技部官员陈家昌发表讲话,介绍国家科技部已经将人工智能视为中国的战略性新兴技术,作为经济发展的催化剂,国家各部i1后续将给予人工智能发展更多政策和资金上的支持。

在刚刚2023年的两会报告中,ChatGPT (大模型)的人工智能词汇多次被提及,并且提出了深入产业领域的核心建议和提案,重点关注数据安全和提升产业质量。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,869评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,716评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,223评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,047评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,089评论 6 395
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,839评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,516评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,410评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,920评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,052评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,179评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,868评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,522评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,070评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,186评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,487评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,162评论 2 356

推荐阅读更多精彩内容