算力即王道！千亿级AI大模型，没有「算力网」怎么行？

　　新智元报道

　　编辑：好困 yaxin

　　【新智元导读】算力就是生产力，得算力者得天下。千亿级参数 AI 模型预示着算力大爆炸时代来临，不如织起一张「算力网」试试？

　　得算力者得天下。

　　人工神经网络在上世纪 80 年代早已提出，却受制于有限的计算力历经数年寒冬。

　　不过，随着新一代人工智能技术的快速发展和突破。

　　以深度学习计算模式为主人工智能算力需求呈指数级增长。

　　应用到 CV 和 NLP 的场景越来越多。

　　从 16 年的 AlphaGo，到 17 年的 AlphaZero，再到 18 年的 AlphaFold，人工智能演化发展的速度进一步加快。

　　而 2020 年发布的 GPT-3 更是把人工智能的水平提到了一个新的高度。

　　大模型，好使！

　　每次提到大模型都避不开的就是：

　　1750 亿参数的 GPT-3。

　　为了训练 GPT-3，微软新建了一个搭载了 1 万张显卡，价值 5 亿美元的算力中心。

　　模型在训练上则消耗了 355 个 GPU 年的算力，而成本超过 460 万美元。

　　其成果是显而易见的，GPT-3 不仅在 NLP 方面取得了惊人的成就。

　　利用 GPT-3 提供相关的快速语义搜索

　　其衍生版，侧重于代码生成 Codex，不仅仅是模仿以前见过的代码，而且还会分析文档中的字符串、注释、函数名称以及代码本身，从而生成新的匹配代码，包括之前调用的特定函数。

　　利用 Codex 开发小游戏

　　此外，DALL·E作为另一个 GPT-3 的 120 亿参数衍生版本，它能创建绘画、照片、草图等等，基本上涵盖了所有可以用文字描述的东西。

　　利用 DALL·E生成企鹅抱枕

　　GP 从 11 亿参数的 GPT 到 150 亿参数的 GPT-2，再到 1750 亿参数的 GPT-3。

　　至少在目前这个阶段，大规模预训练模型就是好使！

　　既然如此，为什么不研发我们自己的呢？

　　今年 1 月， 2000 亿参数的鹏程.盘古发布 。

　　通过自动混合并行模式实现了在 2048 卡算力集群上的大规模分布式训练。

　　在预训练阶段，模型学习了 40TB 中文文本数据，并通过行业数据的样本调优提升模型在场景中的应用性能。

　　视觉方面则包含超过 30 亿参数，兼顾了图像判别与生成能力，从而能够同时满足底层图像处理与高层语义理解需求。

　　模型在 16 个下游任务中大部分指标优于 SOTA 模型，其中零样本学习任务 11 个任务领先，单样本学习任务 12 个任务领先，小样本学习任务 13 个任务领先。

　　除了大规模， 多模态也是人工智能发展的重要方向。

　　现实中的网络数据，有 90% 以上是图像与视频，其中蕴含了更多的知识。

　　而人类的信息获取、环境感知、知识学习与表达，都是采用跨模态的输入输出方式。

　　为此， 中科院自动化所推出了全球首个三模态大模型：紫东. 太初 。

　　其兼具跨模态理解和生成能力，可以同时应对文本、视觉、语音三个方向的问题。

　　与单模态和图文两模态相比，其采用一个大模型就可以灵活支撑图-文-音全场景 AI 应用。 具有了在无监督情况下多任务联合学习、并快速迁移到不同领域数据的强大能力。

　　此外，紫东.太初还获得了 MM2021 视频描述国际竞赛的第一名 ， ICCV2021 视频理解国际竞赛第一名 。

　　在图文跨模态理解与生成方面的性能领先 SOTA，而在视频理解与描述上甚至可以称得上世界第一的水平。

　　与此同时，在 1960 到 2010 年间，人工智能的计算复杂度每两年翻一番；在 2010 到 2020 年间，人工智能的计算复杂度每年猛增 10 倍。

　　那么该如何面对如此之大的模型和如此之复杂的计算呢？

　　答案就两个字： 算力 。

　　毕竟，人工智能发展的三要素：数据、算法和算力中，无论是数据还是算法，都离不开算力的支撑。

　　算力从哪来？

　　随着人工智能模型的逐渐成熟，以及各个行业的智能化转型，越来越多的企业都体验到了 AI 带来的便捷。

　　AI 的应用必定会涉及到算力的需求，然而让每个企业都去搭建「人工智能计算中心」显然是不现实的。

　　因此，建造标准化且自主可控的「人工智能计算中心」的需求也就迫在眉睫了。

　　除了需求的牵引之外，再加上政策扶持，人工智能计算中心「落地潮」也在深圳、武汉、西安等地被快速掀起。

　　近日， 西安未来人工智能计算中心正式上线 。

　　作为全国第三个人工智能计算中心，它的应用场景更为广泛——自动驾驶、智慧医疗、智慧城市、智慧交通、智慧矿山等多种场景。

　　西安电子科技大学人工智能研究院院长焦李成院士被聘为该人工智能计算中心专家。

　　他并表示：未来人工智能计算中心的上线，能够加快实现人工智能对经济社会发展的带动和支撑作用，能够更快形成国家新一代人工智能试验区的西安方案。

　　据悉，西安未来人工智能计算中心算力规模一期在 300P FLOPS FP16 ，具备每秒 30 亿亿次半精度浮点计算的能力。

　　相当于 24 小时内能处理 30 亿张图像或 3000 万人 DNA，或 300 万小时语音，或 10 年自动驾驶数据。

　　此外，西安未来人工智能计算中心上线之初，便签约了众多项目。

　　如西安电子科技大学遥感项目 、 西北工业大学语音大模型项目 、 陕西师范大学「MindSpore 研究室」 等。

　　而早在 5 月底已经投入运营的武汉人工智能计算中心 ，则提供了高达 100P 的算力，相当于每秒 10 亿亿次的计算速度。

　　刚建成就迅速进入满负荷的状态：

　　仅在试运行期间，就有联影、兴图新科等企业发出了算力申请，而人工智能计算中心也帮助企业完成了图像识别、语音识别等场景的应用。

　　在科研创新方面，依托武汉人工智能计算中心的算力， 武汉大学打造了全球首个遥感专用框架武汉 .LuojiaNet 。

　　LuojiaNet 针对「大幅面、多通道」遥感影像，在整图分析和数据集极简读取处理等方面实现了重大突破。

　　在产业方面，倍特威视已经开发了 170 多种算法，可以应用在工地、水利、农业等多种复杂的环境。

　　通过将模型迭代训练任务迁移到武汉人工智能计算中心，在算法的迭代速度上比独立部署训练服务器提升 10 倍。

　　目前，武汉人工智能计算中心已为 40 家企业、4 家高校与科研院所提供算力和产业服务，而这些仅仅是一个开始。

　　往大了说是让人工智能产业能有进一步的发展，往小了说是让大家能够更好地体验到人工智能带来的便利，这些都离不开人工智能计算中心的算力。

　　那么再具体一点，又是什么给这些「人工智能计算中心」提供这些算力的？

　　如何提供算力？

　　还是回到最初的模型上，这其中主要涉及到的有三个大类：图像处理，决策和自然语言处理。

　　那么在复杂模型的训练过程中，需对上千亿个浮点参数进行微调数十万步，需要精细的浮点表达能力。

　　因此，人工智能计算中心在 「训练」模型阶段 ，就需要极高的计算性能和较高的精度，需要能处理海量的数据，以便完成各种各样的学习任务。

　　而在 「推理」阶段 ，则是利用训练好的模型，使用新数据推理出各种结论。

　　也就是借助现有神经网络模型进行运算，利用新的输入数据来一次性获得正确结论的过程。

　　推理相对来说对性能的要求并不高，对精度要求也要更低，在特定的场景下，对通用性要求也低，能完成特定任务即可。

　　但因为推理的结果直接提供给终端用户，所以更关注用户体验方面的优化。

　　这也就意味着人工智能计算中心需要具有全栈性这个特点， 覆盖到各种不同的算力需求 。

　　此外，人工智能计算中心的建设还需要形成一个生态。

　　当实现了从建造到维护，再到日常运营这样的「一站式服务」，才能让大家把人工智能计算中心真正的用起来。

　　然而，中国科学技术信息研究所在 《人工智能计算中心发展白皮书》 里指出，目前我国在人工智能计算中心的发展上遇到的一个重要的问题是：

　　不管是作为算力的 AI 芯片，还是实现算法的模块化封装的 AI 开发框架，95% 以上都被外国的公司所垄断。

　　而这其中的 AI 开发框架，在人工智能领域是相当于一个操作系统的存在。

　　AI 开发框架是所有算法模型的开发基础，其中有 90% 的人工智能应用开发是在 AI 框架上进行的。

　　因此，开发一个自主可控的 AI 框架在这个处处都有可能被「卡脖子」的领域就显得尤为重要了。

　　人工智能计算中心的关键技术

　　以 MindSpore（昇思）来说，作为一个自研的 AI 框架，已经在 2020 年 3 月全面开源 。

　　MindSpore（昇思）提供了一个统一的 API，为全场景 Al 的模型开发、模型运行、模型部署提供端到端能力。

　　MindSpore（昇思）可以支持数据并行、模型并行和混合并行训练，具有很强的灵活性。

　　而且还有「自动并行」能力，它通过在庞大的策略空间中进行高效搜索来找到一种快速的并行策略。

　　除了支持模型跨平台免转换以外，MindSpore（昇思）还可以让并行代码数量下降 80%，调优时间降低 60% 。

　　此外，它最重要的特点就是具备安全可信、高效执行、一次开发多次部署的能力。

　　越来越多的企业和开发者开始采用 MindSpore（昇思），开源社区累计下载量超过 60 万，有超过百家高校选择昇思进行教学。

　　人工智能计算中心具有了训练、推理能力以及供 AI 开发的平台，自然也就有了能够向外输出的强大算力了。

　　那么问题又来了，建设这么一堆人工智能计算中心就够了么？

　　不如把算力连成「网络」？

　　其实就像是电网和天然气网，算力对于有些地方来说是完全不够用的，而对于有的地方则是空有一手的「算力」却无处使。

　　简单来说，兴建人工智能计算中心之后会面临三点问题 ：

1. 不同区域 AI 算力使用存在波峰波谷，各地独立的人工智能计算中心无法实现跨域的动态调配；

2. 全国人工智能发展不均衡，不同区域有各自优势，各地独立的人工智能计算中心无法实现跨区域的联合科研和应用创新、资源互补；

3. 各地独立的人工智能计算中心产生的 AI 模型、数据，难以实现全国范围内顺畅流动、交易，以产生更大的价值。

　　那么，既然有「西气东输」和「西电东送」的成功经验，为何不把「算力」也连点成线，编织成一个人工智能算力网络呢？

　　人工智能算力网络可以将各地分布的人工智能计算中心节点连接起来，动态实时感知算力资源状态。

　　进而实现统筹分配和调度计算任务，构成全国范围内感知、分配、调度人工智能算力的网络，在此基础上汇聚和共享算力、数据、算法资源。

　　例如，在西安建设的未来人工智能计算中心可以辐射宁夏、甘肃、新疆、青海、云南五省，从而推动西部整体的人工智能产业发展。

　　那么具体来说，构建人工智能算力网络最终要实现的是「一网络，三汇聚」。

　　网络： 将人工智能计算中心的节点通过专线连接起来形成人工智能算力网络。

　　三汇聚分别是算力汇聚、数据汇聚和生态汇聚。

　　算力汇聚： 连接不同节点的高速网络，实现跨节点之间的算力合理调度，资源弹性分配，从而提升各个人工智能计算中心的利用率，实现对于整体能耗的节省，后续可支持跨节点分布学习，为大模型的研究提供超级算力。

　　数据汇聚： 政府和企业共同推进人工智能领域的公共数据开放，基于人工智能计算中心汇聚高质量的开源开放的人工智能数据集，促进算法开发和行业落地。

　　生态汇聚： 采用节点互联标准、应用接口标准，实现网络内大模型能力开放与应用创新成果共享，强化跨区域科研和产业协作。

　　各地算力中心就像大脑中数亿个突触，人工智能算力网络正如神经网络。

　　如此看来，算力网络的重要意义之一便是通过汇聚大数据+大算力，使能了大模型和重大科研创新，孵化新应用。

　　进而实现算力网络化，降低算力成本，提升计算能效。

　　最终打造一张覆盖全国的算力网络，实现算力汇聚、生态汇聚、数据汇聚，进而达到各产业共融共生。

　　算力网络，值得期待。

　　参考资料：

　　http://gov.cnwest.com/jczw/a/2021/09/09/19944392.html

　　https://mp.weixin.qq.com/s/6oX0FdnIeyWGX5iXlmauew

　　https://mp.weixin.qq.com/s/M2oN3-MdaffnpiygrkBg3g

　　https://mp.weixin.qq.com/s/VQnPpyFprfFeYCBm_wE0wg

　　https://www.bilibili.com/read/cv12369433

　　https://www.istic.ac.cn/isticcms/html/1/istic-ai/result4.html

　　https://www.mindspore.cn/