一方面有望在启用后赓续无数AI算力需求神秘顾客暗访

发布日期：2024-03-08 19:00    点击次数：169

AI大模子云的新汲取，开箱即用的模子诞生部署用具。

作家 | 三北

裁剪 | 漠影

跟着OpenAI的视频生成模子Sora爆火，国内大模子同业正在铆足劲加快追逐，同期靠近的算力瓶颈及对应的本钱压力日益突显。

软件优化门径是破解算力瓶颈的一条捷径。本年3月，国内有名AI公司潞晨科技开源的Sora复现架构决策Open-Sora，据称可欺压46%复现本钱，背后就成绩于潞晨科技的Colossal-AI软件系统。

Colossal-AI是潞晨科技自研的面向大模子的通用深度学习系统，可用于大模子锤真金不怕火、微调、推理部署的全进程。该系统在圈内与微软DeepSpeed和英伟达的Megatron分庭抗礼，并凭借GitHub上三万六千多颗星，被一众诞生者视为细分赛谈世界第一。

本年2月，潞晨科技更进一步连合华为推出Colossal-AI云平台——ColossalAI Platform，以此惩处大模子从业者国产化迁徙难问题，为用户提供开箱即用的高性能算力及诞生部署全进程用具。与此同期，潞晨昇腾训推一体机仍是上线，据称性能最高可达对应A800机器性能的92%。

ColossalAI Platform网站截图

ColossalAI Platform地址：

神秘顾客公司_赛优市场调研

https://platform.luchentech.com/

当下恰好AI成两会热点话题，高层初次将开展“东谈主工智能+（AI+）”活动写进政府责任申报，AI算力瓶颈问题备受关爱。那么相宜中国的AI算力惩处决接应该是什么样的？

潞晨科技与华为连合推出的算力惩处决策，为产业提供了一个典型新范本。

01 .

直击传统行业“AI+”痛点

两大决策缓助算力中心价值

“插足2024年，咱们不雅察到大模子有关算力需求昭彰加多。”潞晨有关认真东谈主告诉智东西，“终点是视频生成大模子如Sora的爆发，以及对话机器东谈主的等闲应用，推动了大模子在不同业业的落地应用。”

在这种布景下，客户的需求特征变化主要体刻下对更大限度、更高性能的诡计资源的进犯需求，以沸腾复杂任务的锤真金不怕火和推理。各地算力中心如浩如烟海般落成，一方面有望在启用后赓续无数AI算力需求，另一方面则在落地场景中靠近严峻的应用挑战。

算力中心只消靠提供极端行状，才能形成勾引客户的卖方上风。

业内东谈主士称，不少算力中心有硬件却很难卖出去，因为无法帮客户委果把算力用起来。算力中心的客户在大模子诞生过程中靠近重重挑战，触及各种化的⼯具和框架、复杂的诞生和部署过程、资源经管和调整、数据经管、推广、监控和调试、安全性和权限经管等多方面，成为传统行业“AI+”转型的路障。

潞晨科技与华为最新的谐和，为算力中心及传统行业“AI+”转型提供了新解法。本年2月，潞晨科技与华为推出了两类连合惩处决策：

一是ColossalAI Platform零丁部署版，这是个⼀体化的AI诞生和部署平台，不错助用户在昇腾上像作念PPT雷同锤真金不怕火/微调/部署大模子。用户可通过华为云云商店下单，进行ColossalAI Platform独到化部署，从而在土产货以更低门槛、更低本钱、更高速率通过独到数据锤真金不怕火/微调出后果更好的独到垂类大模子。

ColossalAI Platform零丁部署版网站截图

ColossalAI Platform零丁部署版地址：

ht tps://marketplace.huaweic loud.com/contents/b0fa0a48-b4b5-4651-8277-a14430a8b4d0#productid=OFFI967630942413742080

二是潞晨昇腾训推一体机，也即是潞晨昇腾超等责任站，用户购买机器后可零本钱迁徙，开箱即用地得回与英伟达机器比好意思的高性能算力，用上与ColossalAI Platform近似的功能及行状。

02 .

云平台：千元预算半天锤真金不怕火

闪开源模子比好意思GPT

潞晨有关认真东谈主告诉智东西，关于自有昇腾硬件算力的客户或算力中心来说，他们只需要在华为云云商店下单Colossal-AI Platform零丁部署版，就大致得回近似“千元半日训出70亿参数大模子”、“万元训出比好意思GPT大模子”的体验。

几个月前，东莞便利店神秘顾客Colossal-AI团队仅诓骗8.5B tokens数据、15小时、数千元的锤真金不怕火本钱，告捷构建了性能迥殊的70亿参数汉文Llama 2版块模子，在多个评测榜单性能优厚。

Colossal-LLaMA-2-7B测试比好意思同限度SOTA模子

在此基础上，1月，Colossal-AI再次迭代，诓骗25B tokens数据，仅破耗数万元本钱，打造了后果更佳的130亿参数的Llama 2模子，在CMMLU、AGIEVAL、GAOKAO与C-Eval多个榜单上施展优异，并排破耗上千万元的主流大模子。这些大模子在好多场景中能比好意思OpenAI的GPT-3.5以致是GPT-4模子。

Colossal-LLaMA-2-13B测试超同限度主流模子

关于用户来说，ColossalAI Platform上手书单。平台提供统⼀的接⼝和⼯具，底层期间艰难仍是被屏蔽了，使得诞生大模子变得像作念PPT雷同容易。

阐述潞晨官方测试，通过生动的诡计资源、可推广性和高度可定制的环境，ColossalAI Platform能助大模子预锤真金不怕火本钱欺压50%，大模子基础设施本钱欺压10倍，大模子硬件需求本钱欺压10倍，大模子面孔上线时刻裁汰10倍。

从功能模块来看，ColossalAI Platform主要包括基础设施层、行状层-AI行状中台、应⽤层-AI惩处⽅案三层架构。

ColossalAI Platform的主要架构

其中，基础设施层包括诡计节点、存储和⽹络几个模块，提供硬件与框架⽀捏、原⽣集成ColossalAI的预制镜像、预制镜像⾥AI代码框架版块的如期更新、AI算⼒资源经管等功能。

行状层-AI行状中台主要提供AI算⼒资源经管、AI云主机、模子锤真金不怕火、锤真金不怕火任务模版、模子部署、模子经管、数据集经管、算法经管等功能。

应⽤层-AI惩处⽅案主要提供AI应⽤阛阓、镜像经管、⽂档中⼼等功能。

总的来说，Colossal-AI Platform的主要上风如下：

1、ColossalAI Platform和Colossal-AI通过在⼤型集群上提供“低代码零代码诞生体验”，显贵提⾼复杂应⽤要领的诞生速率。

2、ColossalAI Platform原⽣集成⾼效分离式诞生基础设施Colossal-AI，进⼀步优化⼤模子的锤真金不怕火和推理过程。

3、ColossalAI Platform预置⾃动化算⼒和存储资源的惩处⽅案，⾃动为⽤户设立最优集群，并确保数据安全。

4、ColossalAI Platform显贵欺压企业研发本钱，将⼤模子项⽬上线时刻裁汰10倍。

Colossal-Al云上大模子高效惩处决策旧年底得回了华为云连合CNCF、中国通讯院等颁发的“2023年度云原生期间改造奖”，Colossal-AI大模子诞生系统也在同期期入选中国信通院委果开源大模子产业鼓动方阵。

潞晨科技获“2023年度云原生期间改造奖”

03 .

一体机：克服昇腾适配瓶颈

性能对都NV同代产物

关于一些尚未采购算力的客户，潞晨昇腾超等责任站是优选旅途。

潞晨昇腾超等责任站具有两大中枢上风，0本钱结束到昇腾机器的无缝迁徙，并从性能上比好意思英伟达高端锤真金不怕火卡。

潞晨Colossal-AI系统行为亚洲AI系统细分赛谈排行第一的选手，凭借其在AI系统软件的责任率先匡助国内企业惩处了昇腾机器适配艰难，仅需安设Colossal-AI便可结束原先PyTorch面孔到昇腾机器上的无缝迁徙。

潞晨昇腾超等责任站结束0本钱适配

在性能方面，在Colossal-AI的加捏下，昇腾性能则可径直比好意思以致非常英伟达在原生PyTorch框架下的性能，弥补了国内在AI系统上的空白，为国内无边有落地大模子盘算的企业提供了可靠的寰宇产替代决策。

潞晨昇腾超等责任站获昇腾期间认文凭

04 .

结语：开释国产算力

助大模子产业冲破瓶颈

当下恰好“东谈主工智能+”飞腾为国度打造新质分娩力的政策活动，同期好意思国OpenAI推出的Sora对国内AI产业形成更大的压力，这都条件智能算力产业给出更高性能、更高服从的算力惩处决策，助大模子产业冲破瓶颈，打造相宜中国的大模子算力决策。

“华为昇腾+潞晨Colossal-Al”组合为中国大模子发展提供了一个巨大参考神秘顾客暗访，其创始性在于将华为昇腾先进AI芯片期间与潞晨高性能诡计相勾通，为国内客户提供了全面、高效、可定制的惩处决策，形成推动中国大模子期间和产业演进的更大能量。

• 赓续
• 有望
• 一方面
• 无数
• 用后