什么叫大模型的高级玩家？“慧聚”“云骁”打出算力“王炸”牌

2023年科技圈“顶流”都有啥

大模型毫无疑问位居其中

而小翼只需要“略微”出手

就成了大模型的高级玩家

↓

怎么肥事？听我慢慢讲

就在11月10日-13日

中国电信联合广东省政府整了个大活

举办「2023数字科技生态大会」

现场直接把大伙儿的CPU“干烧了”

大会一开场

中国电信不扯闲话：强势发布

↓

千亿级参数通用大模型

星辰语义大模型

随后又补了一句

预计明年4月开源所有底层代码

并开放超过1TB的高质量清洗数据

嚯，场子瞬间热了

大家还没回过神，中国电信又嗖嗖嗖

甩出了12个行业大模型

↓

这还不算完，紧接着

引人深思的观点又双叒来啦

↓

如何让大模型快速落地到千行百业？

如何又快、又高质量地搞出商业化可交付的大模型应用？

如何让大模型成为推动产业升级的重要力量？

气氛已经烘到这份上了

此时，中国电信天翼云掏出了

另一个“王炸”

慧聚，一站式智算服务平台

也就是大模型生产应用的流水线

为何这是一个“王炸”？

懂行人都清楚：基础大模型，只是底座

要真正落地，必须在特定的

行业大模型和场景大模型上下功夫

但一般的有行业和场景需求的传统开发团队

很难玩动大模型开发

面向国内政企行业场景的，更是空白

讲真，一般人难以在大模型面前放肆

因为这中间的Gap（缺口）实在太大了

但慧聚平台横空出世，大家猛地发现

咦？！我竟然能够得着了

慧聚平台，到底是啥？有这等能耐？

↓

“慧聚”提供了一站式流水线工具和技术

开箱即用，降低开发门槛

看底层架构

四大平台丨六大功能模块丨两大核心技术

在行业大模型应用开发中

核心任务是需要训练出

一个专属模型或专有模型

这个开发阶段，也叫模型训练阶段

在行业和场景大模型开发中，核心问题是

让没有大模型开发经验和能力的开发团队快速上手

把能满足他们业务需求的大模型开发出来

慧聚的“模型开发平台”就是这样一个产品

有的开发团队，想要更省事

慧聚还有一个宝，叫“模型服务平台”

有点像大模型MarketPlace（市场）

里面的模型可太丰富多彩了

“慧聚”把各种模型做成了服务

通过API/SDK的方式调用

↓

直接调用大模型

你还可以对大模型进行微调或个性化

比如，通过构建了Prompt工程，采用全参微调、LoRA、RLHF多种快速微调的方法和方案，再加载一些自家的知识库或数据，就能调整出自己想要的结果。

其实就是一个模型推理过程

慧聚模型服务平台的推理速度极快

很多人怕“推理过程”不可控

但是通过慧聚模型服务平台能做到

全程可观测，心中一本账

服务发布、弹性扩容、服务监测

模型开发平台+模型服务平台

解决了90%以上核心开发问题

同时

“慧聚”通过底层天翼云两大核心技术

算力加速丨算力调度

缩短模型训练时间，保证训练稳定性

↓

算力加速：对AI框架针对性优化，使得模型训练推理效率更高；在训练任务分发、训练断点续训等镜像拉取的时候进行镜像加速；在数据传输层通过预加载、异步存储等技术加快数据集存取，实现数据加速。

算力调度：构建合理灵活的任务的分配和调度策略，保障训练任务能够准确到达每个所分配GPU，提升GPU利用率；感知底层GPU和IB、NVlink等网络，实时获取GPU和网络的状态；底层硬件故障之后实现快速重调度，断点续训。

而在交付方式上

慧聚平台给开发者提供了极大灵活性

↓

第一，公有云方式，通过天翼云

交付公网访问、开箱即用、按需收费

第二，私有云、专有云部署

中国电信可提供一体机

最小单机柜交付，最快2小时完成部署

不仅如此

考虑到XC（信创）等需求

还提供完善的国产化适配

在具体开发过程中

AI算力也是必考虑的因素之一

算力的速度、质量和价钱

决定了模型开发时间和成本

这次，中国电信也秀出了“钞能力”

↓

中国电信采用新一代AIDC智算液冷DC舱

（AIDC指智算数据中心）

打造出业界先进的智算中心

极致算力算效，PUE低至 1.12

（PUE是数据中心消耗的所有能源

与IT负载消耗能源的比值）

为大模型业务提供

绿色、智能、弹性的算力底座

在超强的硬件底子之上

中国电信再秀肌肉

端网协同，榨出每一滴算力价值

建智算机房，调智算网络

这还不算完

最后再狠狠地升级了一下算力平台

↓

这就是天翼云「云骁」

高性能云智超一体化基础设施平台

云骁就像一匹拉动整个

IaaS（基础设施即服务）层的天马

一手算力整合和加速，一手算力运营

让算力插上翅膀，快到飞起

​“云骁”平台通过一系列的算力整合、算力运营管理技术和智算加速套件，大幅提升了数据加载，异构算力的管理与调度性能，并提供了全流程可观测运营能力。

最后，我们要讲的是

​​除了技术层面这些超能力以外

对于广大开发者而言，开发政企类项目

采用中国电信天翼云的「慧聚平台」

无形中拥有了“国云大模型生态”

↓

​丰富的生态，意味着更多选择

​可以灵活地满足客户多样性需求

​↓

​「慧聚」的芯片生态

​GPU、NPU、DPU任选，国产、通用任选

​「慧聚」的模型生态

​汇聚国内外各类通用大模型及行业大模型

​开源闭源，任意选择

↓

​「慧聚」的开发者生态

聚集了政企领域顶尖的开发者、

​ISV（独立软件开发商）

​数据共享、模型共享、案例共享...

​共同推动大模型应用的行业落地

↓

大模型时代，一切可能都要重塑

通过大模型应用开发项目

重塑个人知识模型和公司业务模型

重塑数字世界，落地千行百业

慧聚，打造新起点！