金磊 发自 凹非寺量子位 | 公众号 QbitAI九游会J9

首个由万卡集群教学出来的万亿参数大模子，被一家央企解锁了。

具体而言，为纯国产东谈主工智能探索出这条路的恰是中国电信东谈主工智能筹划院（TeleAI），是由中国电信集团 CTO、首席科学家、中国电信东谈主工智能筹划院院长李学龙训导指挥团队完成。

据了解，教学使用的万卡集群由天翼云上海临港国产万卡算力池提供，并基于天翼云自研“息壤一体化智算奇迹平台”和电信东谈主工智能公司自研“星海 AI 平台”的撑抓，不错达成万亿参数的常稳教学，平均每周仅有1.5次教学中断，集群教学踏实性达到国际最初水平。

而且基于此，TeleAI 还开源了由国产深度学习框架教学的千亿参数大模子——星辰语义大模子TeleChat2-115B。

TeleChat 是央企里首个开源的系列语义大模子，而 TeleChat2-115B 则在 TeleChat 的基础上，通过对教学数据量、数据质料和配比、模子架构等多维度的优化，取得了更进一步的效果提高！

在九月份的 C-Eval 评测 Open Access 模子轮廓榜单中，TeleChat2-115B 以86.9分的收获，一举拿下了榜单第一！

这依然不是 TeleAI 第一次在巨擘榜单高居榜首了。早在本年5月份的时候，其 TeleChat 系列模子的逻辑推理才能便在 OpenCompass 测试榜单中取得开源大模子排行第一。

具体到应用，星辰语义大模子在长文本写稿方面，所以“大纲写稿+正文写稿”这种模式张开，愈加靠拢用户习尚。

据了解，它如故逐段生成文本，这就成心于达成超长著作的写稿。

即使濒临超长会议，星辰语义大模子也不错猖厥达成纪要及时生成，在准确性、无缺性、幻觉问题、逻辑性以及范例性等多个方面都能呈现高质料。

对于大型电子报表，星辰语义大模子还撑抓报表生文、报表问数、报表摘录、报表对应讲述的作风化仿写等功能。

是百万行数据都不错猖厥 hold 住的那种！

万卡万参，是怎么练就的？

需要明确的少量是，达成万卡万参并非是一件易事，单单是天下产化的达成难度就是可想而知的。

起先的难点，等于提高万卡集群性能和踏实性。

为了提高教学性能，TeleAI 选择了多维搀杂并行，不错通过建树不同的并行模式，达成数据并行、模子并行和活水线并行的自动搀杂使用，撑抓万亿模子万卡集群高效踱步式教学。

在本次教学中还选择以下关节技能进一步提高教学性能：

多副本并行：通过将输入模子的数据按照 batch size 维度进行切分，使得底层在通讯时，另一副本进行蓄意操作，无需恭候，提高模子性能。通讯优化：通过通讯交融和通讯子图提真金不怕火与复用等技能，减少通讯耗时，提高教学性能。DryRun仿真：无需确凿履行蓄意，在小集群上分析蓄意图，识别性能瓶颈，如算子交融、显存使用和数据流的遵守问题，提前为万卡集群运转提供优化配置。生动重蓄意配置：联结 DryRun 的显存使用分析，通过蓄意选重，通讯选重，指定选重等多种配置，在称心单卡显存次第下，找到显存和蓄意的最优平衡点来达成性能的最大化。

最终，国产算力万卡集群性能向上对应 GPU 93% 以上。

除此除外，为了提高教学踏实性，通过上线教学集群断点续训、CCAE 集群监控并快速冒失故障节点、多级存储优化等方法，达成集群98%的踏实可用，断点续训顺利率 90%以上，单次断点续训时长 15min 傍边。

其次的挑战，等于在于教学万亿参数的大模子。

在进行超大参数模子教学流程中，TeleAI 通过大宗小模子教学对 Scaling Law（设施定律）张开探索，对每个模子的噪声空间进行分析，构造正激发噪声来强化教学流程中的噪声管理。正激发噪声算作教学超大参数模子的中枢技能，匡助筹划东谈主员服气最优模子结构，从而提高模子的举座才能与鲁棒性。

为此，TeleAI 选择了“四步走”计谋。

起先在模子构建方面，利用多项技能进行优化。

其一，在位置编码方面，选择 Rotary Embedding 的位置编码方法，该方法具备出色的位置外推性，况且大概与 attention 蓄意加快技能普遍和解，从而大幅提高模子的教学速率。

其二，激活函数层面，选用 SwiGLU 激活函数替代 GELU 激活函数。在实验流程中，TeleAI 也阐发了 SwiGLU 相较于其他激活函数，领有更好的模子拟合效果。

其三，层圭表化门径，期骗基于 RMSNorm 的 Pre-Normalization 。实验发现，该算法在教学进度中具有更佳的踏实性。

其四，将词镶嵌层（embedding）与输出 lm head 层参数解耦。实验标明，这么作念大概增强教学踏实性和管感性。

其五，在大参数模子（TeleChat2-115B）上应用 GQA，可提高模子教学和推感性能。GQA 能大幅缩小模子推理流程中的显存使用量，显耀提高模子外推长度和推感性能。

此外，在基础教学数据构建方面，TeleAI 在工程施行中借助多级先导模子张开邃密的奴婢教学以及数据调养实验，对数据清洗及数据混共计谋的有用性给以充分评估考据。

其一，在数据清洗方面，期骗语种识别、数据去重、文本式样范例化、无关本色过滤、低质本色过滤等技巧来提高预教学数据质料。

同期，竖立多模态结构化文档解析器具，有用提真金不怕火公式和表格本色。实验发现，经过数据清洗后，模子教学亏蚀更低，学习速率更快，大概浮浅 43% 的教学时分。

其二，对于数据搀杂，选择在线界限采样权重调养算法。在先导模子教学流程中，依据不同数据集的样本亏蚀踱步动态更新采样权重，进而获取效果最优的数据混共计谋。

在模子教学初期，还会凭证评测观点变化情况抓续调养配比决策。实验标明，增多汉文数据比例、增大数学与题库数据比例，有助于提高模子的文本联结和检察才能。

其三，在数据合成方面，针对数学、代码等特定界限任务，梳理细粒度的常识点体系，并构建复杂指示让大模子生成常识密度高的合成数据，举例试题解析流程、代码功能讲授、代码调用关系等。

接下来等于SFT（模子微调）专项优化。

在低质料过滤方面，期骗模子困惑度（PPL）、指示奴婢难度（IFD）以及可学习度（Learnability）等观点来揣摸单条样本的回答难度，进而自动筛选并过滤掉文本式样范例性差、谜底标注缺欠的样本。

对于高质料构建，将 SFT 永诀为逻辑、领略、联结三个才能维度及二十多个子类。通过事先制定的圭表评测集，定向筛选出对单项才能观点提高影响最大的高质料数据。

同期，建议基于黄金模板构建问答数据的两阶段标注决策，从范例性、新颖性、逻辑性、丰富性、无缺性等维度记挂每类问题的最好模板，再依据模板标注稳当条款的最好谜底。

在效果聘任上，基于模子困惑度观点，大概快速评估不同版块的模子在小界限考据集上的拟合程度，从而挑选出阐扬较好的版块，以此缩小蓄意资本。

然后是偏好对皆。

为最大程度确保指示数据的全面性与平衡性，TeleAI 分类并齐集了涵盖统统300个类别的指示数据集。同期，为获取更高质料的指示数据，期骗聚类和中心聘任算法，从中挑选出具有代表性的指示。

随后，TeleAI 把来自不同教学阶段、不同参数大小的 TeleChat 系列模子的回话，按照安全性、事实性、剖析性等多个维度，归为高质料、中质料、低质料三个不同标签，变成 pair-wise 数据，用于奖励模子的教学。

DPO 算法因工程达成方便、易于教学而被无为应用，在 TeleChat 教学阶段也选择了这一计谋。在数据构建阶段，TeleAI 使用指示数据对刻下 Chat 模子进行10至15次推理采样，并利用奖励模子对每个回话进行打分。

TeleAI 选择 West-of-N 的式样构建pair数据，行将模子回答的最高分算作 chosen response，最低分算作 rejected response，以此确保pair数据具有较强的偏好永诀。

在教学阶段，除了使用惯例的 DPO 亏蚀函数外，TeleAI 还通过实验发现，引入对 chosen repsonse的NLL Loss（负对数似然亏蚀），大概有用踏实 DPO 教学的效果，防患 chosen response 的概率缩小。

临了，等于基于常识图谱缩小语义大模子事实类幻觉。

具体而言，TeleAI 是基于图谱结构化信息暗示，将常识引入到问题教唆中：凭证与查询 n-gram 雷同度检索候选实体，随后以此为基础进行就地游走，并蓄意游步碾儿径与用户原始问题的关系性，聘任 top 旅途本色推论至用户原始问题。

以上等于 TeleAI “真金不怕火”万卡万参的关节流程了。

不外当今还有一个问题值得议论一下：

为什么中国电信东谈主工智能筹划院不错作念到？

其实 TeleAI 在大模子上的布局并非是一蹴而就，实则是已有很万古分的打磨。

起先，是在立场上给以高度爱重。

除了星辰 AI 大模子除外，在前年 11 月举行的数字科技生态大会上，TeleAI 还发布了12个行业大模子，况且推出了 “星辰MaaS生态奇迹平台”，以此达成定制化奇迹。

而这整个的一切，都是基于中国电信历经十年的 AI 才能竖立。

其次，有东谈主才方能有行业大牛助力。

为了搭建星辰 AI 大模子，中国电信飞速组建起一支近800东谈主的研发团队。团队成员来自国表里顶尖高校，诸如清华、北大、斯坦福以及哥伦比亚等，平均年纪为31.79岁。

这批优秀东谈主才助力中国电信在对内对外业务中取代外部算法才能，达成核默算法才能的自主可控。

在无为吸纳基础东谈主才的同期，中国电信也领有一批行业大牛。其中，前年年底全职加盟中国电信集团担任 CTO 以及首席科学家的李学龙等于其中之一。

算作 AI 界限 Fellow 大满贯选手，李学龙更始性地建议噪声分析是处治大模子等一系列东谈主工智能问题的中枢关节，他将这一念念想引入到万卡万参技俩中，也将指挥中国电信东谈主工智能筹划院不竭开展基础和前沿筹划。

而在 TeleAI 成立之际，便围绕“东谈主”、“工”两大成分来要点打造。

据了解，TeleAI 现已引入多位国际TOP高校的训导、国内闻名企业的 CTO 或科学家、科研机构的后生东谈主才、以及领有高影响力开源效果的天才学生。

而且还不啻于 AI 和大模子，中国电信在许多技能上都进行了参加，况且也取得了同业上风，这也恰是“工”为基所体现的点。

举例量子通讯，中国电信不久前发布了具备“量子优厚性”才能的“天衍”量子蓄意云平台，此前还绽开了国内界限最大、用户最多、应用最全的量子守密通讯城域网，并主导制定了中央企业第一牵头立项的7项量子通讯行业圭表（含团标）中的5项。

再举例在新一代信息通讯技能上，中国电信达成“手机直连卫星”全面商用，发布了全球首个撑抓铺张级 5G 结尾直连卫星双向语音和短信的运营级产物。

由此可见，中国电信早已不是大家眼中的传统运营商，在前沿技能上的参加，是比咱们领略要深得多。

这也就不难联结，为什么 TeleAI 不错率先作念到万卡万参了。