近日，京东云JoyScale AI算力平台才略再升级，竣事行业最多元国产异构算力篡改，维持10+家国产AI算力卡，20+检修推理框架，亦然当今业界唯独同期维持英伟达显卡和昇腾NPU汉典调用的算力平台体育游戏app平台，为AI应用的高效开动提供弘远的算力维持。

AI深度应用开启，市集需要AI Native的算力平台

跟着AI应用久了，对基础法子带来了一系列全新的时刻挑战，齐指向需要一套AI Native的AI算力平台。

一方面，以CPU为中心的架构在维持AI原生应用方面存在辣手的问题，需要以GPU为中心重塑基础法子，在国内还需要科罚GPU本人型号各样带来的异构问题。另一方面，应用的深化引发了更多推理的需求，缱绻资源握续增多，企业需要想考资源进入产出的问题，但愿智算资源像昔时相同获得极致的后果。此外，GPU外洋供应链风险加重，金融、政务等边界AI算力国产化替代加快，算力还需餍足合规条件。

面向大模子检修、推理的算力需求，京东云推出全新的JoyScale AI算力平台——以GPU为中枢，高效异构算力篡改，弘远推感性能。

全面升级，JoyScale竣事行业最多元国产算力异构篡改

JoyScale AI算力平台，是基于京东里面长入GPU池化实践打磨的同源同栈AI基础法子算力平台，维持检修任务和推理就业长入篡改和资源分享，维持10+家国产AI算力卡，20+检修推理框架，亦然当今业界唯独同期维持英伟达显卡和昇腾NPU汉典调用的算力平台。

它具备四大中枢上风：

极致算力性能。行业非凡的内核态池化引擎，提供多卡团聚、单卡切分、多机多卡集群化篡改、推理加快等各异化才略，餍足大参数模子集群化部署条件，JoyScale算作通过信通院最高档第双认证的AI算力平台，不错餍足金融级数据安全、性能和褂讪性条件，举座推感性能普及50%。

高效异构算力篡改。JoyScale全面适配十余家国产算力，兼容适配昇腾、寒武纪、海光等多种国产加快卡，维持异构算力长入纳管、细巧化运维，云原生AI篡改才略，极致普及AI任务部署密度，举座资源期骗率普及70%。

深度国产AI生态协作。京东云和广博国产芯片厂商深度协作，彼此通达开动时Runtime层代码，通过GPU/NPU切分池化时刻，从内核层屏蔽异构厂商硬件的复杂性，竣事更高效的AI算力。

维持超20种AI训推框架。检修框架维持PyTorch、TensorFlow、DeepSpeed，MindSpore等；推理框架维持vllm，sglang，MindIE，triton，TensorRT-LLM等。

3、极致性能调优，维持大模子在国产卡高效开动

JoyScale AI算力平台，基于极致的性能调优意见，攻克了主流模子在国产卡上开动的时刻难点并酿成科罚决议，算作业界唯独同期维持英伟达显卡和昇腾NPU汉典调用的平台，竣事了应用与算力的辨别，让底层异构算力得以澈底池化，大概凭据表层AI应用的执行需求，无邪地按需分派算力资源。

在篡改优化方面，JoyScale通过篡改算法，在国产就业器卡互联拓扑结构上，兼容原有英伟达NVLink上的优化，兼顾算法任务性能、集群期骗率与业务开动。通过智能识别CPU NUMA和荟萃拓扑，确保任务被分派到最优的缱绻和荟萃资源上，最大化任务的履行后果。

在资源期骗率方面，JoyScale通过让国产GPU/NPU与英伟达/AMD共同衔命资源部队机制，既可有一定资源的保险量，同期可分享集群稳定资源，给用户提供更无邪的缱绻资源，竣事更高的集群资源期骗率。

在模子优化方面，通过GE图编译优化和ATB高性能算子时刻，对Paged Attention、Flash Attention等操作进行深度优化，竣事整图下发才略，通过算子setup、下发、缱绻竣事活水线并行，灵验荫藏了算子篡改支出。并通过Prefill/Decode辨别时刻，KV cache等缓存时刻减少重迭缱绻，灵验提高多模态场景推理速率。

在软硬协同优化方面，通过对热门算子进行细巧调优，实施锯齿Attention、动态输入拼接、全子图下发，以及重缱绻活水线的寂然篡改和自恰当重缱绻等深度优化门径，竣事了百卡 MFU达60%。同期，通过权重更新通讯荫藏、CoC缱绻通讯并行和多机间RDMA通讯等时刻，达到了百卡膨大扫数0.93，竣事了千亿至万亿参数模子检修的近线性横向膨大。

刻下，基于京东集团复杂场景实践，京东云构建了一站式大模子产物矩阵，从底层的智算基础法子，到中间层的模子就业和器用，再到表层的Agent应用建树，维持企业快速部署大模子及应用。同期体育游戏app平台，凭借在京东里面场景千锤百真金不怕火的深度应用教育，打造出的极致性能、极致性价比的时刻与产物，助力更多企业重塑AI分娩力。