Domestic GPUs are awesome! Moore thread full-link adaptation DeepSeek-V4

快科技5月1日消息，摩尔线程的旗舰级AI训推一体智算卡MTT S5000，搭配自研的MUSA软件栈，基于SGLang开源推理框架，成功完成了DeepSeek-V4的完整运行验证。<br> 至此，摩尔线程已构建起从硬件架构核心计算引擎承接、热点算子支持，再到端到端部署验证的系统化适配链路，证明国产GPU可以实现前沿大模型的“框架级兼容、开箱即落地”。<br> 随着大模型架构持续演进，DeepSeek-V4等先进模型对底层精度能力、算子覆盖、编译优化、并行通信和推理效率提出了严苛要求。<br> 摩尔线程充分发挥S5000原生FP8算力、MUSA对CUDA深度兼容、TileLang MUSA编译器对TileLang生态完美支持等优势，结合TileKernels开源库复用，基于TileLang快捷开发自定义算子等手段，快速打通了DeepSeek-V4推理适配链路。<br> 值得注意的是，TileLang-MUSA已正式进入TileLang官方主线，实现了对DeepSeek-V4最新发布TileLang算子库TileKernels的Day-0无缝支持。<br> 这意味着，MUSA平台已具备承载前沿LLM算子生态的工程基础，为后续先进开源模型适配提供了直接复用的算子通路。<br> ▼ TileKernels算子库开源地址：<br> https://github.com/tile-ai/tilelang-musa/tree/main/tilekernels'>https://github.com/tile-ai/tilelang-musa/tree/main/tilekernels'>https://github.com/tile-ai/tilelang-musa/tree/main/tilekernels<br> ▼ TileLang-MUSA开源地址：<br> https://github.com/tile-ai/tilelang-musa<br> 三层技术路径完成DeepSeek-V4工程化适配<br> 本次适配验证了一条新模型快速推理部署的系统化工程路径：<br> 通过MUSA对CUDA的全栈兼容，实现核心主流AI框架快速适配，复用开源 TileKernels算子替代标准融合模式，并借助AI Agent基于TileLang完成模型特异性算子的快速开发与验证。<br> 首先，MUSA软件栈提供了FlashMLA、DeepGEMM、DeepEP等DeepSeek开源仓库的兼容实现，使得推理依赖的Attention、FP8 GEMM、MoE dispatch/combine等关键计算、通信算子能够在S5000上快速适配。<br> 其次，面向SwiGLU + FP8 quant等标准融合模式，S5000可直接复用DeepSeek TileKernels原生算子实现Day 0开箱适配，通过摩尔线程MATE开源算子库在layout、dtype、scale contract及接口层面与DeepGEMM深度兼容，消除热点算子的格式、接口对齐开销。<br> 得益于MUSA对AI软件生态良好的兼容性，DeepSeek-V4在MUSA平台上可实现从核心算子适配，到端到端拉起，再到系统级性能调优的工程级加速。<br> 最后，针对DeepSeek-V4高度特异化的计算负载，摩尔线程借助AI Agent实现TileLang Kernel自动生成及调试，围绕算子语义分析、接口适配、Kernel实现与正确性及精度验证等环节提升开发效率，完成RMSNorm、RoPE、Compress、Topk等多个核心自定义算子快速开发、集成。<br> 该方案在保证计算语义零偏差的前提下，显著压缩了Kernel级开发及适配周期，并进一步释放关键算子的性能，例如，RMSNorm等带宽瓶颈算子带宽利用率可达80%。<br> 原生FP8支持增强混合精度推理<br> 上述三层路径快速打通，得益于摩尔线程S5000 原生FP8算力底座支撑，完整承接前沿混合精度模型推理需求，在保持模型精度的同时，实现高吞吐、低显存占用与显存带宽的高效利用。<br> 该能力深度对齐DeepSeek V4等先进MoE模型的精度演进范式，确保DeepGEMM、FlashMLA、DeepEP等核心算子在MUSA平台上快速适配。<br> 围绕原生FP8能力，摩尔线程已完成涵盖激活量化（SwiGLU FP8 quant）、MoE路由（routing）、注意力预处理（attention-prep）、缓存管理（FlashMLA cache store / paged metadata）及解码压缩（compressor decode/prefill）在内的关键模块适配，并通过多层回归测试，完成关键路径正确性与稳定性的验证。<br> FlashMLA DSA极致优化，释放长上下文推理性能<br> 在完整模型链路适配的基础上，摩尔线程在S5000上针对FlashMLA DSA的Prefill（预填充）与Decode（解码）场景开展了专项优化，采用了一致的底层优化逻辑：<br> 紧密围绕DeepSeek-V4 KV Cache的数据组织模式，直接完成稀疏KV读取、Cache Layout解析、Attention计算及结果写回，有效消除了额外的缓存重排（Rearrangement）开销，同步支持Original + Extra双路KV Cache机制及动态Top-k长度，通过TileLang对DSA算子进行深度优化，显著提升了长上下文与稀疏注意力场景下的计算效率，最终DSA Prefill及Decode算子BF16 Tensor算力利用率可达50%，未来还会继续推进优化。<br> 四层验证体系，确保生产级稳定和确定性<br> 围绕完整推理链路，摩尔线程建立了覆盖MUSA Kernel验证、算子级精度对齐、优化路径选择、端到端场景回归四层验证体系，确保关键算子在实际运行中的正确性及稳定性。<br> 当前，摩尔线程基于DeepSeek-V4的工作已进入性能调优、长上下文能力完善与生产级稳定性验证阶段。<br> ▼ DeepSeek-V4推理服务部署指南：<br> https://blog.mthreads.com/blog/AI/2026-04-30-DeepSeek-V4%20%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E9%83%A8%E7%BD%B2%E6%8C%87%E5%8D%97/<br> 【本文结束】如需转载请务必注明出处：快科技<br> 责任编辑：上方文Q<br> “特别声明：以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布，本平台仅提供信息存储空间服务。<br> Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”