Deep SICK再发行论文，揭秘如何仅用2048张H80训练出deep sik v三这样的顶级模型。再次告诉世界大模型的训练和创新并非仅仅靠砸钱就能大幅增长，而是面对困难时你如何想办法解决。

论文开篇指出显卡模模型定位上之后，训训练模型的核核心战略来做内容容量限制计算效率，仅仅连带宽约束。为解决这些问题，团队从模型架构创新和硬件协同设计上切入，实验的配置为2048张英伟达H800PPU集群，选择11722 ddl LLAA405b dance作为训练成本和计算效率的对照组。

在模型架构创新上，团队第一招时引入MLA压缩机制，通过将多头注意力中的KV缓存压缩为潜在向量，大幅减少内存占用。实验结果显示，deep thick v3的KV缓存每token仅需70KB，比LLAMA3到405B减少7.28倍。接着团队引入deep sick CIE架构，支持动态专家激活和分层路由策略。通过动态专家激活V3模型，在总参数为671B的情况下，每令牌仅激活37B将V3模型的训练成本压缩至每令牌250g flops，降低LLMAM405b dance训练成本，2448g flops降低75%训练计算成本。此外借助分层路由策略，将跨节点通信次数从八次减少到4次，通信带宽需求降低50%。利用NV link高带宽特性，优化专家并行通信贸易模型，在消费级硬件上可实现20头consist的高推理速度，相比同性能密集模型降低80%硬件需求。

紧接着团队引入低精度计算体系，全流程FP8混合精度训练框架，使用FP8进行前向和反向传播，降低50%内存消耗和计算成本。通过整合细腻度量化策略，将精度损失降低到0.25%以下。同时确认log FMT作为新的数据类型，能实现8 bit压缩下优于14立方米的精度表，提供更高的精度和更低的通信开销，并指出FP22寄存器再累加精度量化反操作开销方面的局限性。建议下一代硬件支持可配置精度单元。

团队的第四招是通过引入多令牌预测框架MTP提高推理速度，实现推理加速1.8倍。接着团队在互联架构上进行创新，对硬件与网络进行协同优化。受出口限制影响，国内的H80显卡的NV link带宽降至400BS，导致网络成本增加。团队实验发现，通过部署两层factory拓扑，每个节点配备8个400g in fini band Nike，形成节点内与节点间带宽比4比1的异构架构，取代传统三层factory能缓解带宽影响并降低35%的网络成本。网络平面隔离设计，实现流量控制与故障域分离。结合RDMA异步通信模型达成90%带宽利用率。配合节点限制路由策略，贸易的专家选择中，优先将token路由至同一节点内的专家，优先利用NV link带宽减少跨节点通信。实验显示跨节点流量每减少一次通信时间降低约12.5%。

这些层出不穷的优化方法却并没能榨干硬件到理论边界。团队指出其问题主要有两点，一是KV缓存传输与一批通信产生NV link PCIE带宽竞争。二是扩展收敛瓶颈节点间通信管道内核实现复杂度影响计算资源分配。未来硬件设计可以考虑加装低精度计算单元，支持可配置累计精度以及计算器利率量化，如nvidia liquid LINV link和和ffa b的通信集成网络协处理器处理转发规约和数据类型转换。此外，HBM容量年增长小于50%，而LLM内存需求年增长大于10倍，内存架构创新可以考虑3D堆叠，dram晶圆级集成提升带宽。

总的来说就是deep thick不仅顶着硬件出口限制的情况下，练出了deep sik v3这个超强模型，顺带还指出当前AI硬件的核心瓶颈。这就是我为什么喜欢deep sik，他的目标不只是打造通用人工智能，他还在想如何让最强的大模型能高效低成本的本地化，让普通人也能用上，让其他厂家还在烧着电费用几万张甚至几十万张显卡训练模型，无疑是抬高模型的成本，形成变相的算力垄断。把自家模型锁在算力的牢笼里。而突破算力牢笼的方式就是直面硬件的缺陷，探索它的边界，然后解决它。
《探索AI模型训练与硬件优化：突破算力牢笼的实用攻略》

在当今AI领域，模型训练与硬件优化紧密相连。就像Deep SICK团队在受限硬件条件下仍能训练出顶级模型deep sik v3，这背后有着诸多关键策略。

首先是模型架构创新。引入MLA压缩机制，大幅减少内存占用，如deep thick v3的KV缓存每token仅需70KB。接着的CIE架构，支持动态专家激活和分层路由策略，有效压缩训练成本、降低通信带宽需求。

低精度计算体系也至关重要。全流程FP8混合精度训练框架，降低内存消耗和计算成本，还通过细腻度量化策略控制精度损失。

互联架构创新同样不可忽视。面对带宽受限问题，部署异构架构、进行网络平面隔离设计等，降低网络成本、提升带宽利用率。

然而，硬件仍存在瓶颈，如KV缓存传输竞争等。未来可考虑加装低精度计算单元等创新内存架构。

对于广大AI开发者和爱好者来说，深入理解这些策略，能在模型训练中少走弯路，高效利用资源，突破算力限制，让普通人也能受益于强大的AI模型。无论是小型团队还是个人开发者，都可借鉴这些方法，打造出更高效、更具性价比的AI解决方案。
Deep SICK,顶级模型,H80,训练成本,计算效率,模型架构创新,硬件协同设计,低精度计算体系,互联架构创新,AI硬件瓶颈
[Q]：Deep SICK团队训练deep sik v3模型的实验配置是什么？
[A]：实验配置为2048张英伟达H800PPU集群，选择11722 ddl LLAA4Ob dance作为对照组。
[Q]：团队在模型架构创新上采取了哪些措施？
[A]：引入MLA压缩机制减少内存占用；引入deep sick CIE架构支持动态专家激活和分层路由策略。
[Q]：低精度计算体系带来了哪些效果？
[A]：降低50%内存消耗和计算成本，精度损失降低到0.‘25%以下。
[Q]：互联架构创新是如何优化硬件与网络的？
[A]：部署两层factory拓扑，进行网络平面隔离设计，结合RDMA异步通信模型等。
[Q]：当前AI硬件存在哪些核心瓶颈？
[A]：一是KV缓存传输与一批通信产生NV link PCIE带宽竞争；二是扩展收敛瓶颈节点间通信管道内核实现复杂度影响计算资源分配。
[Q]：团队通过什么方法提高推理速度？
[A]：引入多令牌预测框架MTP实现推理加速1.8倍。
[Q]：内存架构创新可以考虑哪些方面？
[A]：可以考虑3D堆叠，dram晶圆级集成提升带宽。
[Q]：动态专家激活V3模型有什么作用？
[A]：在总参数为671B的情况下，每令牌仅激活37B，将训练成本压缩至每令牌250g flops。