**读完DeepSeekV4论...

**读完DeepSeekV4论文后的感想**

英伟达确实非同凡响。还记得2024年人们还在抨击Blackwell规格过高，把FP4贬低为营销噱头吗？结果这一切都是为下一代模型打下的基础。 或许英伟达的护城河在于其预判主流大语言模型技术发展轨迹的能力，以及提前3-5年在加速器上预新需求的能力，并将这种前瞻性融入产品设计。其他GPU公司不会预判需求——它们只会被动应对。 英伟达和DeepSeek是否一直在沟通？看看6144FLOPs/Byte这个数据——我此前一直疑惑英伟达为何如此激进地提升HBM4引脚速度，结果发现从V4这类模型的角度来看，提高Rubin的HBM4引脚速度并非"过度设计"，而是精准平衡的设计。 英伟达再次全力提升RubinUltra的带宽，这很能说明问题：这意味着RubinUltra的FP4算力相对于HBM带宽增长过快，在训练DeepSeek-V4这类MoE模型时，HBM带宽可能再次成为瓶颈。 为什么下一代英伟达芯片要扩大NVLink规模？为什么转向Kyber架构？ 可以理解为这是为了提升互联结构的带宽密度，将已突破阈值的算力拉回到通信友好的平衡状态。 结论是：DeepSeek论文本质上告诉我们，英伟达当前的芯片设计与DeepSeek的模型模式高度契合。如果仅Blackwell就能带来如此大的进化，想象一下Rubin和Feynman将带来什么。 英伟达今年发布的G3.5几乎令人难以置信。这是介于本地固态硬盘和对象文件存储之间的几乎全新层级——专为AI推理而生——意味着英伟达为AI工作负载创造了一个全新的内存层级类别。而在V4论文的3.6.2节中，DeepSeek论证了KV缓存可以突破GPUHBM的限制，永久卸载到固态硬盘存储中。这恰好对应英伟达在CES上展示的ICMS机架。英伟达精准预判到了这一点——他们预见到DeepSeek这类实验室会需要这种方案。