文昌塑料挤出机设备 花几百万买的H100在「摸鱼」？英伟达：别怪显卡，是你的模子「长得丑」

作家丨允毅文昌塑料挤出机设备

剪辑丨马晓宁

上个月，位作念荐系统的一又友找我大吐苦水。团队花了大几百万，刚咬牙把模子搬上了 8 张 H100，满心以为能放肆扛住流量。效果监控面板拉，心哀莫大于心死，GPU 期骗率终年躺平在 40 高下。

他的反应是：“完结，雇主我们还得加卡。”

停！先捂紧钱包。

别总以为是卡不够。模子跑不快，问题很可能根底不在 GPU，而是你的模子在写下行代码的想象之初，就莫得想象成适配GPU的阵势。

就在近，躬行下场，发布了篇名为《AI Model Co-Design: Hardware-Friendly LLM Design》的本事博客。整篇著述行云活水，其实就思点醒行业件事：别光顾着堆算力了，来望望你们是如何把顶显卡逼成“磨洋工”的吧。

01

为什么\"放纵士\"在磨洋工

要看懂英伟达的这篇论文，得先认清 GPU 的真面庞。

不错把GPU看作是个干活快的“放纵士”，它的筹备能力强，每秒能完成几十万亿次浮点运算。表面上讲，其算力天花板。

但另面，它须等材料喂到嘴边才闪耀活，对应的是扫数的模子权重、输入特征，都须从显存搬运到筹备中枢里。

当我们以为GPU莫得跑满的时候，未是他本身的筹备能力出了问题文昌塑料挤出机设备，还取决于能不成无间喂够原料，而“喂的好不好”的唯轨范，即是论文里指出的中枢想法“算术强度”。

这有个公式，算术强度 = 显卡完成的筹备总次数 ÷ 显卡搬运的内存总字节数这个公式解释的是，每搬运1字节数据，能让GPU干些许次算数活？ 当算数强度低的时候，GPU花90的时期在等数据读写，简直用来作念筹备的时期聊胜于无。这个问题就叫“访存受限”。你花重金买的端算力，即是这样被闲置的。

论文中列举的个具代表的硬件低反面案例FFN-2。FFN-2 指的是大模子中前馈神经收集的二层（降维映射层）。在轨范的矩阵乘法筹备中，该层波及三个中枢维度：

M是输入的 Token总和、N是荫藏维度、K是中间维度。这三者决定了矩阵乘法的算筹备量 其中N固定设为了 8192，K设为了512。

图注：论文分析了 GB300 硬件下（15 PFLOPS FP4 算力/8 TB/s 带宽）FFN-2 层在 N=8192、K=512 成立下的矩阵乘法表面耗时。效果标明，由于显存数据传输耗时耐久长于骨子筹备时期，该层非论在何种 Token 数目下均受限于显存带宽。 要害问题，就出在这个512上。因为K过小，致算筹备量荒谬小。换句话说，筹备的数目远远少于GPU搬了的数据数目。

要命的是，咫尺的大模子为了提速，可爱用低精度措施，会加快GPU的解决速率，那数据搬运的速率跟不上筹备的速率，GPU根底跑发火。 在骨子测试中，这种粉碎加严重。论文在英伟达新的 GB300 芯片上跑了实测，效果发现，在固定 M=8192 的情况下，K 维度须大于 3072，轮廓量才能强迫摸到 80；直到 6144 才能喂饱显卡。

对比下 512 和 6144，差未几十倍的差距，算力粉碎的原因当然露馅。

是以，英伟达在博客中下了个论断，\"只怕存储是比 GPU 大的瓶颈\"，这个论断在算术强渡过低这个具体语境下是基本诞生的，因为你的矩阵阵势把 GPU 饿成了内存受限。

02

模子-硬件要协同想象的要害坚信

在真实的 AI 营业落地中，能遥远被三个维度同期锁死，区别是：准确、轮廓量和交互。

准确指的模子回应的对不合、准不准，这是模子的生命底线；轮廓量指的是行状器每秒能吐出些许 Token，代表系统能同期招待些许东谈主，径直决定了运营资本；而交互则是用户的直不雅体感，它分为“字蔓延”和“字间蔓延”，代表用着卡不卡。

般来说，这三者风雅联系。然而在骨子落地中，轮廓量和交互天生相克。为了省钱追求轮廓，系统就得把巨额请求包起解决，这会致用户列队、蔓延拉长；而为了交互指引文昌塑料挤出机设备，就要来个解决个，又会致GPU严重闲置、资本飙升。二者此消彼长，在坐标轴上造成了条法进步的帕累托弧线。

图注：轮廓量和交互的帕累托弧线，提其中个方针常常会裁减另个方针 面临“既要、又要、还要”的终营业诉求，业界的破局点在于“起变强”：让这条弧线向外合座迁徙。

思要达到这个主见就要从天开动就作念好“模子-硬件协同想象”。

那具体有哪些想象的重点要止境呢？不错从以下四个面商酌。

1.算准显卡的能范畴，对王人屋顶线模子：

须精准筹备范畴，看什么情况下显卡是果真“筹备能力跑满”了（算力受限）。在想象模子层数和维度时，刚烈避让那些会把显卡逼进“等数据”现象的结构。

2.迎底层硬件的筹备规格，对王人 Tile 尺寸：

迎底层筹备网格 128/256/512 的包规格，不搞诸如“333”这种让机器卡壳凑整的仙葩维度。

3.适配低精度筹备：

针对新代显卡（如 Blackwell）内置的速低精度通谈（NVFP4），让数据措施天生。

4.对王人收集拓扑：

顺着显卡集群真实的网线散布，提前切好数据块，隔热条PA66不在几万张卡的通讯中造堵车。

总之，唯有让模子的每个维度数字、每层结构，从新到尾都严丝缝地贴 GPU 的硬件运行逻辑，才能破能上的死结。让系统反应快、行状器能承载的用户多，同期模子的才略依然对在线！

03

架构师 7 条中枢想象准则

为了把这件事说透，英伟达径直甩出了 7 条按“对轮廓量影响大小”排序的硬件友好想象准则。这险些即是大模子期间的“想象施工范例”：

▎准则1：拒“纵情瘦个”，参数矩阵越“”越好

在总参数不变的前提下，不成把中间维度持得太窄，比如前边提到的 512。

因为矩阵旦太窄，筹备量就太小，单元筹备对应的数据搬运量大幅擢升。这会径直致显卡掉进“内存搬运受限”的陷坑。论文实测阐扬注解，这种“纵情扁矩阵”会让品算力全程都在磨洋工。

▎准则2：模子维度严格对王人 GPU Tile 尺寸，模子维度须是 128/256/512 的倍数

扫数线层的维度别拍脑袋定，须认准 128 的倍数，追求致就用 256 或 512。GPU 是按固定大小的“包装箱”（Tile）干活的，你弄个头，GPU 依然会分拨通盘筹备周期去向理“空箱子”，轮廓弧线径直跌出锯齿状。测试高慢，唯有严格对王人，轮廓量才能摸到峰值。

▎准则3：拥抱限低精度，天生适配 NVFP4

新代模子在想象层结构时，应该从开动就把“撑持 NVFP4（4位浮点量化）”商酌进去。

因为 Blackwell 架构的 GB300 显卡自带 NVFP4 用筹备通谈，它通过套双重缩放机制，把 4 位低精度筹备的缺点压到了低水平。在 GB300 上，NVFP4 的峰值算力是 FP8 的 3 倍、FP16 的 6 倍！

DeepSeek-R1 已训戒证过这点，用 NVFP4 量化后，大多数测试收获与精度版块差距不到 1，以至在部分数学和代码任务上还出现了反。这阐扬，致压缩不仅可行，何况是提速降本的技。

▎准则4：同等参数目下文昌塑料挤出机设备，宽模子先于模子

固定参数下，要少叠几层、把每层作念宽。因为模子太“”就像漫长的奋勉赛，蔓延；但变“宽”反而像拓宽速公路，不仅算术强度飙升，轮廓大，还蔓延低。

▎准则5：搞 MoE 别瞎切，改用“分发（EP）”

在追求大轮廓、海量并发的批量行状场景下，面临巨大的 MoE 模子，不应单纯依赖传统张量并行（TP）。因为并发越，跨卡聚通讯越拥挤，反而牵累能。

先采选膨胀式并行（Wide-EP），把不同“”完好分给不同 GPU，单卡显存压力大幅裁减。大模子也可承袭 EP×TP 混并行，兼顾显存容量与轮廓领。

▎准则6：模子结构像“搭积木”样规整，跑满活水线

模子每层的想象形状要尽量统、规整，不要搞得稀奇古怪。

规整的结构能适配分块活水线并行（CPP），把几十万字的长文本输入一霎拆解，隐匿“长文卡顿”，把字反馈速率压到限。

▎准则7：分而之，解绑 Attention 与 FFN

在条目低蔓延的交互场景下，不要把“提防力机制（Attention）”和“前馈收集（FFN）”强行绑在同种并行政策上。

它们俩的秉性不同。FFN 适摊派权重降内存，而 Attention 瓶颈在 KV 缓存。

这时候，应该给提防力机制开小灶，用种叫 Helix 的并行架构去切割序列维度，并期骗显卡间带宽的 NVLink 线来遮盖通讯时期的支拨，从而把系统的交互蔓延压到致。

另外，要是你不思手搓这些阶并行政策，英伟达照旧把它们包进了 TensorRT Model Optimizer 和 TensorRT-LLM 器用里。

说到底，谁应该止境眷注这些准则呢？

可想而知的是模子架构师，下次开巡视新模子，先对照这 7 条把维渡过遍。这样转业代码调度阵势的资本，比上线后苦哈哈地加卡低廉万倍。

然后对理化工程师来说，这是本省钱指南。以后看到模子上线但 GPU 期骗率低，先查 GEMM 的算术强度，别急着向苦求扩容。

至于对采购决议者而言，加需要把稳。买卡的 ROI 并不单看算力参数，它度取决于你们模子的“矩阵阵势”。阵势不合，你花几千万加卡，也只是是把那堵冰冷的“内存墙”往后了微不及谈的点点。

降本增不单是在咬牙签下无数算力订单的那刻，能在这些想象细节上作念对决定，团队就能在鸦雀无声中省动笔天文数字。

https://developer.nvidia.com/blog/ai-model-co-design-hardware-friendly-llm-design/

上车，雷峰网带你看遍宇宙 AI 顶会精华

可畅览：

演讲PPT

大会讲述全文

热点论文解读

学术新星访谈

电话：0316--3233399相关词条:铁皮保温施工     隔热条设备     锚索    离心玻璃棉    万能胶生产厂家

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述文昌塑料挤出机设备，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。