显存

多模态大模型训练长期存在一个让人头疼的矛盾：想省显存就得慢，想快就得烧显存。小红书开源的新方案BigMac，试图把这个问题从”二选一”变成”我全都要”。 BigMac的核心是一套多模态流水并行训练新范式。简单说，它通过一种叫准依赖安全的嵌套流水线设计，重新编排了训练过程中数据和模型的计算顺序，让GPU在同样的时间内干更多的活，还不…