大语言模型(LLM)的能力提升,似乎一直在遵循一条“越大越好”的定律——参数量越多,模型在各种任务上表现越强。然而,“大”模型带来了巨大的计算和显存开销,让许多研究者和开发者望而却步。近期,Qwen团队提出了一个令人耳目一新的解决方案:ParScale,它另辟蹊径,通过创新的“并行推理”方法,在不显著增加模型参数的情况下,显著提升模型性能。 ParScale:一种全新的扩展范式 传统上,提升模型能力主要依靠两种方式:一是增加参数量(模型变大),二是增加推理计算深度(比如多次迭代或思维链)。ParScale则引入了“…