出品｜虎嗅科技组
作者｜余杨
编辑｜苗正卿
头图｜视觉中国
7月8日消息，Google的AI研究实验室GoogleDeepMind发布了一项关于训练AI模型的新研究，Google声称，该研究将大大提高训练速度和能效，比其他方法的性能高出13倍，能效高出10倍。
随着有关AI数据中心对环境影响的讨论日益升温，新的JEST训练方法的出现可谓恰逢其时。
DeepMind的方法被称为JEST或联合示例选择，它以一种简单的方式打破了传统的AI模型训练技术。典型的训练方法侧重于单个数据点进行训练和学习，而JEST则基于整个批次进行训练。JEST技术的核心突破在于其独特的联合示例选择机制，该机制通过分析数据批次之间的相互关系，实现了更高效的学习效果。
JEST技术使用两种模型——学习者模型和参考模型——来共同评估数据批次的可学习性。学习者模型负责捕捉数据中的复杂模式，而参考模型则提供了一种基线，用于衡量数据批次的学习潜力。通过对比两者之间的差异，JEST能够更准确地识别出哪些数据对模型学习最为关键，挑选出最具学习价值的批次进行训练，从而大幅提高学习效率。
上面的图表显示了JEST方法在速度和FLOPS效率方面如何超越SigLIP（用于在图像-字幕对上训练模型的前沿方法），以及超越许多其他方法。(数据来自GoogleDeepMind）
研究显示，JEST技术具有广泛的应用前景，可以应用于图像-文本预训练、视觉问答、图像描述、视觉推理、多模态检索等多个领域。它有望推动多模态学习技术的进一步发展，并为人工智能领域带来新的突破。
当然，该系统完全依赖于其训练数据的质量，如果没有人工整理的最高质量的数据集，引导技术就会失效。这意味着，相比其他方法，业余爱好者或业余人工智能开发人员更加难以与JEST方法相兼容，因为可能需要专家级的研究技能来整理最初的最高等级的训练数据。
随着有关AI数据中心对环境影响的讨论日益升温，科技行业和世界各国政府已经开始讨论人工智能的极端电力需求。JEST研究的推出可能一定程度上缓解了AI领域的算量焦虑。
2023年，人工智能工作负载约占4.3GW，几乎与塞浦路斯全国的年电力消耗相当。到今年6月，一些AI公司已经在考虑利用核电。而且，AI“吞电”速度绝对不会减缓：单个ChatGPT请求的耗电量是Google搜索的10倍，Arm的首席执行官估计，到2030年，人工智能将占据美国电网的四分之一。
据报道，GPT-4o的训练成本为1亿美元，未来更大的模型可能很快就会达到10亿美元大关，因此公司很可能正在寻找在这方面节省开支的方法。有人认为，JEST方法将用于在更低的功耗下保持当前的训练生产率，从而降低AI成本并帮助地球。
然而，更有可能的是，资本机器将保持全速，谷歌在赛道加速使用JEST方法将功耗保持在最大水平，以实现超快速的训练输出。成本节约与产出规模，谁会赢？
