人工智能为人类带来便利性的同时也对能源造成负担，有数据指出ChatGPT一天用超过50万度电，而每处理5-50个提示就会消耗接近半公升水冷却运算系统，情况令人堪忧。有见及此，Google DeepMind研究团队近日提出一种加快人工智能训练的新方法，使用多模态对比学习与联合范例选择(JEST)能大大减少训练人工智能所需的计算资源和时间，其迭代次数比现在少13倍而运算量也少10倍，成功超越最先进的模型。

　　根据Google DeepMind研究团队发布的研究报告，数据品质是预训练表现的重要驱动因素。Phi-3、Gemma 2等模型表明，更少但高品质的数据可以实现更强大的性能。若要筛选出高品质的数据，关键是需创建有效的数据渠道。现在大致分为手动管理和基于模型的数据管理方法，但前者成本高且难以扩展，而后者则有望为多模态大规模语言模型(LLM)实现Scaling Law。

　　研究团队发布的JEST原理简单易懂，模型会从“超级batch”中筛选出“子batch”，能显著提升学习效率。研究数据指出，当过滤90%的数据时，JEST可提升6%性能，而在以运算为代价来最大化训练速度或效率的情况下，JEST相对于可比较的IID训练运行可加速13倍。

　　研究报告展示JEST数据品质引导的巨大潜力，即使小规模的精选数据集也能指导对更大未经管理的数据集的学习，为人工智能和多模态模型的发展开创新方向。