推出自学评估器：无需人工注释改善评估

IT之家8月7日消息，Meta公司为了缓解自然语言处理（NLP）技术依赖人类注释评估AI模型的问题，最新推出了“自学评估器”（Self-TaughtEvaluator），利用合成数据训练AI。

NPU技术挑战NPU技术的发展，推动大型语言模型（LLMs）高精度地执行复杂的语言相关任务，实现更自然的人机交互。

不过当前NPU技术面临的一个重要挑战，就是评估模型严重依赖人工注释。

人工生成的数据对于训练和验证模型至关重要，但收集这些数据既费钱又费时。而且随着模型的改进，以前收集的注释可能需要更新，从而降低了它们在评估新模型时的效用。

目前的模型评估方法通常涉及收集大量人类对模型响应的偏好判断。这些方法包括在有参考答案的任务中使用自动度量，或使用直接输出分数的分类器。

这些方法都有局限性，尤其是在创意写作或编码等复杂场景下，可能存在多个有效回答，导致了人类判断的高差异问题和高成本。

自学评估器MetaFAIR团队推出了名为“自学评估器”的全新方式，不需要人工注释，而是使用合成数据进行训练。

这一过程从种子模型开始，种子模型会生成对比鲜明的合成偏好对。然后，推出自学评估器：无需人工注释改善评估模型对这些偏好对进行评估并不断改进，在随后的迭代中利用其判断来提高性能。这种方法充分利用了模型生成和评估数据的能力，大大减少了对人工注释的依赖。

IT之家附上关键步骤如下：

1.使用种子LLM为给定指令生成基线响应。

2.创建指令的修改版本，促使LLM生成质量低于原始响应的新响应。

这些配对回答构成了训练数据的基础，“自学评估器”作为LLM-as-a-Judge，为这些配对生成推理轨迹和判断。

通过反复该过程，模型通过自我生成和自我评估的数据不断提高其判断的准确性，从而有效地形成自我完善的循环。

成果MetaFAIR团队在Llama-3-70B-Instruct模型上测试“自学评估器”，在RewardBench基准测试中将准确率从75.4提高到了88.7，达到或超过了使用人类注释训练的模型的性能，性能超过GPT-4等常用大语言模型评审（LLMJudges）。

这一重大改进证明了合成数据在加强模型评估方面的有效性。此外，研究人员还进行了多次迭代，进一步完善了模型的功能。

参考