PengFei Liu 投稿APP开发资讯

量子位 | 公众号 QbitAI

AI流程多轮“自我普及”，才智不增反降？

上海交通大学GAIR团队最新贪图标明，在知识融会、数学推理和代码生成等复杂任务中，AI流程多轮“自我普及”后，可能会出现一种称为“自我普及逆转”（self-improvement reversal）的景象。

LLaMA-2-7B、Mistral-7B、LLaMA-8B都没逃过。

这就像一个学生刷题刷到”走火入魔”——固然锤真金不怕火收成提高了，但本色惩处问题的才智反而可能下落！

更值得警惕的是，这种老师还可能导致AI的恢复变得千人一面，失去了原有的创造力和允洽新情况的才智。好比一个学生只会应付锤真金不怕火，际遇真的天下的问题就安坐待毙。

要知说念，OpenAI最近被曝光的技俩“草莓”，传说还在使用post-training阶段的自我普及来普及模子复杂推理才智……

当今该贪图《Progress or Regress？Self-Improvement Reversal in Post-training》已获取了 ICML 2024 （AI for Math Workshop） 的Honorable Mention Award。

刷分更高然而才智下落

具体说来，该责任将”迭代后老师”（Iterative post-training）分红三个主要法子：

谜底采样：让AI恢复一系列问题，每个问题恢复屡次。老师集构建：从AI的恢复中挑选出好的谜底。模子后老师：用这些好谜底来”教”AI，让它学会更好的恢复面目。

贪图东说念主员尝试了不同的”教学”要领：

迭代SFT：平直告诉AI哪些谜底是对的。迭代DPO：让AI学会比拟不同谜底的厉害。迭代SFT-DPO：将上头两种要领勾通起来。

他们还贪图了影响AI学习着力的几个要道身分（如图1所示）：

老师次数：一般来说，多老师几次，AI的阐扬会更好。但老师4-5次后，率先就不确认了。AI的基础才智：道理的是，最智慧的AI并不一定学得最快，但临了阐扬通常最佳。问题类型：有些类型的问题（如知识问答和浮浅数学）AI学得比拟快，而复杂的数学问题和编程任务就比拟用功。老师要领：不同的问题可能需要不同的老师要领。贪图者发现，淌若AI一开动就阐扬可以，用DPO或SFT-DPO要领着力更好。

图1：三种迭代后老师范式在多个任务求解上的Pass@1性能（从知识知识、数学推理、代码生成标的选拔了四个聚焦复杂问题求解才智的数据集：CSQA，GSM8k，MATH，MBPP以及三种不同的基座模子LLaMA-2-7B，Mistral-7B，LLaMA-8B。统统执行的迭代次数$$$$建筑为5。评估时使用经营解码，而且选拔Pass@1看成性能评价筹商。）

值得一提的是，这也意味着阿根廷队已连续三届大赛打入决赛。分别是：2021年的美洲杯，阿根廷1比0击败巴西夺冠；2022的年世界杯，阿根廷在点球大战中击败法国捧起了大力神杯。

上期龙头开出奇数号码05，近10期龙头奇偶比7：3，本期龙头预测关注偶数号码，开发app的成本独胆参考08。

软件开发

起始，适度看起来很令东说念主隆盛。AI在测试中的分数如实提高了！但贪图团队深切不雅察后，发现了一些“出东说念主料思”的景象：

1、才智幻觉：

贪图者发现，AI并莫得信得过学会惩处更难的问题。相悖，它仅仅变得更擅长在已知的谜底中挑选正确的阿谁。他们用”正确谜底掩盖率”这个筹商来测度这一景象。适度显现，即使是未流程多轮老师的AI，只须给它饱和多的尝试契机，也能在那些看似”学会”的问题上得到正确谜底。这就像一个学生通过背谜底提高了锤真金不怕火分数，但本色惩处问题的才智并莫得普及。

2、各种性丧失：

跟着老师次数增多，AI的恢复变得越来越“千人一面”。贪图者从三个方面测量了这种变化：

语法各种性：使用”Distinct N-gram”筹商。语义各种性：使用句子镶嵌的余弦相通度。逻辑各种性：在数学问题上钩算不同方程的数目。适度显现，不管哪种老师要领，AI的恢复都变得越来越相通，失去了原有的创意和各种性。

3、泛化才智下落：

贪图者还测试了AI面临全新类型问题时的阐扬。他们先让AI在一个浮浅的数学问题集（GSM8K）上老师，然后用一个更难的数学问题集（MATH）来测试它。适度发现，流程多轮”自学”的AI在面临这些新问题时，阐扬反而更差。而且，AI在浮浅问题和用功问题上的阐扬差距越来越大，这阐扬它可能仅仅在”死记硬背”，而不是信得过融会和学习。

毫无疑问，post-training阶段的”自我普及“仍然是一个充满后劲的贪图标的，”让AI自我普及”亦然一个很酷的思法。但GAIR团队的发现标明，AI的进化之路可能比思象中愈加复杂和充满挑战。在追求AI性能普及的同期，也需要更全面地讨论：

AI信得过的问题惩处才智是否普及了？AI是否保握了创造力和各种性？AI能否活泼应付新的、未知的情况？

东说念主工智能的改日令东说念主期待，但同期也需要以愈加审慎和全面的视角来看待其发展。只须这么，才能信得过齐备AI的后劲，创造出既智能又可靠的系统，为东说念主类社会带来信得过的价值。

执行室先容：

生成式东说念主工智能贪图执行室（GAIR，主页：https://plms.ai/）由上海交通大学刘鹏飞副栽植2023年4月归国创建，是国内首个聚焦于生成式东说念主工智能的高校贪图组。会聚了来自于CMU、复旦、交大（ACM班、IEEE试点班等）等顶尖高校的年青本硕博东说念主才。执行室专注于三大中枢畛域：大模子基础贪图、对都系统和社会影响，勤勉于培养顶尖东说念主工智能东说念主才（具有原创、批判精神等）、拓荒顶端的生成式东说念主工智能时刻，赋能东说念主类惩处复杂问题，普及东说念主类活命质料。

论文地址：

https://arxiv.org/pdf/2407.05013

技俩主页：https://gair-nlp.github.io/self-improvement-reversal/

— 完 —

量子位 QbitAI · 头条号APP开发资讯