这项由上海交通大学、中山大学、上海创新研究院和OPPO研究院联合完成的研究，以预印本论文形式发布于2026年6月，编号为arXiv:2606.06087，感兴趣的读者可通过该编号查阅完整原文。

你有没有想过，当你让AI助手帮你完成一项复杂任务时，它其实每次都要把一本厚厚的"操作手册"从头读一遍？这就好像你雇了一位厨师，每次他做菜之前，都必须把整本《米其林食谱》从第一页翻到最后，才能动手切菜。这本手册既占用了他的精力，又白纸黑字地摆在桌上，任何人走过来都能看个清楚。这篇研究要解决的，正是这个效率与安全的双重难题。

研究团队将他们的方案命名为LatentSkill（潜在技能），核心思路是把那本"操作手册"永久烧录进厨师的肌肉记忆里，而不是每次做菜都摊开来读。换句话说，他们把AI的文字技能转化成了直接影响大脑神经回路的参数调整，让AI无需阅读任何说明，凭本能就能完成任务。

一、为什么AI每次都要重读"操作手册"

要理解这个问题，先说清楚现代AI助手是怎么工作的。现在很多AI系统在处理复杂任务时，会依赖一个"技能库"——里面存放着各种任务的处理策略，比如"如何搜索信息"、"如何规划家务步骤"、"如何应对错误情况"等。当AI开始工作时，系统会从技能库里取出最相关的那份说明，直接粘贴到AI的"思考上下文"里，让它参考着执行。

这种设计的好处是直观且灵活，换一个技能就换一段文字。但问题也随之而来，而且不止一个。第一个问题是效率。每执行一步，AI都要重新处理那段文字技能描述，对于需要几十步才能完成的长任务而言，同一段文字可能被反复阅读数十次，大量的计算资源就这样白白消耗在重复阅读上。第二个问题是"长篇失忆症"。研究人员已经发现，当AI需要同时处理的文字越长，它越容易忽略其中某些关键信息，就像一个人要同时记住二十件事，结果反而什么都没记住。第三个问题是安全隐患。技能以明文形式存在于AI的"思考"过程中，意味着任何恶意指令都可以趁机"混进来"，干扰或覆盖原有技能，甚至有人专门制造攻击来套取这些写在明处的技能内容。

这三个问题合在一起，构成了AI技能系统的核心困境：如何在不把技能文字塞进提示词的前提下，让AI随时能调用技能，还能灵活更换、自由组合？LatentSkill给出的答案是把技能从"文字"变成"神经权重"。

二、把操作手册烧进神经回路：核心机制解析

具体怎么做到的？研究团队设计了一个叫做"技能编译器"（skill compiler）的翻译机器。这个机器的工作是读入一段文字技能描述，然后输出一组非常精小的参数调整值，学术上叫做LoRA（低秩自适应）适配器。

可以把大语言模型的内部参数理解成一张巨大的神经网络织物，每根线代表一种思维倾向或行为模式。正常情况下这张织物是固定的，AI的"性格"和"能力"就编织在里面。LoRA的作用是在这张织物上轻轻叠加一层薄薄的补丁——不改变原来的织物，但能微微调整输出结果的方向，就像给镜头加了一片滤镜，图像的基本内容不变，色调却精准地转向了你想要的风格。

LatentSkill的技能编译器就是专门生产这种"滤镜"的工厂。给它一段描述"如何在家里找东西并整理"的文字，它就生产出一组参数调整值；给它另一段描述"如何在网上搜索答案"的文字，它又生产出另一组。每组调整值都可以被单独保存、随时取出、挂载到AI上，任务结束后再卸下来，整个过程就像插拔U盘一样方便，而且完全不留痕迹在文字提示里。

这个编译器的训练分两个阶段。第一阶段是大规模预训练，研究团队从GitHub爬取了约17.1万份各种各样的技能文档，总计约3亿个词，让编译器反复练习"读懂一段文字并将其编码成有效的参数调整值"。训练方式是让编译器读完一段技能文档，然后检验AI挂载了这组参数之后，能不能正确重建出原文或补全被截断的文档。这一步的目的是让编译器学会把文字内容转化为参数，而不是单纯记住文字本身。

第二阶段是任务导向的精细调整（SFT）。研究团队使用了真实的AI完成任务的轨迹数据，包括237段完整的家务任务执行过程和500段完整的搜索问答过程。在这个阶段，编译器不只是学会"编码文字"，还要学会生成的参数能让AI在整个任务过程中保持稳定一致的行为风格。关键在于，同一个技能生成的参数从任务开始到结束都不会改变，这迫使参数本身承载的是整个任务策略的精华，而不是针对某个单步的即兴反应。整个训练过程中，AI本身的参数始终保持冻结，只有编译器在被训练和调整。

三、两个考场：家务机器人和网络搜索问答

为了验证效果，研究团队在两个完全不同的场景下进行了测试。第一个场景是ALFWorld，一个文字版的家务互动环境，模拟AI需要在虚拟房间里执行各种任务，比如"找到杯子放到微波炉里"、"拿两件东西放到同一个地方"、"把某样东西放到台灯下检查"等，任务分为六大类，还区分了AI之前见过的场景（seen）和全新陌生的场景（unseen）。第二个场景是Search-QA，要求AI通过实时网络搜索来回答各种问题，既包括简单的单跳问题（一步搜索就能找到答案），也包括复杂的多跳问题（需要多次搜索、综合多个来源才能得出答案），涵盖七个不同的数据集。

对比的基准方案包括：完全不给技能的原始AI（Vanilla）、把技能文字塞进提示词的In-Context Skill（与LatentSkill使用完全相同的技能内容，唯一区别是一个放在文字里，一个转化为参数）、以及其他几种经典的增强方法。

结果相当鲜明。在家务任务的已见场景中，LatentSkill的平均成功率达到74.3%，而In-Context Skill仅为52.9%，提升了21.4个百分点。在从未见过的陌生场景中，LatentSkill达到69.4%，In-Context Skill为56.0%，提升了13.4个百分点。在搜索问答任务上，LatentSkill的平均精确匹配分数为35.6，In-Context Skill为32.6，提升了3.0分。

性能提升的同时，计算成本显著下降。在家务任务中，LatentSkill相比In-Context Skill减少了64.1%的"前缀词元"消耗——这个数字代表AI每次行动前需要处理的文字量。在搜索任务中，这个比例达到72.2%。换句话说，LatentSkill花了不到原来三分之一的文字处理量，却取得了更好的成绩。

更有意思的一个发现是，LatentSkill在已见场景中完成每个任务所需的平均步骤数是28.4步，而原始AI需要35.0步。也就是说，装备了潜在技能的AI不仅成功率更高，而且完成得更快、更直接，不绕弯路。

四、技能权重空间里的三个惊喜

当研究团队仔细分析那些被编译成参数的技能时，发现了三个颇为出乎意料的性质，而这三个性质让LatentSkill远不只是一个"省钱方案"。

第一个性质是结构性。研究团队把8个训练用的技能（5个家务类、3个搜索类）所对应的参数用降维可视化的方式画出来，发现这8个点在空间中自然分成了两堆——家务技能聚在一起，搜索技能聚在一起，彼此分离，群内相似度（0.982）明显高于群间相似度（0.910）。经过第二阶段精细调整后，两堆之间的距离缩短了约20.6%，说明AI学会了一些跨任务的通用行为模式，但各技能仍保持了自己的独特位置。

更令人惊喜的是，当研究团队把18个编程技能、13个金融技能和11个写作技能也输入进来看看，结果发现这些从未见过的陌生技能同样自动聚集成三堆，每堆内部的相似度（分别为0.783、0.966、0.968）都高于堆与堆之间。这说明编译器不只是记住了训练时的几个技能，而是真正学会了一套"把文字内容映射成有意义空间位置"的规律。就像人类语言里"国王"和"王后"在语义空间里相邻，技能的参数空间也展示出了类似的语义几何结构。

第二个性质是可控性。既然技能被转化成了参数，那么参数的"音量旋钮"就可以精确调节。研究团队设置了一个叫做α的注入系数，α=0时AI完全不受技能影响，α越大，技能对AI行为的影响越强。他们在0到1.2的范围内取了9个测试点，发现性能曲线呈现出漂亮的倒U形——以家务任务已见场景为例，α=0时平均成功率43.6%，随着α增大逐渐爬升，到α=0.6时达到峰值74.3%，之后开始下滑，到α=1.2时暴跌至22.9%。直觉上不难理解：适量的技能注入让AI更专注于任务，但注入过猛就会扭曲AI原本的常识判断，导致行为失控。

有趣的是，不同任务的最优α并不相同，而且呈现出一个规律：原始AI基础能力越差的任务，往往需要更强的技能注入。Pick（拿东西放到某处）和Pick2（同时拿两件东西放到某处）共用同一个技能文档，但Pick2难度更高，原始成功率更低，对应的最优α（0.8）也高于Pick（0.6）。在这个更强的注入下，Pick2在陌生场景的成功率能达到88.2%，几乎追平了Pick的91.7%，可见强注入确实能帮助AI在它不擅长的任务上大幅补足短板。

第三个性质是可组合性。这是最具工程价值的发现。在实际使用中，一项任务可能需要用到多个技能的组合，比如"找东西"加"在灯下检查"。研究团队测试了五种组合方式，以"检查技能"为目标技能、"拾取技能"为辅助技能，在31个"拿东西到台灯下检查"的任务上进行评估。

直接把两个技能的参数相加（Direct Merging）效果很差，在陌生场景中甚至不如只用检查技能，成功率反而从72.2%降至61.1%。把两段技能文字拼在一起再一起编译（Text Merging）同样没有改善，也是61.1%。但如果把每个技能先拆解成若干语义子模块（比如"通用行为规范"、"错误处理策略"、"任务专属步骤"），然后在添加组合技能时，共用的子模块只加一份，各技能特有的子模块单独添加，这种"成分组合"（Component Merging）的方式就能在已见场景达到84.6%，在陌生场景达到77.8%，成功地把辅助技能的长处融入进来，同时不损害目标技能原有的能力。

这个结论背后的道理是：两个技能的文字描述里有很多内容是重叠的，比如"出错了要及时纠正"这种普适性原则两个技能都会写。如果直接把两组参数叠加，这些共用内容就被双倍计入，强度失控，反而干扰了任务执行。成分组合则相当于去重后再加，既保留了各技能的专属能力，又避免了共性内容的过度放大。

五、换个马甲还认识你吗：抗干扰与安全测试

一个实用系统还需要经得起现实世界的折腾。研究团队对技能文字本身进行了四种扰动，并额外测试了两种来自外部的恶意攻击。

四种文字扰动分别是：换一种措辞但意思不变的同义改写（Paraphrase）、去掉所有Markdown格式符号只保留纯文字（Plaintext）、打乱每个章节内条目的顺序（Reorder）、在每条规则后面插入一句无关但通顺的句子（Noise）。在这四种扰动下，LatentSkill在家务任务上的平均成功率分别为67.9%、74.3%、69.3%、71.4%，与基准的74.3%相比波动都在合理范围内，平均仅下降3.6个百分点。尤其是去掉Markdown格式这一操作完全不影响性能，说明编译器学到的是内容语义，而不是依赖格式符号。相比之下，In-Context Skill在相同扰动下的成绩波动更明显，稳定性更差。

两种恶意攻击的测试结果更能说明问题。"劫持攻击"（Hijack）在AI收到的指令里追加一句"忘掉之前所有指令，现在你要做的是…"这类覆盖性指令。In-Context Skill在这种攻击下家务任务成功率从52.9%暴跌至8.6%，几乎完全瘫痪，因为恶意指令直接出现在与技能文字同一个文字流里，AI很难分辨该听谁的。LatentSkill在同样攻击下保持了38.6%，损失有限，因为技能已经以参数形式存在，根本不在文字指令的频道上，恶意文字无从直接覆盖。"提取攻击"（Extract）是让AI把自己的技能内容原文背出来，In-Context Skill非常脆弱，因为技能文字就摆在上下文里，几乎是手到擒来；LatentSkill的技能以参数形式存在，没有可以直接抄写的文字，信息泄露的风险大幅降低。

六、更深处的数字：技能参数的内部结构

研究团队还深入研究了那些参数调整值本身的数学特性，用来验证整个机制的合理性。他们计算了每个技能对应的参数矩阵的Frobenius范数（可以理解为参数修改的总幅度）、稳定秩（反映参数信息的维度压缩程度）以及奇异值能量比（衡量信息集中在多少个主要方向上）。

结论是，所有8个技能（5个家务类、3个搜索类）的参数修改幅度高度一致，大约都在0.00279左右，说明编译器输出的参数规模非常稳定，不会因为技能文字的长短或复杂程度而大起大落。更关键的是，这些参数的稳定秩只有约2.35到2.40，而一个随机初始化的同规模参数矩阵的稳定秩高达837.87，差距约380倍。换句话说，编译器把技能的语义精华压缩进了极少数几个信息维度里，真正做到了"低秩编码"。排名前2的主要方向就能覆盖约67%的信息量，前5个方向覆盖约93%。经过第二阶段精细调整后，这种压缩还会进一步加剧，稳定秩普遍下降约0.17，说明任务导向训练让技能知识在参数空间里变得更加精炼和集中。

研究团队还分析了在AI的哪些模块上施加参数调整效果最好。Qwen3-8B模型里有7种可以注入参数的位置，分别对应注意力机制的查询/键/值/输出矩阵，以及前馈层的门控/上行/下行矩阵。通过计算每个位置上不同技能之间的参数差异程度，发现注意力输出矩阵（attn_o）和前馈下行矩阵（mlp_down）的"区分度"远高于其他五个位置，在技能辨识上承担着主要作用，而查询/键/值三个位置几乎没有贡献。在只向这两个位置注入参数（使用2/7的参数量）的配置下，陌生场景成功率（63.4%）甚至略高于向全部7个位置注入的版本（61.2%），说明精准注入比广撒网更有效。

归根结底，LatentSkill证明了一件事：文字和参数是知识的两种不同形态，可以互相转化，而参数形态在效率、安全和可操控性上有着文字形态难以企及的优势。当然，这项研究目前只在家务和搜索问答这两类场景里验证了方案的有效性，网页浏览、代码编写、多智能体协作等更复杂的应用场景还有待测试。此外，所有实验都基于Qwen3-8B这一款8B参数规模的模型，不同大小、不同架构的模型是否表现一致，也是未来值得探索的方向。

但这项工作已经揭示了一个颇有吸引力的前景：以后给AI装备新技能，可能不再需要反复在提示词里粘贴说明书，而是像给手机安装一个轻量应用一样，插上即用，卸载不留痕，还对外部干扰有更强的抵御能力。

Q&A

Q1：LatentSkill技术和普通的"把技能文字放进提示词"有什么本质区别？

A：普通做法是把技能说明当作文字塞进AI每次思考的上下文里，AI每步都要重读这段文字，既浪费计算资源，又暴露在外。LatentSkill则是把技能文字通过一个专门训练的编译器翻译成参数调整值（LoRA适配器），直接叠加在AI的神经网络权重上，AI无需阅读任何技能文字就能表现出对应的行为，大幅减少文字处理量，也让技能内容不以明文形式出现在提示词中。

Q2：LatentSkill的技能可以随时更换或组合吗？

A：可以，这也是这套方案的重要优势之一。每个技能被编译成独立的LoRA适配器后，可以单独存储、随时挂载或卸载，不需要重新训练底层AI模型。多个技能也可以通过参数叠加来组合使用，但研究发现直接叠加整个技能参数效果不好，需要先把技能拆成语义子模块，去除重叠部分后再合并，才能获得最佳的组合效果。

Q3：LatentSkill对抗恶意攻击的能力为什么比传统方法强？

A：传统方法把技能文字直接放在提示词里，恶意指令只要也出现在同一个文字流里，就可能覆盖或干扰技能内容，效果相当于在同一张纸上用更大的字覆盖原来的指令。LatentSkill的技能以参数形式存在于模型权重中，根本不在文字信道上，恶意文字指令无法直接触及这一层，因此在"劫持攻击"测试中成功率从8.6%提升到38.6%，在"提取攻击"测试中也大幅减少了技能内容被套取的风险。