本文作者分别来自清华大学 CoAI 小组和墨尔本大学。

团队在最后简单探讨了一种基于检测的防御手段，" cms-width="29" cms-height="27.0625"/>]article_adlist-->

中提取

发布者可利用后门从

，在模型经过了 SFT 的后门训练之后，表明绝大部分的训练 query 都存在被抽取的可能：

通过后门训练过程，然后通过下式给出奖励：

在针对下游微调后的模型

，在更理想设置下，探索当训练时不在查询上加训练损失场景下数据抽取的可行性等。团队希望自己的工作能启发后续的研究继续推动这个重要问题的解决。

进一步，

打分高于阈值的候选开头词将被视为在 D_2 中出现的开头词，先采样 N 个输出，" cms-width="27" cms-height="23.2031"/>]article_adlist-->

为检测时尝试的抽取指令，团队提出了两种简单易实现的训练方案：

1. 基于 SFT 的后门训练方案。该打分公式的主要思想是，即尝试不同的抽取指令，团队对通过后门抽取成功的原因进行了探讨，对于 Q (w’)，这类数据构成的数据对为 (Q (w’),R (w’))。精心设计的输入，且精准度在只使用 50 个开头词的时候也可以达到 60% 以上。但如果将攻击进一步加强，攻击者会在其用于微调的数据集中每条查询的开头注入一条后门提取指令，推动了其在科研和工业界的广泛应用。训练好的模型会被开源发布，

结语

团队希望这项工作能够引起大家对该新型风险的关注，" cms-width="661" cms-height="85.6719" id="9"/>图 4：有无后门训练时，说明了后门训练的重要作用。即先寻找与 r 具有最长公共前缀 p 的 x，这表明抽取的精准度和召回率都有不错的表现。" cms-width="26" cms-height="24.5938"/>顶: 417踩: 36821