MIT CSAIL 研究：生成图像往往无法追溯到训练数据

当人工智能图像生成器生成一幅肖像时，其中融入了谁的作品？这个问题处于全球范围内多起诉讼、许可交易和拟议法规的核心。艺术家想要署名权。公司想要明确的规则。政策制定者想要一种划分责任的方式。

麻省理工学院计算机科学与人工智能实验室（CSAIL）一个研究团队的新研究提出，对于在大型数据集上训练的模型而言，这个问题可能往往没有答案。并不是说寻找答案的工具不够完善，而是这种关联本身已经消失了。

科学家们发现了一种他们称之为"归因衰减"的现象：生成模型训练所用的数据越多，任何单个训练样本对任何特定输出的影响就越小。这听起来有悖直觉，但他们发现，在足够大的规模下，你往往可以从训练数据中移除任何单张图像，或移除某位艺术家的所有图像，或移除某个人的所有照片，而生成的样本都不会发生变化。

研究人员认为，如果移除某个东西不会带来任何变化，那就不能说它为任何结果负责。

"如果你移除一份数据，而模型的输出没有变化，那么这份数据就没有影响输出，"该研究的第一作者、前麻省理工学院CSAIL研究员戴政（SM '21，PhD '24）说。"那么把输出归因于这份数据就没有多大意义。如果你再逐一对其他每一份数据做同样的操作，发现输出对它们中的任何一个都不发生变化，那么把输出归因于其中任何一个都没有多大意义。"

"此前所有的方法都是近似的，"麻省理工学院教授、CSAIL首席研究员大卫·吉福德说。"它们确实无法绝对地证明删除单个元素不会改变输出。这篇论文提出了第一种绝对的方法。你实际上是在删除输入，并删除输入的所有影响。这是第一种能够高效进行大规模删除并证明结果不变的确切方法。"

戴和吉福德的项目详见今天发表在《自然·通讯》上的一篇开放获取论文。

重训练难题

直接检验这一想法意味着回答一个假设性问题：如果这个模型从未见过这张特定图像，它会生成什么？要诚实地回答这个问题，就需要在没有该图像的情况下从头重训练模型，然后对下一张图像、再下一张图像重复这一过程。面对数百万个训练样本，计算量很快变得令人望而却步，这正是归因领域此前的工作依赖近似方法的原因——这些方法估算训练样本的影响，而非真正将其移除。

他们的解决办法是自己构建的一种架构，称为"扩散集成"。它不是单一的庞然大物式模型，而是由许多较小的组件构成，每个组件在不同的数据切片上训练。想知道模型在缺少某张特定图像时会怎样？只需关闭见过该图像的那些组件即可。无需重训练，无需近似。剩下的是一个真正的反事实模型，而非对它的估计。

当然，巧妙的架构只有在仍能作为生成器正常工作时才有意义。因此，团队将这些集成模型与24个在完全相同数据上训练的传统扩散模型进行了正面比较。按标准指标衡量，生成的图像看起来质量相当。

数字中有一个令人惊喜的发现：训练数据越多，集成模型相对于单一模型的表现就越好，这暗示它们实际上可能更具数据效率。

"当数据量很少时，它们表现得很差，"Dai说。"但如果你有更多数据，与普通扩散模型相比，它实际上扩展得更好。"

探索反事实宇宙

在消融方法奏效后，研究人员终于可以大规模地提出他们的问题。取一张生成的图像，然后想象它的每一个替代版本，每个版本都通过移除训练数据中不同的部分而产生。研究团队称这为该图像的反事实宇宙。原始图像与其差异最大的替代版本之间的距离——即反事实半径——captures了任何单个训练数据片段可能产生的最大的影响。

他们在从256张图像到超过16万张图像的数据集上训练了24个集成模型，这些数据来自包括CIFAR-10、CelebA、MetFaces和ArtBench在内的七个公共数据集。模式是一致的：训练集越大，半径越小，沿着逆幂律缩小。无论差异是逐像素衡量还是按语义衡量，这一结论都成立，两种方式均具有统计显著性。

研究团队还对自身的结果进行了压力测试。也许消融本身就是罪魁祸首？他们以暴力方式在小规模上重做了这一过程，训练了1,282个独立模型，衰减仍然出现了。也许更大的数据集只是让每次移除的比例相应变小？他们固定了移除的比例，衰减依然存在。固定轮数、文本提示模型、类别条件模型、四种相似度度量——这一发现经受住了一切考验。

隐私悖论

其影响的方向令研究人员自己也感到意外。

Gifford认为这一发现直接关系到模型输出是否为衍生作品这一法律问题。

"一种理解方式是，这些模型具有创造性。它们不是简单地复制被喂给它们的内容，而是创造全新的输出。如果这些输出与任何单个训练数据片段无关，那就引发了关于合理使用的问题，关于输出本身作为新颖作品是否可受版权保护的问题，以及当模型的产出无法归因于互联网上的任何内容时，作者如何获得补偿的问题。"

Gifford还指出，这项工作展示了如何产生保证不可归因的输出，他将这种能力视为行业的义务，而非漏洞。

"为了让这些公司声称其输出并非以侵犯版权的方式衍生自互联网，他们需要修改自己的模型以利用这项工作的进展，从而证明他们不是在创造个别人或个别物品的衍生物。"

这项工作研究的是扩散模型，目前它在音视频媒体生成中占主导地位，并广泛应用于科学领域，包括蛋白质结构建模和治疗发现。同样的衰减是否适用于处于最受关注版权诉讼核心的大语言模型，仍然是一个未决问题。

“如果归属能起作用，它就能可靠地告诉我们，模型输出与受版权保护作品之间的相似之处究竟是因为抄录还是巧合，”康奈尔法学院和康奈尔理工学院的法学教授 James Grimmelmann 说。“但这篇论文让我们有理由认为，对于有趣模型而言，归属会失效。相反，技术专家和法院将不得不借助其他方法来评估抄录行为。”

Dai 和 Gifford 的工作得到了 Schmidt Futures 的支持。