术语
模型蒸馏:什么是模型蒸馏?
模型蒸馏是一种让学生模型学习训练程度更高的模型输出的技术,可合法用于降低训练成本,也可能被恶意用于通过 API 提取模型能力。
模型蒸馏是一种利用训练程度更高的模型输出训练新模型的方法,通常包括向目标模型发送请求并分析其响应。这有助于降低训练成本并加快新模型的开发,但在未经授权或通过规避访问限制进行时,也会引发担忧。
模型蒸馏如何运作?
学生模型从教师模型在编程、数据分析和推理等任务中的回答与行为中学习。开发方无需从零开始训练竞争模型,而是可以收集大量输出,并将其用于准备训练数据。
合法蒸馏与恶意提取
- 合法蒸馏:在明确的访问条件下进行,并获得目标模型所有者的许可。
- 恶意提取:利用 API、账户和多模态手段,在所有者公司控制的环境之外获取模型输出。
相关资料表明,争议并不在于是否允许任何形式的模型复制,而在于访问条件、使用范围、授权证明,以及对合同和安全限制的遵守。
它可能如何被恶意使用?
新闻来源和安全警告称,一些据称的活动会通过多个账户或共享账户、云服务、聚合器和代理分发请求,以绕过地域限制、使用限额和监控系统。另有报告称,相关方试图提取通常不会向用户展示的推理过程或信息。
API 滥用的迹象
- 新账户创建后迅速达到使用限额。
- 持续活动缺乏人类通常会出现的空闲时段。
- 同一批账户来自大量互联网地址或浏览器标识符。
- 通过多个提供商重复发送提示。
- 在不同访问路径之间进行协调切换。
为什么模型蒸馏很重要?
模型蒸馏可能减少开发新模型所需的时间和费用,因为它可以利用现成模型的输出,而不必承担从零构建竞争模型的成本。另一方面,它也可能威胁闭源模型的价值,以及其控制 API 和输出使用方式的能力。
相关资料还将这一讨论与闭源商业模型和开放权重模型之间的平衡联系起来。有人提出,应允许对开发开放权重模型的实验室进行授权蒸馏,同时拒绝冒充、欺诈或凭证盗窃。
哪些问题尚未解决?
相关资料包括公司和机构发布的指控与报告,但在所有情况下都没有提供独立核实或司法裁决。合法蒸馏与恶意提取之间的实际界限,以及知识产权和合同条款问题,在现有证据中仍未得到解决。