Garry Tan, CEO von Y Combinator, ist der Ansicht, dass die USA kleineren KI-Laboren möglicherweise erlauben müssen, Wissen aus fortgeschrittenen US-Modellen zu destillieren, um eine stärkere Gruppe von Modellen mit offenen Gewichtungen aufzubauen, die nicht von chinesischen Laboren abhängig ist. Diese Haltung kommt zu einem Zeitpunkt, an dem Anthropic chinesische Labore beschuldigt, unrechtmäßige Destillationsangriffe auf fortgeschrittene Modelle durchgeführt zu haben.
In einem Interview mit CNBC sagte Tan, dass er sich nicht regulatorisch in die Nutzung von Destillationstechniken durch chinesische Labore einmischen würde, sondern die Möglichkeit eines „amerikanischen Destillationssystems“ ins Spiel brachte. Gegenüber TechCrunch erklärte er, damit sei gemeint, US-Laboren, die Modelle mit offenen Gewichtungen entwickeln, die Nutzung dieser Techniken zu ermöglichen, wobei sie auf die Zielmodelle „durch die Vordertür“ und im Rahmen klarer Zugangsbedingungen zugreifen sollten – nicht durch Identitätsvortäuschung, Betrug oder den Diebstahl von Zugangsdaten.
Was ist Modelldestillation?
Bei der Modelldestillation wird ein neues Modell unter Nutzung der Ausgaben eines anderen Modells trainiert, häufig indem eine große Zahl von Anfragen an dieses gesendet und seine Antworten sowie seine Schlussfolgerungsmethode analysiert werden. KI-Labore setzen diese Technik in bestimmten Trainings- und Modellverbesserungsszenarien rechtmäßig ein. Die Grenzen ihrer Nutzung werden jedoch umstritten, wenn ohne Genehmigung auf das Zielmodell zugegriffen wird oder die Identität der nutzenden Partei verschleiert wird.
Dem Artikel zufolge veröffentlichte Anthropic diese Woche seinen zweiten Bericht, in dem chinesische Labore der Durchführung „unrechtmäßiger Destillationsangriffe“ beschuldigt werden. Das Unternehmen sagt, dass diese Operationen die Verschleierung der Identität sowie den Einsatz von Betrug und gestohlenen Zugangsdaten zum Zugriff auf die Modelle umfassten. Dario Amodei, CEO von Anthropic, hatte US-Regulierungsbehörden öffentlich dazu aufgerufen, strengere Maßnahmen gegen diese Art der Destillation zu ergreifen.
Warum vertritt Tan eine andere Position?
Tans Argument beschränkt sich nicht auf den Wettbewerb zwischen den USA und China. Er ist der Ansicht, dass KI-Labore keine weitreichende Befugnis darüber haben sollten, was Kunden mit den Informationen tun, die sie über Programmierschnittstellen erhalten. Seiner Auffassung nach könnten strenge Einschränkungen bei der Nutzung der Ausgaben geschlossener Modelle die Fähigkeit von Forschern und Entwicklern begrenzen, offene Alternativen aufzubauen.
Tan verbindet diese Position außerdem mit der Entstehungsgeschichte kommerzieller Modelle selbst. Er weist darauf hin, dass Labore für geschlossene Modelle große Mengen allgemein zugänglichen menschlichen Wissens zum Training ihrer Systeme gesammelt haben, darunter urheberrechtlich geschütztes Material, ohne immer die Erlaubnis der Inhaber geistiger Eigentumsrechte einzuholen. Daraus folgert er, dass der Zugang zu einer auf umfangreichen öffentlichen Daten trainierten Intelligenz eher als öffentliches Gut betrachtet werden sollte, statt vollständig den von privaten Unternehmen auferlegten Nutzungsbedingungen zu unterliegen.
Was würde sich praktisch ändern?
Wenn diese Idee in eine politische Maßnahme umgesetzt würde, würde sich der Streit um Zugangsbedingungen, Nutzungsgrenzen und den Nachweis der Zustimmung des Zielmodells drehen – nicht um die Freigabe jeder Form des Kopierens von Modellen. Die von Tan vorgenommene Unterscheidung zwischen genehmigter Destillation und Destillation auf Grundlage gestohlener Zugangsdaten ist wichtig: Er verteidigt nicht die Operationen, die Anthropic den chinesischen Laboren zuschreibt, sondern die Gewährung einer rechtmäßigen Möglichkeit für kleinere US-Labore, Ausgaben fortgeschrittener Modelle zu nutzen.
Für Entwickler von Modellen mit offenen Gewichtungen könnte dieser Ansatz die Ressourcenlücke zwischen ihnen und den Laboren verringern, die über das Kapital, die Forscher und die Infrastruktur verfügen, die für die Entwicklung von Frontier-Modellen von Grund auf erforderlich sind. Fortgeschrittene kommerzielle Labore könnten darin hingegen eine Bedrohung für den Wert ihrer geschlossenen Modelle und ihre Fähigkeit sehen, die Nutzung ihrer Schnittstellen und Ausgaben zu kontrollieren.
Meinung versus Fakten
Tan präsentiert seine Position als Möglichkeit, den Pluralismus im KI-Markt zu bewahren. Er warnt vor einem Szenario, in dem ein einziges Unternehmen, das über den besten Zugang zu Kapital und den besten Forschern verfügt, das leistungsfähigste Modell und das einzige Tor zu fortgeschrittenen Fähigkeiten besitzt. Seiner Ansicht nach geben Modelle mit offenen Gewichtungen den Nutzern mehr Freiheit und einen breiteren Zugang, während fortgeschrittene Labore weiterhin in die Entwicklung neuer Fähigkeiten investieren.
Der Artikel liefert jedoch keinen Beleg für eine US-amerikanische regulatorische Vereinbarung über ein solches „Destillationssystem“ und klärt weder Fragen des geistigen Eigentums noch Vertragsbedingungen oder die Art und Weise, wie die genehmigte Nutzung überprüft werden soll. Daher bleibt Tans Vorschlag eine politische und intellektuelle Position in einer Debatte, in der wirtschaftliche Sicherheit mit den Rechten von Unternehmen, den Interessen von Forschern und den Risiken des Missbrauchs von Modellen verflochten ist, und keine Ankündigung einer geltenden Politik.