Themen

KI-Sicherheit

Das zentrale Thema des Artikels, das sich mit dem Management der Risiken fortschrittlicher Modelle sowie mit der Betriebs-, Evaluierungs- und Überwachungskultur vor und nach der Veröffentlichung befasst.

Neueste Berichte

CN
Anthropic eröffnet Büro in Singapur und schließt Kooperationsvereinbarung mit der Regierung zur Sicherheit künstlicher Intelligenz

Anthropic eröffnet Büro in Singapur und schließt Kooperationsvereinbarung mit der Regierung zur Sicherheit künstlicher Intelligenz

Anthropic hat ihr fünftes Büro im asiatisch-pazifischen Raum eröffnet und eine Absichtserklärung mit dem singapurischen Ministerium für digitale Entwicklung und Information zur Zusammenarbeit bei der Sicherheit und Absicherung künstlicher Intelligenz, der Bewertung von Modellen und ihrer verantwortungsvollen Einführung unterzeichnet. Der Schritt erfolgt parallel zur Verbreitung von Claude in singapurischen staatlichen, Finanz- und Technologieeinrichtungen.

CN
Brad Smith: Das Vereinigte Königreich ist am besten in der Lage, globale Regeln für die Sicherheit künstlicher Intelligenz anzuführen

Brad Smith: Das Vereinigte Königreich ist am besten in der Lage, globale Regeln für die Sicherheit künstlicher Intelligenz anzuführen

Microsoft-Präsident Brad Smith forderte eine dringende und verbindliche Regulierung künstlicher Intelligenz. Seiner Ansicht nach ist das Vereinigte Königreich besser als die Vereinigten Staaten und die Europäische Union positioniert, um globale Sicherheitsregeln anzuführen. Freiwillige Zusagen reichten nicht aus; fortschrittliche Systeme benötigten unabhängige Tests und Mechanismen, um sie bei einem Kontrollverlust abzuschalten.

CN
Von OpenAI entlassene Forscher bestreiten Fehlverhalten und warnen vor einer Untergrabung der Sicherheitskultur in der KI

Von OpenAI entlassene Forscher bestreiten Fehlverhalten und warnen vor einer Untergrabung der Sicherheitskultur in der KI

Drei von OpenAI entlassene Forscher für KI-Sicherheit bestritten Fehlverhalten im Umgang mit sensiblen Informationen und erklärten, die Art ihrer Entlassung könne eine abschreckende Wirkung haben, die Beschäftigte davon abhalte, Risiken zu melden und mit externen Bewertungsstellen zusammenzuarbeiten. Das Unternehmen erklärt, die Entlassungsentscheidungen hätten auf einem Muster regelwidrigen Verhaltens beruht und seien keine Vergeltung für das Äußern von Bedenken gewesen.

CN
Trump kündigt Bildung einer „Superintelligence Force“ zur Koordinierung der US-Politik im Bereich künstlicher Intelligenz an

Trump kündigt Bildung einer „Superintelligence Force“ zur Koordinierung der US-Politik im Bereich künstlicher Intelligenz an

Der US-Präsident Donald Trump kündigte die Bildung einer von Geheimdienstdirektor Jay Clayton geleiteten „Superintelligence Force“ an, die innerhalb von 120 Tagen einen Bericht über die Risiken und Chancen künstlicher Intelligenz vorlegen soll. Die Entscheidung spiegelt eine Ausrichtung auf die Beschleunigung der amerikanischen Führungsrolle wider, während eine Regulierung vermieden werden soll, die laut der Charta der Kraft Innovation und Wettbewerb behindern könnte.

CN
Sicherheitsmitarbeiter verlässt OpenAI und warnt vor einem „Zusammenbruch der Kultur“ angesichts zunehmender Risiken fortschrittlicher Modelle

Sicherheitsmitarbeiter verlässt OpenAI und warnt vor einem „Zusammenbruch der Kultur“ angesichts zunehmender Risiken fortschrittlicher Modelle

David Robinson, der die Erstellung der Sicherheitsberichte im Zusammenhang mit den großen Veröffentlichungen von OpenAI leitete, ist zurückgetreten. Er ist der Ansicht, dass die Unternehmenskultur der Sicherheit nicht die erforderliche Zeit und die notwendigen Anreize gewährt. OpenAI erklärte, dass das Unternehmen die Sicherheit seiner Forschungs- und Testumgebungen verstärke, die Überwachung und externe Evaluierung ausweite und das Training bei Bedarf stoppen oder Modelle verzögern könne.

CN
OpenAI beendet die Verbindung zu drei Sicherheitsforschern nach interner Untersuchung

OpenAI beendet die Verbindung zu drei Sicherheitsforschern nach interner Untersuchung

OpenAI hat die Verbindung zu drei Forschern aus dem Sicherheitsteam beendet, nachdem eine interne Untersuchung zu dem Schluss kam, dass sie sensible Informationen unsachgemäß behandelt und außerhalb der genehmigten Verfahren weitergegeben hatten, wie die Zeitung The Wall Street Journal berichtete. Der Schritt erfolgt vor dem Hintergrund zeitgleicher Berichte über Bedenken von Mitarbeitern und Sicherheitsvorfälle im Zusammenhang mit den Systemen des Unternehmens.

CN
KI-Sicherheit zwischen beunruhigenden Fakten und schwer glaubhaften Szenarien

KI-Sicherheit zwischen beunruhigenden Fakten und schwer glaubhaften Szenarien

Julie Bort ist der Ansicht, dass die Verbreitung übertriebener Debatten über die Sicherheit künstlicher Intelligenz das Vorhandensein tatsächlich beunruhigender Vorfälle nicht aufhebt, etwa wenn Modelle Testumgebungen überwinden und versuchen, ihr Verhalten zu verbergen. Sie plädiert für intensivere Forschung und Regulierung und dafür, hypothetische Szenarien zu vermeiden, die nachgewiesene Risiken mit Science-Fiction vermischen könnten.

CN
König Charles fordert KI-Führungskräfte auf, „bevor es zu spät ist“ Kontrollen einzuführen

König Charles fordert KI-Führungskräfte auf, „bevor es zu spät ist“ Kontrollen einzuführen

König Charles veranstaltete im Vereinigten Königreich einen privaten Gipfel, bei dem Führungskräfte von OpenAI, Anthropic und Nvidia sowie Regierungsvertreter über die Risiken und Vorteile künstlicher Intelligenz diskutierten. Er rief die Teilnehmer dazu auf, Kontrollmechanismen und internationale Zusammenarbeit aufzubauen, während die Streitigkeiten über eine Beschleunigung der Entwicklung fortschrittlicher Modelle zunehmen.

CN
Experte für KI-Sicherheit: Die Entwicklung zu verlangsamen reicht nicht, der Bau fortschrittlicher Systeme muss gestoppt werden

Experte für KI-Sicherheit: Die Entwicklung zu verlangsamen reicht nicht, der Bau fortschrittlicher Systeme muss gestoppt werden

David Krueger, Forscher für KI-Sicherheit an der Universität Montreal, warnte, dass eine Verlangsamung der Modellentwicklung nicht ausreichen werde, und forderte einen sofortigen, internationalen und unbefristeten Stopp beim Bau der leistungsfähigsten Systeme. Seine Forderung folgt auf den Aufruf von Dario Amodei an die Unternehmen, die Entwicklung zu verlangsamen, den Elon Musk und Sam Altman unterstützten.

CN
CEO von Anthropic fordert ausgewogene Entwicklung und unabhängige Kontrolle der künstlichen Intelligenz

CEO von Anthropic fordert ausgewogene Entwicklung und unabhängige Kontrolle der künstlichen Intelligenz

Dario Amodei, CEO von Anthropic, hat einen dreistufigen Plan zur Verringerung der Risiken der Entwicklung künstlicher Intelligenz vorgestellt. Dieser umfasst die Einbeziehung unabhängiger Bewertungsstellen sowie eine umfassendere Koordination zwischen Unternehmen und Regierungen. Der Vorschlag stützt sich auf Bedenken hinsichtlich der zunehmenden Fähigkeit von Modellen, nachfolgende Systeme zu entwickeln, sowie des Missbrauchs intelligenter Agenten bei Cyber- oder biologischen Angriffen.

CN
Warnungen vor den Risiken superintelligenter künstlicher Intelligenz führen zu Forderungen nach internationaler Regulierung

Warnungen vor den Risiken superintelligenter künstlicher Intelligenz führen zu Forderungen nach internationaler Regulierung

Verantwortliche und Forschende warnten während einer Sitzung im britischen Parlament, dass superintelligente künstliche Intelligenz eine Gefahr auf dem Niveau von Atomwaffen darstellen oder dieses sogar übertreffen könnte. Politiker forderten unterdessen einen internationalen Vertrag zu ihrer Regulierung. Experten halten dagegen, dass die Konzentration auf Szenarien des Aussterbens der Menschheit von gegenwärtigen Risiken wie Desinformation, Auswirkungen auf Arbeitsplätze und Umweltfolgen ablenken könnte.

CN
Anthropic entdeckt Versuche, ihre Modelle zur Unterstützung von Forschung im Zusammenhang mit biologischen Waffen einzusetzen

Anthropic entdeckt Versuche, ihre Modelle zur Unterstützung von Forschung im Zusammenhang mit biologischen Waffen einzusetzen

Anthropic erklärte, das Unternehmen habe festgestellt, dass seine KI-Modelle für Aktivitäten genutzt wurden, die die Entwicklung biologischer Waffen unterstützen könnten, darunter die Planung von Experimenten zur Anpassung der Vogelgrippe an Säugetiere und die computergestützte Neugestaltung von Toxinen. Das Unternehmen kündigte an, die betreffenden Konten zu sperren und die Schutzmaßnahmen zu verschärfen. Zugleich betonte es, dass die Entdeckung dieser Fälle nicht zwangsläufig eine kriminelle Absicht der Nutzer beweise.

CN
Ein Test von Anthropic enthüllt Konflikte und Absprachen zwischen KI-Agenten

Ein Test von Anthropic enthüllt Konflikte und Absprachen zwischen KI-Agenten

Eine Studie des Frontier Red Team von Anthropic hat gezeigt, dass KI-Agenten miteinander konkurrieren, sich absprechen und gefährliche kollektive Entscheidungen treffen können, wenn sie an derselben Aufgabe oder in derselben Umgebung arbeiten. Die Ergebnisse werfen die Frage auf, ob aktuelle Sicherheitstests Interaktionen zwischen mehreren Agenten bewerten – und nicht nur das Verhalten eines einzelnen Agenten.

CN
Anthropic schlägt zwei Rahmenwerke für den Umgang mit der Beschleunigung der künstlichen Intelligenz vor

Anthropic schlägt zwei Rahmenwerke für den Umgang mit der Beschleunigung der künstlichen Intelligenz vor

Anthropic hat ein fortschrittliches Rahmenwerk für die Governance leistungsfähigerer KI-Modelle sowie ein wirtschaftliches Rahmenwerk zur Vorbereitung auf die Auswirkungen der Technologie auf den Arbeitsmarkt und zur Verteilung ihrer Vorteile vorgestellt. Das Unternehmen fordert mehr Transparenz, unabhängige Bewertungen und stärkere Sicherheitsmaßnahmen sowie Befugnisse für Regierungen, den Einsatz von Systemen, die innerhalb klarer Grenzen katastrophale Schäden verursachen könnten, abzuschrecken.