Begriffe

Mixture of Experts

Aktuelle Berichte, Erklärungen und verbundene Technologiethemen.

Neueste Berichte

CN
Meta bringt das Open-Modell Muse Spark mit 816 Milliarden Parametern auf den Markt und ermöglicht den lokalen Betrieb auf zwei Mac Studio

Meta bringt das Open-Modell Muse Spark mit 816 Milliarden Parametern auf den Markt und ermöglicht den lokalen Betrieb auf zwei Mac Studio

Meta hat das Open-Weights-KI-Modell Muse Spark Open vorgestellt, das für Programmierung und langfristige agentische Aufgaben konzipiert ist und lokal auf zwei Mac-Studio-Geräten mit M5-Ultra-Prozessoren und insgesamt 1 Terabyte Unified Memory ausgeführt werden kann. Obwohl seine Gewichte zum Download bereitstehen, unterliegt das Modell der Meta-Lizenz, die die kommerzielle Nutzung in bestimmten Fällen einschränkt.

CN
JetBrains veröffentlicht Mellum2.1 als schnelles offenes Modell für Programmieragenten

JetBrains veröffentlicht Mellum2.1 als schnelles offenes Modell für Programmieragenten

JetBrains hat das offene Modell Mellum2.1 unter der Apache-2.0-Lizenz veröffentlicht. Es konzentriert sich auf den lokalen Betrieb von Programmieragenten und Subagenten oder auf der eigenen Infrastruktur des Nutzers. Die Version basiert auf Training durch bestärkendes Lernen in realen Softwareumgebungen und bietet deutliche Verbesserungen beim Umgang mit Code-Repositories sowie bei der Inferenzgeschwindigkeit.

CN
GitHub Copilot entscheidet automatisch zwischen lokaler und Cloud-Ausführung

GitHub Copilot entscheidet automatisch zwischen lokaler und Cloud-Ausführung

GitHub beabsichtigt, Copilot zu erweitern, damit Programmi tasks automatisch an lokale oder Cloud-Modelle weitergeleitet werden. Microsoft hat jedoch noch nicht klargestellt, wie viel Repository-Kontext das Gerät des Entwicklers verlassen könnte oder wie sich diese Weiterleitung einschränken lässt.

CN
Mistral AI enthüllt Mistral Large 4 mit einer Architektur aus einer Billion Parametern

Mistral AI enthüllt Mistral Large 4 mit einer Architektur aus einer Billion Parametern

Mistral AI hat sein multimodales Modell Mistral Large 4 vorgestellt, das eine Billion Parameter umfasst, von denen bei jeder Verarbeitung 49 Milliarden aktiv sind. Das Modell zielt auf Programmierung, intelligente Agenten, Cybersicherheit und Unternehmensanwendungen ab. Eine öffentliche Vorschau ist verfügbar; die Veröffentlichung der Modellgewichte ist vor Ende Oktober geplant.

CN
Praktischer Leitfaden zum Verständnis der Sprache der künstlichen Intelligenz: von Sprachmodellen bis zum „opaken Schlussfolgern“

Praktischer Leitfaden zum Verständnis der Sprache der künstlichen Intelligenz: von Sprachmodellen bis zum „opaken Schlussfolgern“

Der Beitrag sammelt und erläutert eine breite Palette von Begriffen, die für das Verständnis von KI-Modellen, ihrer Architektur sowie ihrer Trainings- und Betriebsweisen grundlegend geworden sind. Außerdem hebt er neuere Konzepte wie Agenten, das MCP-Protokoll und opakes Schlussfolgern hervor und erläutert die damit verbundenen Einschränkungen und Risiken.

CN
Tencent bringt Open-Source-Modell Hy4 Preview mit 770 Milliarden Parametern auf den Markt

Tencent bringt Open-Source-Modell Hy4 Preview mit 770 Milliarden Parametern auf den Markt

Tencent hat das Open-Source-Modell Hy4 Preview verfügbar gemacht, das über ein Kontextfenster von mehr als einer Million Token verfügt und pro Vorgang 49 Milliarden Parameter aktiviert. Nach Angaben des Unternehmens übertraf das Modell in einem internen Blindtest GLM-5.3 und Kimi K3; die Ergebnisse beschränken sich jedoch auf die Bewertung durch Tencent, und das Modell ist eine Vorabversion.

CN
Studie von Georgia Tech schlägt elektrische Abstimmung vor, um das Stocken optischer Verbindungen beim Training von MoE-Modellen zu reduzieren

Studie von Georgia Tech schlägt elektrische Abstimmung vor, um das Stocken optischer Verbindungen beim Training von MoE-Modellen zu reduzieren

Eine Forschungsarbeit des Georgia Institute of Technology analysiert die Auswirkungen wiederholter thermischer Abstimmungsvorgänge in großskaligen optischen Verbindungen, die zum Training von Sprachmodellen auf Basis der Mixture-of-Experts-Architektur verwendet werden. Laut der veröffentlichten Zusammenfassung beschleunigte die Beseitigung der Stockungsphasen das Training von Mixtral 8x7B im untersuchten Szenario um das 2,7-Fache.

CN
Z.ai enthüllt die Identität des Modells Ox Alpha und stellt es unter dem Namen GLM-5.3-Flash mit offenen Gewichten bereit

Z.ai enthüllt die Identität des Modells Ox Alpha und stellt es unter dem Namen GLM-5.3-Flash mit offenen Gewichten bereit

Z.ai bestätigte, dass das mysteriöse Modell Ox Alpha von dem Unternehmen stammt, und veröffentlichte es unter dem Namen GLM-5.3-Flash mit Gewichten über Hugging Face. Das Modell richtet sich an Programmierung und langfristige agentische Aufgaben. Es basiert auf 320 Milliarden Parametern, von denen pro Anfrage etwa 18 Milliarden aktiviert werden, und bietet ein Kontextfenster von bis zu einer Million Tokens.

CN
Das Experiment von bartowski zeigt die Grenzen von imatrix-Daten und die Bedeutung ihrer Vielfalt bei GGUF-Modellen

Das Experiment von bartowski zeigt die Grenzen von imatrix-Daten und die Bedeutung ihrer Vielfalt bei GGUF-Modellen

bartowski präsentiert ein umfassendes Experiment zur Optimierung der Kalibrierungsdaten, die bei der Quantisierung von Modellen mit llama.cpp für imatrix verwendet werden, und kommt zu dem Schluss, dass die größten Verbesserungen bei niedrigen Bitraten auftreten, insbesondere bei Mixture-of-Experts-Modellen (MoE). Der neue Datensatz ist kleiner und fokussierter, kombiniert jedoch vielfältige Texte mit formatierten Unterhaltungen zur Tool-Nutzung.

CN
Writer bringt Palmyra X6 zur Senkung der Kosten von KI-Agenten um 52 % auf den Markt

Writer bringt Palmyra X6 zur Senkung der Kosten von KI-Agenten um 52 % auf den Markt

Writer hat sein neues Modell Palmyra X6 zusammen mit einer neu gestalteten Orchestrierungsebene und Governance-Tools zur Überwachung des Tokenverbrauchs und der Ausgaben von Agenten angekündigt. Nach Angaben des Unternehmens senkt die Kombination aus Modell und Plattform die Kosten im Durchschnitt um 52 % und verbessert die Geschwindigkeit um 48 % sowie die Qualität um 10 %.