VIDRAFT hat die erste Saison der Open Discovery Challenge eröffnet. Dabei handelt es sich um eine öffentliche Herausforderung, die auf die Entwicklung neuer Arzneimittelkandidaten gegen Malaria und deren Bewertung über eine überprüfbare Rangliste abzielt. Die erste Saison konzentriert sich auf das im Malariaparasiten vorkommende Enzym PfDHODH und schließt die Hemmung seines menschlichen Gegenstücks Human DHODH aus, da die Hemmung des menschlichen Enzyms laut dem auf dem Hugging-Face-Blog veröffentlichten Beitrag mit Immunsuppression statt mit der Behandlung der Infektion verbunden ist.
Die Saison trägt den Namen Open Discovery Challenge #1 — Malaria und endet am 30. September 2026. Der am Ende der Saison bestplatzierte Beitrag erhält ein Preisgeld von 1.000 US-Dollar. VIDRAFT erklärt, dass das Preisgeld keine vollständige Vergütung für den Zeitaufwand oder den Verbrauch von Modellen darstellt, sondern ein Mittel ist, um Beiträge im Bereich der Arzneimittel für vernachlässigte Krankheiten zu dokumentieren. Der Wert der Preise könnte steigen, wenn sich Sponsoren der Initiative anschließen.
Warum konzentriert sich die Initiative auf die Validierung?
Der Beitrag geht davon aus, dass künstliche Intelligenz inzwischen in der Lage ist, innerhalb eines einzigen Tages Tausende von Kandidatenmolekülen zu erzeugen, dass diese Fülle an Entwürfen jedoch nicht von einer vergleichbaren Ausweitung der Validierung begleitet wurde. Ein Modell kann eine überzeugend wirkende chemische Struktur vorschlagen, aber nicht allein klären, ob sie den Parasiten abtötet, dem Patienten schadet, hergestellt werden kann oder ihr Ziel innerhalb der Zelle tatsächlich erreicht.
VIDRAFT erklärt, dass die Herausforderung darin besteht, Validierungsinstrumente in größerem Umfang verfügbar zu machen. Dazu dienen computergestützte Bewertungen, die molekulare Bindung, die Vorhersage der intrazellulären Aktivität, Eigenschaften von Absorption, Verteilung, Metabolismus und Toxizität, Selektivität sowie Herstellbarkeit umfassen. Die Rangliste zeigt Referenzarzneimittel und inaktive Verbindungen neben den neuen Beiträgen, damit die Teilnehmenden die Fähigkeit des Klassifikators zur Unterscheidung prüfen können, statt sich lediglich auf die Versprechen des Veranstalters zu verlassen.
Tests vor der Eröffnung der Rangliste
Der Beitrag erläutert, dass die Entwicklung des Klassifikators vor dem Start der Herausforderung 14 Mängel aufdeckte. Zu den Problemen gehörte, dass die anfänglichen Toxizitätsschwellen zugelassene Malariamedikamente sowie Kaffee ablehnten, weil Modelle für Herz- und Lebertoxizität große und lipophile Moleküle benachteiligten. Daher führte VIDRAFT eine Regel ein, nach der zugelassene Arzneimittel passieren müssen, bevor irgendeine Schwelle zum Ausschluss von Teilnehmenden verwendet wird.
Die Organisation stellte außerdem fest, dass die Berechnung der Bindungseffizienz allein anhand der Molekülgröße kleine Moleküle mit schwacher Bindung übermäßig belohnen konnte; beinahe lag Kaffee gleichauf mit dem klinischen Kandidaten DSM265. Um dies zu korrigieren, wurde eine Mindestschwelle für die therapeutische Potenz hinzugefügt. In einem weiteren Test sagte das Modell für intrazelluläre Aktivität voraus, dass Kaffee bei einer Konzentration von 1 Mikromolar eine aktive Verbindung sei, weil die Trainingsdaten nicht genügend Aufzeichnungen über Fehlschläge enthielten. Nach der Hinzufügung von 5.190 Fehlschlagsaufzeichnungen und einer erneuten Schulung vergrößerte sich der Abstand zwischen DSM265 und Kaffee von 1,00 auf 1,74 Log-Einheiten.
Der Beitrag erwähnt außerdem, dass der Docking-Test für eine bekannte Verbindung einen falschen Wert zurückgab, bevor entdeckt wurde, dass der Aufrufpfad selbst fehlerhaft war. Die Verwendung eines falschen Funktionsnamens bei der Berechnung chemischer Fingerabdrücke führte ebenfalls zu Ergebnissen, die normal aussahen, ohne einen Fehler auszulösen, bis eine regelmäßige Validierung das Problem aufdeckte. Bei der Prüfung der Konfidenzintervalle lag die gemessene Abdeckung bei 83 % statt bei 90 %. Daher erweiterte VIDRAFT den Korrekturspielraum, bis die gemessene Quote 90,01 % erreichte.
Wie werden die Beiträge bewertet?
Die Herausforderung verlangt die Entwicklung von Verbindungen, die PfDHODH hemmen und das Ziel innerhalb des Parasiten erreichen, während Human DHODH vermieden wird. Die Bewertungsgrundlage umfasst Bereiche wie intrazelluläre Aktivität, Zielbindung, Selektivität, ADMET-Eigenschaften, Neuartigkeit und Herstellbarkeit. Die intrazelluläre Aktivität erhält 30 Punkte, die Zielbindung 20 Punkte, ADMET 15 Punkte, die Neuartigkeit 10 Punkte und die Herstellbarkeit 5 Punkte, während der Beitrag die Selektivität als eigenständigen Bereich aufführt, ohne in der veröffentlichten Tabelle eine Punktzahl dafür festzulegen.
Die Neuartigkeit wird von der therapeutischen Potenz beeinflusst; eine neue, inaktive Verbindung erhält in diesem Bereich keinen praktischen Wert. Ebenso verliert ein enges Analogon eines bekannten Arzneimittels Punkte für die Neuartigkeit. Unsichere Vorhersagen werden abgewertet, während Verbindungen mit erwarteten Mutationen oder sehr geringer Löslichkeit unter den unauffälligen Beiträgen eingestuft werden, statt automatisch abgelehnt zu werden.
Teilnahme- und Eigentumsregeln
Jedes Modell kann verwendet werden, darunter OpenAI, Claude, Gemini, Qwen, KIMI, DeepSeek und Modelle mit offenen Gewichtungen. Anschließend wird die chemische Struktur im SMILES- oder InChI-Format eingereicht. Abgelehnt werden Verbindungen mit einer Molekülmasse von mehr als 550, mit kovalent reaktiven Gruppen, PAINS-Mustern oder mit einer Übereinstimmung mit einem bereits registrierten Beitrag. Ebenfalls abgelehnt werden alleinige Summenformeln, da sie für mehrere Isomere stehen können.
VIDRAFT erklärt, dass das Eigentum am eingereichten Molekül beim Teilnehmenden bleibt und dass VIDRAFT weder Patent- oder Eigentumsrechte übernimmt noch die Struktur an Dritte weitergibt oder sie in der eigenen Pipeline verwendet. Der Teilnehmende kann die Struktur vertraulich halten; sie bleibt jedoch zu Bewertungszwecken bei VIDRAFT gespeichert. Eine öffentliche Veröffentlichung kann die Patentierbarkeit beeinträchtigen, da eine Veröffentlichung eine Offenlegung darstellt. Daher warnt die Initiative Personen mit kommerziellen Absichten davor, vor der Anmeldung zu veröffentlichen.
VIDRAFT betont am Ende des Beitrags, dass es sich bei den dargestellten Ergebnissen um computergestützte Bewertungen der Kandidaten handelt und nicht um experimentelle Messungen oder Behauptungen über deren Wirksamkeit oder Sicherheit. Sie stellen auch keine Rangliste im Vergleich zu zugelassenen Arzneimitteln dar. Die experimentelle Validierung bleibt eine separate Phase.