Cloudflare hat das Projekt Streamline als experimentelle Umgebung und Open-Source-Beispiel zum Aufbau maßgeschneiderter Videoverarbeitungspipelines auf seiner Entwicklerplattform veröffentlicht. Das Projekt konzentriert sich auf Fälle, in denen die fertigen Funktionen von Cloudflare Stream nicht ausreichen, etwa um einem Livestream dynamische Einblendungen hinzuzufügen oder eine Version eines gehosteten Videos mit im Bild eingebrannten Untertiteln zu erstellen.
Streamline verteilt die Aufgaben auf mehrere Komponenten der Cloudflare-Plattform. Containers führt die Medien-Engine über längere Zeiträume mit vorhersehbaren CPU- und Speicherressourcen aus, während Durable Objects die Sitzungskoordination, den Lebenszyklus der Container und die Bereitstellung der Vorschau verwalten. Workers kümmern sich hingegen um Steuersignale, Überwachung und die Anwendungsschnittstelle, bei der es sich um eine Browseranwendung, einen Software-Agenten oder ein eingebettetes System handeln kann.
Was bietet Streamline praktisch?
Die Anwendung kann eine Verarbeitungssitzung erstellen, eine Videopipeline starten, Eingaben an sie senden, Messwerte überwachen und sie anschließend stoppen. Der Prozess wird nach einer Unterbrechung oder Wiederverbindung der steuernden Anwendung fortgesetzt, bis die Anwendung ihn stoppt oder eine maximale Dauer erreicht wird, die verhindert, dass die Sitzung unbegrenzt bestehen bleibt.
Ein Container hostet die Medien-Engine. Diese besteht aus einer in Go geschriebenen Steuerungsschicht und einem Medienprozessor, der in der aktuellen Implementierung FFmpeg verwendet. Die Engine kann einen RTMPS-Stream empfangen, ein über HLS von Cloudflare Stream gehostetes Video einlesen oder Live-Daten aus einer Quelle wie einer Webcam erhalten. Außerdem kann sie das Ergebnis über RTMPS an Stream Live senden oder über WebSocket eine Vorschau mit geringer Latenz bereitstellen.
Unterstützte Bearbeitungsvorgänge
- Anwendung von Filtern wie Unschärfe und Sättigung.
- Hinzufügen eines statischen Bildes oder einer während des Betriebs aktualisierbaren PNG-Ebene.
- Einbrennen von Untertiteln in das Video.
- Anpassung von Kodierungsparametern, einschließlich Codec, Bitrate, Auflösung und Bildrate.
Cloudflare nennt als Anwendungsfälle die Bearbeitung eines Livestreams durch Hinzufügen einer Grafikebene, die Umwandlung eines gehosteten Videos in eine Version mit Untertiteln sowie das Senden von Kamerabildern an eine Verarbeitungspipeline, die für Vorschauen oder zur Videoanalyse verwendet werden kann. Das Projekt enthält außerdem ein Beispiel für eine mit einem Worker und einer Astro-Oberfläche erstellte Anwendung mit Funktionen für Ebenen, Untertitel, Filter und Bild-in-Bild.
Sicherheit und Sitzungslebenszyklus
Cloudflare hat das Modell so entworfen, dass die Schlüssel für die Eingaben und Ausgaben von Stream Live weder für die Steuerungsanwendung sichtbar sind noch im Browser gespeichert werden. Stattdessen werden sie in Workers-Secrets oder im Speicher der Durable Objects aufbewahrt. Die Anwendung verweist auf benannte Profile, anstatt direkt mit den Schlüsseln zu arbeiten. Außerdem überprüft der Worker eine Cloudflare-Access-Sitzung und verknüpft die aktive Sitzung mit der autorisierten Identität, wobei in der beschriebenen Bereitstellung eine Sitzung erlaubt ist.
Das Unternehmen warnt davor, dass das vorgestellte private Bereitstellungsmodell kein fertiges Modell für einen öffentlichen Dienst mit mehreren Benutzern ist. Die öffentliche Vorschau verwendet eine Containeridentität pro authentifiziertem Benutzer und eine aktive Sitzung pro Benutzer sowie Kontrollen für Parallelität, Medien und Ressourcen.
Was bedeutet das für Entwickler?
Streamline bietet eine flexible Schicht zwischen einem verwalteten Videodienst und individueller Verarbeitung, anstatt Entwickler zum vollständigen Aufbau der Betriebsinfrastruktur außerhalb der Plattform zu zwingen. Die Grenzen des Modells sind jedoch wichtig: Die aktuelle Verarbeitung basiert auf der CPU der Container, was bei hohen Auflösungen oder Bildraten zum Engpass werden kann. Cloudflare erklärt, dass zu den künftigen Entwicklungen Pipelines für Computer Vision, hardwarebeschleunigte Medienverarbeitung sowie Unterstützung für WebRTC und MoQ gehören. Hinzu kommen native Primitive für Kodierung und Dekodierung innerhalb von Workers.
Cloudflare hat zwei Open-Source-Repositories veröffentlicht: cloudflare/streamline für die Medien-Engine und API-Pakete sowie cloudflare/streamline-demo für die Worker-Anwendung, die Astro-Oberfläche und die Bereitstellungs- und Access-Integrationswerkzeuge. Außerdem wurde eine öffentliche Vorschau verfügbar gemacht, die ausprobiert oder im eigenen Konto bereitgestellt werden kann.