Radio Live Network der EBU transformiert zu Radio over IP

Unterstützt durch IP-4c Audio-over-IP-Codecs von 2wcom

Autor: Anke Schneider

Foto © EBU

Die European Broadcasting Union (EBU) ist die weltweit führende Allianz unter den öffentlich-rechtlichen Medien (Public Service Media – PSM). Das Radio Live Network der European Broadcast Union wurde innerhalb der EBU bisher von 47 Mitgliedern genutzt, um Konzerte und Events über die Kanäle Haydn
und Liszt zu übertragen.

Im Jahr 2017 wurde entschieden, das bestehende System altersbedingt zu erneuern und zukunftsorientiert durch ein vollständig IP-basiertes System abzulösen. Die bisherige Kontribution und Distribution über Satelliten sollte durch Audio over IP abgelöst werden, und zwar ohne Qualitätsverluste. Zu diesem Zeitpunkt bestand das bestehende System aus drei Kanälen (Satellit und Internet). Das eingesetzte Equipment und genutzten Audiocodecs waren zum Teil so alt, dass ein zuverlässiger Betrieb des Systems in absehbarer Zeit nicht mehr zu gewährleisten war. Es gab zu viele und inkonsistente Möglichkeiten, Konzert-Beiträge zu liefern oder zu verteilen. Die Herausforderung bestand darin, die vorhandenen Geräte zu ersetzen, bevor das aktuelle Netzwerk unzuverlässig geworden wäre, und eine Lösung zu finden, die den folgenden Anforderungen gerecht wird:

• ein neuer und vereinfachter Weg, um Radio-Live-Konzerte unter den EBU-Rundfunkanstalten zu verteilen,
• eine Qualität und Zuverlässigkeit zu erreichen, die mindestens dem bisher eingesetzten Satelliten-System entspricht
• die Möglichkeit, über die neue Infrastruktur zusätzliche Dienste zu nutzen (zum Beispiel bidirektionaler Austausch von Beiträgen)+
• eine definierte Latenz von maximal zehn Sekunden darf nicht überschritten werden,
• die Betriebskosten im Vergleich zum aktuellen Netzwerk zu reduzieren.

Dies war der Startschuss für das Radio-over-IP-Projekt (ROIP). Bei der Systemarchitektur entschieden sich die Euroradio Contact Engineers in Kooperation mit dem Projektteam der Eurovision Services (ES SA) für die EBU Flex-Plattform. Hierbei handelt es sich um eine von den Ingenieuren der ES SA entwickelte Lösung, die bereits für den Fernsehbereich der Eurovision im Einsatz war. Als unabhängig arbeitendes digitales Übertragungstool ermöglicht sie die Verteilung von Live-Inhalten über mehrere Netze. Basis für die Bereitstellung und Verteilung von Inhalten ist das Secure Reliable Transport-Protokoll (SRT), das durch einige integrierte Features IT-Sicherheit und einen stabilen Betrieb  gewährleistet - wie zum Beispiel:

• IT-Sicherheit durch AES-Verschlüsselung mit bis zu 256 Bit,
• eine fortschrittliche Technik zur Wiederherstellung von verloren gegangenen IP-Paketen: Nur bei Paketverlust wird genau das vermisste Paket beim Sender angefordert. Im Ergebnis sind die Latenz und auch die benötigte Bandbreite niedriger als bei der Pro-MPEG FEC oder SMPTE 2022-7 (Dual Streaming),
• auf Receiver Seite erfolgt die Synchronisierung von Audio und Video Streams durch eine Timestamp Recovery,
• jeder Endpunkt kann als Caller oder Listener konfiguriert werden oder im Rendezvous-Modus agieren
• und über das Monitoring können Netzwerkperformance Parameter wie IP-Paketverluste, Latenz und Jitter überwacht werden.
• 

Um über die Flex Plattform ein Radio-over-IP-Netzwerk aufzubauen und die angeschlossenen Rundfunkanstalten miteinander zu verbinden, suchte das Projektteam nach einem Audio-over-IP-Codec. Damit dieser, zukünftig Live-Konzerte in das orchestrierende Flex-System einspielen oder von diesem empfangen kann, wurde eine Liste an Mindestanforderungen aufgesetzt:

• zwei Kanäle für die Reduzierung der benötigten Geräte,
• AES3/XLR-Schnittstellen zur Entgegennahme der Live-Konzerte,
• Audio-Codecs wie PCM und Opus für die Audio-Encodierung,
• SRT und RTP/RTPC für das IP-Streaming,
• die Möglichkeit, das Equipment remote über HTTPS, SSH oder SNMP zu steuern,
• PTPv2 für die Zeitsynchronisation,
• Transportstrom über SRT.

Die Konzeptionsphase für das zukünftige Ökosystem war abgeschlossen. Ab diesem Punkt begann ein sehr intensiver Rechercheprozess, um einen geeigneten Audio-over-IP-Codec zu finden. Die neue Hardware sollte so flexibel sein, dass Ressourcen (Geräte, Netzwerke usw.) gemeinsam flexibel genutzt werden können und vorzugsweise die Verteilung über Internet oder CDN unterstützt wird. Teil des Projektumfangs war ein Proof of Concept, um die Lösungen von drei Herstellern zu validieren. Dies startete im Dezember 2018. Unter anderem testeten die Ingenieure der ES SA im Labor das Folgende:

• PCM-Streaming über sechs Stunden,
• kappen der Internetleitung mit einem Buffer größer als eine Minute,
• Abschalten von einem Audio-over-IP-Codec,
• 60-mal hintereinander das Encodieren und Abspielen eines kurzen 1-minütigen Audio-Clips,
• den Buffer auf zehn Sekunden einstellen,
• Mix aus Raw PCM und Opus in/out,
• alles für 30 Sekunden herunterfahren und die Geräte neu starten,
• Internetleitung mit 500 kBits/s (Opus).

Am Proof of Concept hat ein internationales Team gearbeitet, das sich aus Ingenieuren der ES SA in der Schweiz und vier EBU Contact Engineers in England, Deutschland, Tschechien und Bulgarien zusammengesetzt hat. Ziel war unter anderem das neue System unter den unterschiedlichsten Internet-Leitungsbedingungen testen zu können.

Eine Anekdote am Rande: Am 11. Dezember 2018 wurde der IP-4c-Codec für den POC persönlich von 2wcom Mitarbeitern übergeben. An diesem Tag beschloss einer der ES SA-Ingenieure, nicht an der gemeinsamen Mittagspause teilzunehmen. Stattdessen nutzte er die Gelegenheit, um die intuitive Konfigurierbarkeit der Weboberfläche zu testen; ohne Support oder Handbuch. Er war beeindruckt.

Als kleine Überraschung hatte das 2wcom Team die virtualisierte Version des IP-4c im Gepäck – genannt MoIN (Multimedia-over-IP-Network-Software). So konnten beide Varianten im EBU-Labor getestet und in Hinblick auf den digitalen Transformationsprozess validiert werden. Letztendlich gaben vier zentrale Punkte im Januar 2020 den Ausschlag, warum man sich für den Audio-over-IP Codec von 2wcom entschieden hat.

• Der IP-4c Codec punktet mit den besten technischen Testwerten, einer intuitiven Konfigurierbarkeit und den Monitoring-Möglichkeiten des Webinterfaces.
• Der Codec war das einzige Hardware-Gerät, das SRT unterstützt hat.
• Der IP-4c bietet bis zu 4 Decoder und 8 Encoder in einem Gerät.
• Das Ingenieursteam des Herstellers hat sich sehr responsiv um neue Anforderungen oder Problemlösungen gekümmert. So wurden zum Beispiel bereits während des Evaluierungszeitraums die Audiostream Verteilung mit dem SRT Protokoll über DVB-S/S2 implementiert.

Im Sommer 2020 wurde der Liefer- und Installationsprozess organisiert. Logistisch musste die Lieferung des IP-4c Codec an jede Rundfunkanstalt organisiert werden, welche am Radio-over-IP-Projekt zu diesem Zeitpunkt beteiligt waren. Insgesamt 65 Personen wurden von 2wcom kontaktiert, um die Liefertermine zu koordinieren und die technischen Ansprechpartner über das weitere Vorgehen zu informieren.

Um alle wichtigen Informationen für den Betrieb des Radio-over-IP Networks bereitzustellen, wurde ein Webinar durch den Projektleiter der EBU organisiert. Für den IP-4c Vier-Kanal-Codec wurden die relevanten Konfigurationsschritte durch 2wcom präsentiert. Die definierte Konfiguration für Euroradio-Live -Konzerte war nur für die ersten beiden Kanäle bindend. Daher wurde zusätzlich ein kurzer Überblick über die weiteren Einsatzmöglichkeiten für den dritten und den vierten Kanal gegeben - zum Beispiel für EURORADIO-News oder ähnliche Zwecke. Ergänzend zum Webinar wurden weitere Schulungstermine und technische Checklisten für die Systemkonfiguration angeboten.

Mitte August 2020 startete der Proof of Concept im Feld für alle beteiligten Mitglieder. Die Basis war und ist eine Architektur, die die EBU Flex Plattform und 2wcom Audio over IP Codecs enthält. Die Übertragung und Distribution von Konzerten funktioniert wie folgt: Am Standort der Beitragserstellung verpackt der IP-4c-Encoder das unkomprimierte PCM-Audio in das SRT-Protokoll und stellt über SRT redundante Punkt-zu-Punkt Verbindungen zu den FLEX-Headends in Genf und Leuk her.

In den EBU FLEX-Kopfstellen werden die über SRT eingehenden Audioströme von den dort platzierten Codecs in IP-Multicast umgewandelt und über die ausgehenden SRT-Streams wieder als Unicast zu den IP-4C-Codecs der EBU-Rundfunkanstalten geroutet. Dieses Konzept ermöglicht es über SRT Punkt-zu-Multipunktverbindungen zu realisieren.

Die erste Ebene zur Sicherung eines 24/7/365 Betriebs war und ist der redundante Aufbau der orchestrierenden EBU-Flex-Serverfarmen in Genf und Leuk. Die zweite Ebene war bis zur Abschaltung der Transponder für Euroradio-Zwecke das bisherige Satellitensystem. So konnten Live-Konzerte parallel über IP und Satellit bereitgestellt werden. Fällt die IP-Verbindung aus, war die Verteilung der Konzert-Beiträge durch das Satelliten-Backup gewährleistet. Der Ausstieg aus dem Parallelbetrieb war damals für Ende Dezember 2020 geplant, je nachdem, wie gut die Radio-over-IP-Lösung ohne Satelliten-Backup funktionierte. Es war eine Zeit voller Hindernisse, kleiner Erfolge und Erkenntnisse. Gemeinsam konnten aber immer jegliche Herausforderung gemeistert werden - werfen wir ein Blick auf ein paar Ereignisse:

• Im Herbst 2020 wurde ein Bug im IP-4c festgestellt, der nur alle drei Wochen auftrat. Das lange Zeitfenster zwischen dem Auftreten des Fehlers machte es kompliziert, ihn zu replizieren und das Problem zu identifizieren. In Zusammenarbeit mit den EBU Contact Engineers, die beobachteten, wann und unter welchen Umständen der Fehler auftrat, gelang es dem Team von 2wcom, diesen nachzuvollziehen und zu beheben.
• Für das bevorstehende Weihnachtskonzert im Dezember, bei dem 15 Konzerte hintereinander live übertragen wurden, beschloss das Projektteam, das alte Satellitennetzwerk als Backup für das neue ROIP Radio-over-IP-Netzwerk beizubehalten. Wie erwartet, gab es mit der Option, ein Backup zur Flex-Plattform zu haben, keine Ausfälle. Es war das erste Mal seit vier Jahren, dass kein Soundfile aufgrund schlechter Übertragungsqualität oder Aussetzern erneut angefordert wurde.
• Zu diesem Zeitpunkt waren alle Beteiligten zuversichtlich, dass das Satellitensystem aus dem
  operativen Workflow entfernt werden kann. Zum Neujahrskonzert wurde allerdings festgestellt, dass das SRT-eigene Synchronisierungsverfahren „Timestamp-Based Packet Delivery“ mit einer älteren Version empfindlich auf diskontinuierliche Sprünge in der Systemzeit reagierte – was zu einer falschen Taktung und Ausfällen führte. Mit den neuesten SRT-Versionen existiert dieses Problem nicht mehr.
• Durch einen Providerwechselverursachten IP-Verbindungen Probleme im System der Flex-Farmen in Genf und Leuk.

Basierend auf den Erkenntnissen des Proof of Concepts im Feld umfasst nun die endgültige Architektur zur Übertragungssicherung mehrere IP-Backups für die Codierung und Decodierung.

Neben dem redundanten Aufbau der Flex-Farmen wurde eine weitere Instanz beim ARD-Sternpunkt in Frankfurt am Main installiert. Der Service heißt TCSP Technical Coordination Service Provisioning und umfasst zwei weitere Codecs. Diese beiden IP-4c sollen die Übergabe von Live-Konzerten an das orchestrierende Flex System sichern, falls die direkte Verbindung vom Veranstaltungsstandort zu den Flex Farmen ausfällt. Der erste IP-4c empfängt einen Konzertbeitrag, wenn die Verbindungen zu Flex A und Flex B ausfallen sowohl als Direct-SRT Stream als auch über eine SIP Verbindung. Der zweite IP-4c leitet den empfangenen Beitrag an das Orchestrations-Ökosystem der Flex Farmen weiter. Darüber hinaus werden zwei getrennte Icecast-Server bedient. Falls der SRT-Stream zu den Empfängerstandorten ausfällt, kann auf die Icecast-Streams zurückgegriffen werden. 

Um das Redundanzkonzept voll auszuschöpfen wurde eine Empfehlung herausgegeben, wie die IP-4c-Decoder an den Empfangsstandorten zu konfigurieren sind. Hier sieht das Setup des Codecs drei Backup-Quellen vor, auf die umgeschaltet werden kann: SRT-Stream der redundanten Flex-Farm, Icecast-Stream von Flex-Farm A und Icecast-Stream von Flex-Farm B.

Nach einigen Monaten der Nutzung der EBU Radio Over IP-Lösung zeigt sich, dass alle technischen Entscheidungen richtig gewesen sind. Das System ist sehr robust und zuverlässig. Es gab ein paar Probleme, aber die waren immer auf externe Faktoren zurückzuführen, wie z. B. Probleme mit einer Ethernet-Verbindung (Providerwechsel).

Während einer Konzert-Live-Sendung schätzen die Mitglieder vor allem die Möglichkeit der Echtzeit-Überwachung über das Web-Interface des IP-4c. Hinzukommt der professionelle Support von 2wcom. Er ist immer sehr reaktionsschnell, um eventuelle Schwierigkeiten bei der Nutzung des IP-4c-Equipments so schnell wie möglich zu untersuchen und zu beheben.

Beim ursprünglichen Design der Lösung war die Redundanz ein ungemein wichtiger Aspekt. Dieser hat heute noch genauso Bestand. Wenn ein Link ausfällt, ist zwar eine der Farmen nicht mehr funktionsfähig, aber dank der alternativen Flex-Farm gibt es keine Unterbrechung der Dienste. Vor allem kann die Performance des Flex Systems durch die Mitglieder remote über eine Web-Oberfläche transparent nachvollzogen werden, so dass alles im Blick ist und keine Verunsicherung entsteht. Falls der schlimmste Fall eintritt und die beiden Flex-Farmen ausfallen sollten, können die Konzerte immer noch über die Icecast-Server zur Verfügung gestellt werden. Die Audio-Qualität ist möglicherweise etwas geringer, aber wahrscheinlich nicht spürbar. Dieses mehrstufige Redundanz-Konzept erlaubte es schließlich, auf den Einsatz von zwei Satellitentransponder zu verzichten. Dadurch sind die Betriebskosten dieses Dienstes für EURORADIO-Mitglieder im Vergleich zum vorherigen System nun deutlich geringer.

Von Vorteil ist auch die Offenheit des neuen Systems, durch die neue Teilnehmer unkompliziert angebunden werden können. Das war mit der bisherigen Lösung durch die begrenzte Reichweite der Satelliten-Transponder nicht möglich. Mit dem Hintergrund ist nun geplant, unter anderem einen Teilnehmer aus den USA in das Radio-over-IP-Netzwerk der EBU aufzunehmen.

Kurzum: Die EBU, die ES SA und die EURORADIO-Mitglieder sind glücklich mit dieser neuen Möglichkeit, Radio-Live-Konzerte untereinander und über das öffentliche Internet auszutauschen. Alle sind positiv überrascht, wie robust das SRT-Protokoll ist, mit dem das Streaming von hochqualitativen Audio-Beiträgen über das Internet erfolgt. Zusammen mit der leistungsfähigen Hardware, gutem System-Design und einem engagierten Projektteam ist ein Fundament gebildet worden, um eine qualitativ hochwertig und stabile Broadcast-Lösung bereitzustellen.

www.2wcom.com