G39 Agencies Exchange Platform (AEP) – ein Meilenstein in der Nachrichtenbranche

Die Herausforderungen einer multilingualen Content-Plattform

Vor diesen komplexen Aufgaben steht die Agencies Exchange Platform (AEP):

Mehrsprachige Verarbeitung und Übersetzung

Die am Projekt beteiligten Nachrichtenagenturen liefern Inhalte in neun verschiedenen Sprachen. Die neue Plattform muss in der Lage sein, diese Inhalte effizient durchsuchbar zu machen und bei Bedarf präzise zu übersetzen. Dies erfordert die Entwicklung fortschrittlicher KI-Modelle, die mit Mehrsprachigkeit umgehen können.

Datenintegration und Metadaten-Management

Um die unterschiedlichen Formate und Standards der Agenturen (z.B. verschiedene Metadaten für die Beschlagwortung von Artikeln) zu vereinheitlichen, müssen die Metadaten im Rahmen der Plattform vereinheitlicht und verwaltet werden. Beispielsweise durch die Nutzung von internationalen Standards wie den IPTC-MediaTopics.

Echtzeit-Suche und -Abruf

Das Ziel der Plattform: Große Mengen an Nachrichteninhalten in Echtzeit durchsuchbar und relevante Informationen schnell abrufbar machen. All das funktioniert nur mit KI-gestützten semantischen Suchtechnologien (den sogenannten Embedding-Modellen). Dabei wird nicht mehr nur nach dem Wortlaut, sondern nach dem konkreten Kontext des Artikels gesucht.

Skalierbarkeit und Infrastruktur

Eine flexible und skalierbare Infrastruktur ist bei der Plattform notwendig, um den wachsenden Anforderungen der Agenturen und der Nachrichtenflut gerecht zu werden. Möglich wird das durch eine leistungsfähige API (Programmierschnittstelle) sowie diverse Speicher- und Suchfunktionen.

Die Rolle der Austria Presse Agentur (APA) im G39-Projekt

Wir als APA spielen eine zentrale Rolle im G39-Projekt: Unser Fokus liegt auf der Entwicklung und Lokalisierung von Suchmodellen für eine multilinguale semantische Suche in den gesamten Nachrichteninhalten. Wir gehen dabei anhand von diesen drei Schritten vor:

• Training: Ein Suchmodell wird für die einzelnen Agenturen in ihrer jeweiligen Sprache trainiert. (bspw. in schwedisch, holländisch, italienisch, deutsch, usw.)

• Beurteilung: Sobald wir die Modelle ausreichend trainiert haben, evaluieren die jeweiligen Agenturen das Ergebnis. Dabei wird mit einem standardisierten Fragebogen der Unterschied zu einem untrainierten, multilingualen Modell bewertet.

• Integration: Nachdem alle Schritte erledigt sind und die Agenturen ihr Modell ausgiebig getestet haben, erstellen wir aus allen elf Suchmodellen ein gesamtes, multilingual trainiertes Modell. Der letzte Schritt ist dann die Integration in die Gesamtinfrastruktur der Plattform.

Eine besondere Herausforderung stellt die Minimierung von sprachlichen Bias in den Suchergebnissen dar, um eine ausgewogene Darstellung aller Agenturinhalte zu gewährleisten. Ist das nicht der Fall, können Ergebnisse einzelner Nachrichtenagenturen überrepräsentiert werden, was ein unausgewogenes sowie qualitativ schlechteres Suchergebnis liefert. Mit der G39 Exchange Platform ist eine effiziente und sprachübergreifende Zusammenarbeit möglich, wodurch der Zugang zu qualitativ hochwertigen Nachrichten verbessert wird. Wie die Austria Presse Agentur das gemeinsam mit ihrem Umsetzungspartner Cloudflight bewerkstelligt, erfahren Sie im nächsten Blogbeitrag zu diesem Projekt.