Erfolgreiche Qualitätsbewertung maschinell übersetzter Texte

In einer zunehmend globalisierten Welt sind maschinelle Übersetzungssysteme zu unverzichtbaren Werkzeugen für internationale Kommunikation geworden. Diese Systeme haben in den letzten Jahren durch Fortschritte in der künstlichen Intelligenz und dem maschinellen Lernen beeindruckende Entwicklungen erfahren. Trotzdem stellt sich immer wieder die Frage, wie qualitativ hochwertig diese Übersetzungen sind.

Unser jüngstes Digitalisierungsprojekt in Zusammenarbeit mit der Nureg GmbH drehte sich genau um dieses Thema. Ziel war es, verschiedene Methoden und Algorithmen zur Qualitätsbewertung maschinell übersetzter Texte zu untersuchen und zu evaluieren. Nun fassen wir die wichtigsten Erkenntnisse aus diesem Projekt zusammen und zeigen, wie moderne Technologien genutzt werden können, um Texte nicht nur in unterschiedliche Sprachen zu übersetzen, sondern auch die Qualität dieser maschinellen Übersetzungen zu bewerten und zu verbessern.

Warum ist die maschinelle Qualitätsprüfung maschinell erzeugter Übersetzungen so wichtig?

Sprache schafft Vertrauen! Um Kunden weltweit zu erreichen, setzen Unternehmen darauf, ihre Texte in die Sprachen zu übersetzen, in denen sie ihre Zielgruppen ansprechen möchten – sei es auf der Website oder in anderen Kommunikationskanälen. Da dies oft mit großen Datenmengen verbunden ist, erfolgt die Übersetzung zunehmend automatisiert, unterstützt durch künstliche Intelligenz. Allerdings kann es dabei zu inhaltlichen Ungenauigkeiten oder grammatikalischen Fehlern kommen. Zudem besteht das Risiko, dass kulturelle Nuancen übersehen werden, was zu Missverständnissen führen kann. Ebenso kann die emotionale Ansprache verloren gehen, wenn maschinelle Übersetzungen nicht den richtigen Ton treffen. All diese Faktoren können dazu führen, dass ein Unternehmen oder Produkt als weniger professionell wahrgenommen wird und das Vertrauen in die Marke schwindet.

Das Digitalisierungsprojekt

Um sich mit dieser Thematik tiefer auseinander zusetzen, haben wir in Kooperation mit der Nureg GmbH ein Digitalisierungsprojekt gestartet.

Das Hauptziel des Projekts war die explorative Analyse des Similarity sowie des Readability Scores zur Qualitätsbewertung maschinell übersetzter Texte. Dabei wollten wir die Effektivität dieser Methoden in der Praxis testen und ihre Stärken und Schwächen identifizieren. Die Graphik zeigt einen guten Überblick über die Forschungsergebnisse dieses Projekts

Die wichtigsten Methoden zur Qualitätsbewertung (eigene Darstellung)

Wie aus der Grafik zu entnehmen, wurden mehrere Methoden und Algorithmen getestet, die sich in ihrer Herangehensweise und Zielsetzung unterscheiden. Dabei spielen fünf zentrale Kriterien eine entscheidende Rolle: Genauigkeit, Klarheit, Kohärenz, Konsistenz und Angemessenheit. Diese Kriterien, aus der Linguistik herangezogen, ermöglichen eine fundierte Bewertung der Übersetzungen. Unsere Analyse des Datensatzes, der sowohl Original- als auch übersetzte Texte enthält, lieferte wertvolle Erkenntnisse zur Verbesserung maschineller Übersetzungen.

Ein Fokus lag auf der Konsistenz der Übersetzungen. Es wurde untersucht, ob identische Texte in der Ausgangsprache auch immer wieder identisch in die Zielsprache übersetzt wurden. Dies lässt sich mit einem einfachen Abgleich herausfinden. Es stellte sich heraus, dass die maschinellen Übersetzungen durchaus konsistente Texte liefern und lediglich minimale Abweichungen festgestellt wurden.

Auch die Ähnlichkeit zum Originaltext ist entscheidend. Mithilfe des Similarity Scores konnten wir die inhaltliche Übereinstimmung zwischen Ausgangstext und Übersetzung messen. Der sogenannte BERTScore erwies sich hier als besonders nützlich, da sie tiefere semantische Analysen durchführen und sicherstellen, dass der Sinn des Originaltextes erhalten bleibt.

Die grammatikalische Korrektheit wurde ebenfalls geprüft. Tools wie LanguageTool deckten viele Fehler auf, doch die Analyse zeigte, dass menschliche Überprüfungen weiterhin notwendig sind, um sicherzustellen, dass Texte grammatikalisch einwandfrei sind. Grammatikfehler können die Lesbarkeit und Verständlichkeit erheblich beeinträchtigen.

Ein weiterer wichtiger Aspekt war die Lesbarkeit der Texte. Übersetzungen sollten nicht nur inhaltlich korrekt, sondern auch leicht verständlich sein. Unsere Analyse mit dem Flesch-Reading-Ease-Score ergab, dass maschinelle Übersetzungen oft komplexere Satzstrukturen verwenden, die die Lesbarkeit verringern.

Die Anwendung dieser Methoden auf unseren Datensatz lieferte wertvolle Erkenntnisse, die helfen, maschinelle Übersetzungen weiter zu verbessern. Es zeigte sich, dass neue, semantische Ansätze wie BERTScore nicht nur Konsistenz und Ähnlichkeit besser bewerten können, sondern auch dazu beitragen, die allgemeine Qualität und Verständlichkeit maschinell übersetzter Texte zu steigern. Alle Ergebnisse und Recherchen des Projekts lassen sich in der Projektdokumentation auf Github einsehen.

Fazit: Was wir aus dem Projekt gelernt haben

Das Projekt hat deutlich gezeigt, dass die Wahl der richtigen Bewertungsmethode entscheidend dafür ist, die Qualität maschineller Übersetzungen präzise zu beurteilen. Besonders hervorzuheben sind dabei die Bibliotheken "Textstat" zur Überprüfung der Lesbarkeit, "LanguageTool" für die grammatikalische Analyse sowie der mBERTScore zur Ermittlung der inhaltlichen Ähnlichkeit von Texten. Diese Tools haben sich als besonders effektiv erwiesen und lieferten wertvolle Einblicke in die Qualität der maschinellen Übersetzungen. Trotz Verbesserungen haben Übersetzungssysteme weiterhin Herausforderungen bei Konsistenz, Grammatik und Lesbarkeit, wobei menschliche Kontrolle unerlässlich bleibt. Die Ergebnisse (zu finden auf Github) sind wertvoll für Unternehmen und Entwickler, da kontinuierliche Verbesserungen der Bewertungsmethoden die Übersetzungsqualität zukünftig steigern können.

Ansprechpartnerin

Künstliche Intelligenz - Sprachtechnologien

Sandra Nuißl

E-Mail: sandra.nuissl@hs-ansbach.de

Erfahre mehr

Neben interessanten Blogartikeln und Fachbeiträgen bietet das Mittelstand-Digital Zentrum Franken ebenso Workshops, Schulungen, E-Learnings und weitere hilfreiche Materialien zur Unterstützung von mittelständischen Unternehmen.
Hier geht's zu unseren Events

Projektdokumentation

Download

Projektzusammenfassung