Möglichkeiten und Grenzen der Tonalitätserkennung

Fachbeitrag
Jan Bartels
Jan Bartels
Jan Bartels widmet sich der Integration von KI-Modellen ins Review Monitoring & Management.

Die Erkennung der korrekten Tonalität eines Social Media Posts (positiv, neutral, negativ) spielt beim Social Media Monitoring eine entscheidende Rolle. Erst dadurch können Unternehmen die wirkliche Stimmung rund um ihre Produkte und Marken im Social Web einfangen.

Wie ist die letzte Kampagne aufgenommen worden? Wie steht es um die Reputation unserer Geschäftsführung? Wer sind die Für- und Widersprecher unseres Unternehmens? Zur Tonalitätsbestimmung verwenden Monitoring Tools zwei grundlegende Methoden, zum einen die manuelle Vorgehensweise durch geschulte Analysten, zum anderen die automatisierte Erkennung durch entsprechende Technologien. Zwischen beiden gibt es nach wie vor große qualitative Unterschiede. Woran liegt das jedoch und welche Variante macht Sinn für welchen Anwendungsfall? Im ersten von zwei Blogbeiträgen zu dieser Thematik beschäftigen wir uns mit der automatisierten Auswertung durch Computertechnologien.

Automatisierte Tonalitätsbestimmung

 
Die Weiterentwicklung der automatisierten Erkennung der Tonalität stellt weiterhin eine große Herausforderung für Monitoring Anbieter dar. Die Vorteile einer solchen Textanalyse liegen auf der Hand. Nahezu in Echtzeit lassen sich große Datenmengen in Form einer Social Media Analyse analysieren, sodass der Kunde stets über das aktuelle Geschehen rund um dessen Suchauftrag informiert ist. Ebenso werden auf Anbieterseite dadurch Human Ressources eingespart. Zwar konnten wir die Analysequalität in den vergangenen Jahren sukzessive verbessern, dennoch gibt es weiterhin große qualitative Unterschiede gegenüber einer manuellen Auswertung. Im Folgenden möchten wir einen Überblick geben, bei welchen Aussagen eine automatisierte  Tonalitätserkennung an Ihre Grenzen stößt.

 

„Das sind ja Arbeitsbedingungen wie bei Primark!“

Kontext:

 
Bei einer automatisierten Tonalitätsbestimmung würde dieser Beitrag höchstwahrscheinlich als „neutral“ eingestuft. Ein Analyst erkennt an dieser Stelle jedoch den negativen Kontext („Arbeitsbedingungen wie bei Primark“) und würde den Beitrag daher negativ einstufen.

 

„Die neue Jeanskollektion von Kik ist qualitativ echt hochwertig.“

Ironie:

 
Ironie und Zynismus wird vor allem im Social Web sehr häufig verwendet. Selbst Analysten haben hierbei ab und an Probleme solche Beiträge korrekt einzustufen. Automatisierte Lösungen haben es entsprechend noch schwerer.
 

„Verdammtes Wetter, bin völlig nass. Wenigstens fährt die S-Bahn.“

Tonalität Beitrag vs. Tonalität aus Markensicht:

 
An diesem Beispiel wird deutlich, dass ein Beitrag insgesamt negativ sein kann, aus Unternehmenssicht (S-Bahn) jedoch neutral oder sogar positiv einzustufen ist. Auch hier haben Technologien bei der Tonalitätserkennung häufig Probleme.
 

Sehr kurze Beiträge:

 
Eine Tonalitätsbestimmung bei sehr kurzen Beiträgen ist ebenfalls nicht immer leicht. Postet ein Nutzer z.B. lediglich „Krombacher“, so stuft die Technologie diesen Beitrag als neutral ein. Analysten versuchen an der Stelle hingegen wiederum den Kontext dieses Posts zu eruieren, jedoch ist auch dieser nicht immer gegeben.
 

Bewertung entspricht nicht dem Wortlaut:

 
Gerade in Verbraucherportalen haben Nutzer häufig die Möglichkeit Unternehmen und Produkte an Hand von Punkten, Sternen oder ähnlichem zu bewerten. Zudem kann eine Bewertung in Textform hinzugefügt werden. Für die Technologie besteht hier die Schwierigkeit diese beiden Angaben zusammenzuführen, gerade, wenn diese sich unterscheiden (positive Sterne-Angabe, negatives Statement).
 

„Super SNB, bi gspannt uf die erschte Reaktione vom Tourismus…“

Umgangssprache, Rechtschreibfehler, Dialekte, Schwitzerdütsch und Co.:

 
Im Internet schreiben Nutzer häufig, wie sie in ihrer Region sprechen. Das heißt Beiträge werden nicht auf Standarddeutsch verfasst. Ebenfalls gibt es für Umgangssprache und Dialekte keine einheitliche Schreibweise. Auch mangelnde Orthografie erschwert eine automatische Einstufung der Beiträge. Darüber hinaus können bestimmte Sätze natürlich auch verschiedene Bedeutungen haben oder der Satzbau wirkt sich auf die Tonalität des Beitrages aus.
 

Sharing-Funktionen:

 
Oftmals verwenden Nutzer im Social Web die Sharing-Funktionen von YouTube, WordPress & Co., um spannende Inhalte zu teilen. Hierbei wird häufig ein Text vordefiniert („I liked a Video on YouTube…“). Dadurch entsteht die Problematik, das Beiträge nicht identisch mit der Sprache des Users sind, beziehungsweise, dass z.B. die Aussage zur beobachteten Marke im Video negativ ist, der Nutzer jedoch das Video für positiv befindet.
 

 

Sie sind auf der Suche nach einem Tool oder Dienstleister?
Sprechen Sie uns an, wir beraten Sie gerne!
KOSTENLOSE BERATUNG

 

 

Manuelle Tonalitätserkennung:

 
Auf der einen Seite ist diese Art der Analyse natürlich teurer und es muss entschieden werden, ob ein gesundes Verhältnis aus Kosten- und Nutzen gegeben ist. Andererseits kann eine manuelle Tonalitätserkennung eine deutlich höhere Qualität der Ergebnisse erreichen. In der Regel werden über 95% der Beiträge von der Tonalität her korrekt eingestuft. Bei der automatisierten Variante liegt der Prozentsatz richtiger Bewertungen hingegen bei circa 60-70%. Jedoch gibt es auch bei der manuellen Methode Grenzen:
 

"Becks Bier gehört zu Bremen wie die Stadmusikanten"

 
 

Bewertung aus Nutzersicht:

 
Das Hauptproblem bei der Bewertung durch Analysten ist darin zu sehen, dass jeder Mensch Inhalte individuell bewertet. Daher gibt es bei manchen Beiträgen kein richtig oder falsch bewertet. Ein Bremer oder Becks-Fan würde dieses Zitat gegebenenfalls als positiv empfinden. Für jemanden anderes stellt dies hingegen nur eine banale und neutrale Aussage dar.
 

"Die Bahn kündigt erneute Gebührenerhöhungen an"

 
 

Bewertung aus Unternehmenssicht:

 
Eine weitere Schwierigkeit ist die Bewertung der Ergebnisse des Monitorings aus Unternehmenssicht. Angenommen obige Aussage stammt von einem Online-Newsportal, so ist die Tonalität des Beitrages neutral, weil in einem redaktionellen Beitrag in der Regel keine Wertung vorgenommen wird. Aus Sicht der Bahn hingegen könnte interpretiert werden, dass die Reaktionen, welche durch solch eine Schlagzeile hervorgerufen werden wohl negativer Natur sein werden. Somit könnte dieser Beitrag ebenfalls als negativ eingestuft werden. An dieser Stelle hilft eine regelmäßige Abstimmung mit dem entsprechenden Unternehmen, wie wiederkehrende Beiträge generell eingestuft werden sollen, um die Tonalität nicht zu verfälschen und aus Unternehmenssicht korrekt zu bewerten.
 

Mehrere Tonalitäten in einem Beitrag:

 
Bei einigen Beiträgen liegt die Problematik darin, dass innerhalb eines Posts verschiedene Aussagen zu einem Suchbegriff getroffen werden, welche natürlich verschiedene Tonalitäten besitzen können. Bei einer menschlichen Bewertung kann der Kunde hier wählen, ob die verschiedenen Aussagen separat ausgewiesen werden sollen (z.B.: Thematik: Anmeldung – Tonalität: negativ, Thematik: Hotline –Tonalität: positiv) oder, ob eine Gesamttonalität des Beitrages vorgezogen wird.
 

Ähnliche Beiträge:

 
Weiterhin ist es für das Analystenteam eine Herausforderung, ähnliche Beiträge stringent zu bewerten. Dies verstärkt sich natürlich, wenn Datensätze von verschiedenen Analysten bearbeitet werden. Letztlich ist Monitoring als Prozess zu begreifen. Je länger ein Projekt läuft, desto höher wird die Qualität der Daten und somit der Erkenntnisgewinn für die Unternehmen. Zudem können bestimmte Vorgaben sukzessive im Rahmen eines sogenannten Codebuchs festgehalten werden, welches das Analystenteam dabei unterstützt Beiträge korrekt zu kategorisieren und zu bewerten.

Sie haben Fragen zur Aufbereitung von Daten? Sprechen Sie uns einfach an, wir beraten Sie gerne.

Weitere interessante Artikel