Ergebnis-Kategorisierung; Teil 3 der Serie zu Social Media Monitoring

Hintergrund

In einer Beitragsreihe in diesem Blog werden die Social Media Monitoring Tools

  • “Com Monitor”* von der Schweizer Firma Netbreeze* (www.netbreeze.ch)
  • “socialMeme”* von dem Berliner Startup Mediametrics* (www.social-meme.com)

*alles geschützte Zeichen

an Hand einiger Muster-Cases vorgestellt und verglichen. Die Aussagen beruhen auf Beispiel-Searches, die im Juli und August 2012 auf Testaccounts dieser Produkte von Vianova-Company durchgeführt wurden.

Das Ziel

Antworten auf die Fragen erhalten, ob eines der Produkte für die praktische Arbeit eines Social Media Verantwortlichen (intern oder extern) besonders geeignet ist und ob sich ein entsprechender Invest lohnt.

An wen richtet sich diese Beitragsreihe hier?

An jeden, der vor einer Kauf-Entscheidung in Sachen Social Media Monitoring steht. Auch wenn die beiden Produkte hier vielleicht gar nicht auf der Einkaufs-Shortlist stehen – interessante Anregungen für die eigene Bewertung sind sicher enthalten.

Welche Themen werden behandelt?

In den vorangegangenen Beiträgen wurden diese Themen behandelt

In diesem Beitrag wird die Kategorisierung der Ergebnisse beleuchtet. Wie unterstützen die Tools den Anwender beim Ordnen der Ergebnisse, wie helfen sie, aus vielen Bäumen Wälder zu machen?

Ergebnis-Kategorisierung: wie werden die gefunden Artikel und Beiträge geordnet?

Die Sortierung der Ergebnisse eines Searches kann auf verschiedene Arten erfolgen, z.B. dadurch, dass man statt nach Erwähnungen von TV-Krimiserien im Ersten allgemein differenzierter gezielt nach “Tatort”, “Polizeiruf 110″, “Wallander”, “Sherlock Holmes” etc. sucht, also mehrere Searches statt einem aufsetzt und die jeweils anderen Treffer durch Exklusion ausschließt. Eine solche Ordnung wird durch die “Search-Architektur” definiert und muss bereits ganz am Anfang eines Monitoring-Prozesses definiert werden.

Wir wollen hier nur solche Methoden betrachten, bei denen die (zunächst unsortierten) Treffer als ein großer, chaotischer Berg vorliegen und der Frage nachgehen: Welche ordnenden Hilfsmittel bieten die Produkte hier?

Jede “Dimension” eines Suchergebnisses ist grundsätzlich auch ein Ansatzpunkt für eine Ordnung, für Zusammenfassungen und Abgrenzungen. Die wesentlichsten Dimensionen der Social Media Monitoring Treffer sind

  • Zeit; hier können Tage z.B. zu Wochen oder Monaten zusammengefasst werden (eine sehr triviale Ordnung)
  • Medien-Quelle; einzelne soziale Netze können zum Oberbegriff “social networks” zusammengefasst werden, News-Portale nach ihrem Themenschwerpunt (Wirtschaft, Unterhaltung etc.). Auch eine Gruppierung nach Reichweite der Medien ist denkbar.
  • Autor; Autoren können z.B. nach ihrem Einfluss, der Größe ihrer “Gemeinde” klassifiziert werden
  • Sprache; Klassifikationen nach Alphabet (lateinisch, kyrillisch, Kanji, chinesisch etc.) oder Anzahl der “native-speaker” wären sinnvoll
  • Beziehung zu anderen Treffern; welche Beiträge, Autoren oder Medien lösen stark / schwach Folge-Beiträge aus?
  • Thema, Inhalt; welche Themen werden überhaupt angesprochen, worum geht es im Detail; die Kategorisierung ist hier ein fachliches Tagging.
  • Sentiment; die klassische Einteilung hier ist positiv, negativ, neutral. Und obwohl “Sentiment” hier als letzte Dimension aufgeführt wird, ist sie für die operative Arbeit oft eine der wichtigsten.

Wie stehen nun die beiden untersuchten SaaS-Anwendungen in Bezug auf diese Ordnungs-Dimensionen da, wie helfen sie dem Anwender?

Die Hilfe bzw. Verwirrung beginnt schon mit der Klarheit und Einfachheit des Monitoring Prozess selbst. Ihn muss man sich bei beiden Produkten ungefähr so vorstellen:

  • Die Search-Phase. Sie beginnt mit der Definition der Kriterien und Quellen (siehe vorherige Artikel), geht dann über in die eigentliche Web-Suche, die mehrere Stunden dauert und mündet in die Trefferliste (die über die Zeit sukzessive anwächst).
  • Die Auswertungs-Phase. Sie setzt auf die Ergebnisse der Search-Phase auf und erlaubt weitere eingrenzende Filterungen, deren Ergebnis dann in Reports und Dashboards präsentiert werden kann.

Beide Produkte haben den Monitoring-Prozess so modelliert. Allerdings ist die wichtige Trennung hier Search – da Analyse bei Netbreeze klarer herausgearbeitet. Man verlässt den sog. “Settings” Bereich und öffnet das “Dashboard”-Fenster. (“Analyse”-Fenster würde eigentlich besser passen, aber jeder Manager, der auf sich hält, will heutzutage Dashboards sehen). Und auch das Menü für die weitere Filterung und Sortierung der Ergebnisse ist bei Netbreeze übersichtlicher gestaltet als bei socialMeme.

In Sachen Benutzerführung bei der Ergebnisaufbereitung hat Netbreeze also einen Vorsprung.

Wie steht es nun mit den Einzeldimensionen?

  • Dimension Zeit: keine substantiellen Unterschiede der Produkte. Allerdings wünscht man sich bei beiden vergeblich die Option der Gruppierung der Ergebnisse nach Wochentagen und Tagesabschnitten: Was kommt unter der Woche, worüber schreibt die Community am Wochenende? Was ist ein Thema für den Vormittag, den Abend, die Nacht? Solche Erkenntnisse können für das “Broadcasting” von Product-News essentiell sein.
  • Dimension Medien: Netbreeze verfügt über einen 5-stufigen “Score” für die Quellen, der auf den Einstufungen von Alexa (alexa.com) und Klout (klout.com) beruht. So können z.B. Beiträge und ganze Beitragsgruppen wegen niedrigem “Reach” für die Dashboard-Auswertungen deselektiert werden, eine gute Klassifikationshilfe, gerade bei stark verrauschten großen Trefferlisten.
    Bei beiden Produkten wäre eine Liste der abgesuchten Quellen hilfreich (siehe auch Beitrag 2) um hier ähnliche zusammen zu fassen. Zumindest könnte es die Funktion geben, aktive Quellen (= Quellen aus der Trefferliste) einzeln aufzulisten und nach (freien) Kriterien zu gruppieren.
  • Dimension Autor: keine substantiellen Unterschiede der Produkte. Wer unbedingt und primär bei seinem Monitoring die guten wie bösen Autoren, ihre Themen-Präsenz und Wirkung auf die Community erkennen muss, sollte hier jedoch nochmal genauer schauen, viel Zeit haben wir diesem Thema nicht gewidmet.
  • Dimension Sprache: keine substantiellen Unterschiede der Produkte. Die oben genannte Sortierung der Sprachen nach Anzahl Muttersprachler könnte für einige internationale Konzerne indessen von Relevanz sein – und die Funktion ist sicher leicht zu implementieren.
    Keineswegs leicht zu implementieren, weil fachlich sehr kompliziert, ist allerdings eine Funktion, die man wohl generell auf dem Markt vergeblich sucht: Differenzierung der Beiträge nach den Englisch-Sprachräumen, zumindest Amerika (USA und Kanada) vs. Europa (UK) vs. Australien. In einigen Bereichen kann man sich hierfür an der URL orientieren, oft muss man aber sich aber auf so feinsinnige Unterscheidungen wie zwischen “program” und “programm” verlassen.
  • Dimension Beziehungen zu anderen Treffern. Zu diesem Punkt hat socialMeme mit der Funktion “Diffusion” eine interessante und innovative Funktion entwickelt. Eine ausführliche Darstellung würde hier den Rahmen sprengen. Vereinfacht gesagt werden Beiträge, die sich auf einen anderen Beitrag beziehen, als Punkt zusammengefasst und mit einem Strich zu diesem “Auslöser” dargestellt. Mit Mouseover (hier im Bild: “15 items are here…”) bekommt man einen ersten Eindruck, um was es sich bei einem einzelnen Punkt thematisch handelt. Vertiefende Analysen jedes einzelnen Beitrags können darauf aufsetzen. Die Punkte werden zudem noch nach dem “average-sentiment”, der “Tonalität im Mittel” eingefärbt (gelb bedeutet neutral, grün positiv, rot negativ)


Quelle socialMeme by Mediametrics; Diffusion-Chart; 18.8.2012, 11:45

  • Dimension Thema, Inhalt: Angenommen es sollen die Social Media Beiträge zu einem Markenartikel auf ihren Inhalt analysiert werden. Hierfür wird man generell nur rudimentären automatischen Support in SMM Tools finden. Handelt es sich um zudem eine Einmal-Analyse mit nicht mehr als 10.000 Beiträgen, so wird man um die mühsame Arbeit des manuellen Auswertens, Beitrag für Beitrag, kaum herumkommen. Denn das Aufsetzen einer automatischen Themenerkennung ist sehr aufwendig, die “äugische” Klassifikation ist schlicht günstiger.
    Für so eine Themen-Klassifikation, so ein “Tagging”, möchte man also Tags aus einem Set von vielleicht 20 vergeben und nach getaner Arbeit danach auswerten. Beispiel Lebensmittel-Produkt: Die Tags könnten hier z.B. Geschmack, Verpackung, Preis, Farbe, Geruch etc. etc. sein. Worüber wird bei meinem Produkt viel gesprochen?
    So naheliegend diese Anforderung ist, so erstaunlich ist, dass beide Produkte hier nur wenig Support bieten. Netbreeze erlaubt die Vergabe von 3 Farbtags, socialMeme stellt die definierten Schlagworte dann nicht in einer Auswahlliste für das weitere Tagging zur Verfügung, man muss den ersten Buchstaben eintippen. Beides ist so nicht praxisfähig, socialMeme ist aber dichter dran an einer Lösung.

    Aktueller Fakt ist
    : Für eine effiziente Bearbeitung mehrerer 100 Beiträge muss man diese exportieren und dann bzgl. Tagging und anschließende Auswertung in einem Fremdprogramm weiterarbeiten.
  • Dimension Sentiment: Was bieten die beiden Produkte hier an Klassifikationsmöglichkeiten? Netbreeze kennt + und -, die auch noch grün und rot eingefärbt sind, hier ist die Welt dual. Bei socialMeme gibt es auch noch das neutrale Gelb. In der Praxis merkt man schnell: dieVerkürzung auf 2 Werte ist nicht ausreichend. In aller Regel sind über die Hälfte der gefundenen Beiträge nicht diesen Werten zuzuordnen. Fragen oder Ankündigungen, einfache Statements (“meine Katze hat Hunger!”) lassen sich eben nicht in so ein polares Schema pressen.Bei einer manuellen Sentiment-Bewertung (sehr zu empfehlen, schon allein um ein Gefühl für die Vieldeutigkeit von Sprache zu bekommen) von 100 Beiträgen ergaben sich 65 Übereinstimmungen bei socialMeme und 52 bei Netbreeze, die Trefferquote war also Pi-mal-Daumen zwei Drittel vs. Hälfte. Das schlechtere Abschneiden von Netbreeze beruhte dabei einzig auf dem Fehlen der Neutral-Kategorie, sonst war die Sentiment-Erkennung im erwartbaren Rahmen okay. Denn das ist ein Erfahrungswert unter “Sentimentern”: über 70% Genauigkeit kommt man nur mit sehr großem Aufwand. Netbreeze hat für den Herbst ein neues Release angekündigt, in dem es auch neutrales Sentiment geben wird, das ist auch höchste Zeit.Es gibt noch 2 weitere Merkmale, die den klaren Vorsprung von socialMeme in Sachen Sentiment-Management untermauern. Zum einen kann man hier jeden Clip, Artikel und Beitrag bzgl. Sentiment frei umdefinieren und so z.B. “negativ” in “positiv” oder “neutral” korrigieren. Das ist wirklich nützlich, denn diese neuen Bewertungen sind ab dem Zeitpunkt der Änderung die neue Arbeitsgrundlage für das weitere Reporting. Und, vielleicht noch wertvoller: der Sentiment-Erkennungs-Algorithmus lernt aus diesen Änderungen und berücksichtigt sie bei weiteren Bewertungen. Wie das genau geschieht konnten nicht erkannt werden, aber wenn es stimmt (und davon gehen wir aus), dann ist das wirklich ein mächtiges Werkzeug.

Netbreeze hat einen klaren Pluspunkt in Sachen Klassifizierung und Filterung der Treffer nach “Score”, einer Art “Alexa-Klout-Reach”, das ist nützlich. Aber unter dem Strich sind die Argumente für socialMeme stärker. Die innovative-Diffusion-Darstellung bei socialMeme ist schon interessant, doch nicht jeder wird sie regelmäßig nutzen. Den eindeutigen Ausschlag gibt das Sentiment-Management, das bei socialMeme wirklich gut gelöst ist.

Im nächsten Beitrag (der vorletzte) geht es um das Reporting und den Export der Daten. Im letzten Beitrag werden wir dann alles zusammenfassen und mit einigen Zusatzinfos in eine Gesamtbeurteilung fließen lassen.

 

Gründer und CEO von Vianova-Company

Getagged mit: , , , , , , ,
Veröffentlicht unter Allgemein, Marketing, Monitoring, Social Media

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*

Du kannst folgende HTML-Tags benutzen: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>