Technologieunternehmen bemühen sich, Extremismus und Gewalt im Netz einzudämmen. So entfernte Google innerhalb eines Jahres 160.000 Fälle schädlicher Inhalte von Plattformen wie Drive, Photos und Blogger. Auch Facebook ging allein im ersten Quartal 2024 gegen rund 3,5 Millionen Fälle gewalttätiger Inhalte vor.

Nicht regelkonforme Online-Inhalte treten in vielerlei Formen auf, darunter Urheberrechtsverletzungen, Verstöße gegen regionale Sprachvorgaben sowie Zuwiderhandlungen gegen Gesetze zur Obszönität, etwa durch vulgäre Sprache oder Anstößigkeit.

Content-Moderationsrichtlinien lassen sich nicht universalisieren oder in starre Hierarchien zwängen, da sie stark vom jeweiligen Kontext abhängen. Lokale Kulturen, Sprachen, nationale Gesetze und die spezifischen Normen einzelner Plattformen beeinflussen maßgeblich, wie diese Richtlinien formuliert und umgesetzt werden.

Auch wenn maschinelles Lernen vielversprechend bei der Erkennung problematischer Inhalte ist, bleibt menschliche Aufsicht unerlässlich. Der Anspruch auf hohe Genauigkeit und geringe Fehlerquoten sowie die subjektive und sich ständig wandelnde Natur von Moderationsrichtlinien und beanstandeten Inhalten machen eine menschliche Einschätzung als Ergänzung zu automatisierten Systemen unverzichtbar.

Schätzungen zufolge sind weltweit über 100.000 bezahlte Content-Moderatorinnen und -Moderatoren im Einsatz. Diese vielfältige Arbeitskraft umfasst unternehmensinterne Prüfer, Vertragskräfte von Drittanbietern sowie ausgelagerte Online-Arbeitskräfte, alle mit dem Ziel, die Herausforderungen eines sicheren digitalen Raums zu bewältigen.

Content-Moderation ist von Natur aus anspruchsvoll, doch die psychischen Belastungen werden zunehmend anerkannt. Die fortwährende Konfrontation mit belastendem Material, gepaart mit unzureichender Unterstützung am Arbeitsplatz, kann die mentale Gesundheit menschlicher ModeratorInnen stark beeinträchtigen.

Gael, ein ehemaliger freiberuflicher Moderator für Bumble, arbeitete häufig in Nachtschichten von seinem Zuhause in Brasilien aus. Er begann seinen Arbeitstag gegen 21 oder 22 Uhr und widmete der Tätigkeit bis zu sechs Stunden, meist bis in die frühen Morgenstunden.

Nach dem Einloggen in Bumbles System begann Gael damit, eine Warteschlange gemeldeter Inhalte in mehreren Sprachen zu prüfen. Das zeigt, wie stark sprachliche und kulturelle Vielfalt in der Content-Moderation eine Rolle spielt.

Wie Gael beschreibt, treten auf Bumbles Plattform zahlreiche Regelverstöße auf. Dazu gehören minderjährige Nutzerinnen und Nutzer, beleidigende oder verletzende Inhalte in verschiedensten Formen sowie eine auffallend hohe Zahl sexueller Belästigungen, eines der größten andauernden Probleme der Plattform.

Laut Gael zählen Diskriminierung und toxisches Verhalten von männlichen Nutzern zu den wiederkehrenden Problemen auf Bumble.

Zudem hat die Plattform mit kommerziellem Fehlverhalten zu kämpfen, darunter Profile, die entweder durch Betrugsmaschen oder durch legitime, aber unzulässige Werbung Einnahmen erzielen wollen.

Sobald eine Meldung geprüft wurde, bewerten die Moderatorinnen und Moderatoren, ob das gemeldete Verhalten gegen Bumbles Richtlinien verstößt. Wird ein Regelverstoß festgestellt, entscheiden sie über geeignete Maßnahmen, bis hin zur Sperrung des betreffenden Nutzers.

"Wenn jemand ein ungewollt anzügliches Bild verschickt, wird diese Person sofort gesperrt", erklärte Gael. Und wenn ein Nutzer etwas Rassistisches sagt, "ist das eine direkte Sperre."

Gael ergänzt: "Dann gibt es noch extremere Fälle, etwa Interesse an Kindern. Solche Dinge fallen in eine höhere Kategorie von Sperrung, weil es sich um Situationen handelt, die zusätzlich untersucht werden müssen."

In Fällen mit illegalem Verhalten leitete Gael die Meldung an ein höher gestelltes internes Team weiter. Diese spezialisierte Gruppe befasst sich mit den schwerwiegendsten Verstößen und stellt sicher, dass geeignete Maßnahmen gegen rechtswidrige Aktivitäten auf der Plattform ergriffen werden.

Missbrauchsmeldungen auf Bumble stammen aus zwei Hauptquellen: Nutzermeldungen und automatisierte Erkennung. Laut Gael erkennt die maschinelle Lernsoftware der Plattform bestimmte Wörter, Formulierungen oder Bilder, die auf mögliche Verstöße hinweisen und markiert diese Inhalte zur weiteren Überprüfung.

Laut Gael wurde von Moderatorinnen und Moderatoren erwartet, 100 Meldungen pro Stunde zu bearbeiten, also durchschnittlich alle 36 Sekunden eine. Diese Zielvorgaben variierten jedoch je nach Art der zugewiesenen Aufgaben.

Gael schaffte es in der Regel, das anspruchsvolle Ziel von 100 Meldungen pro Stunde zu erreichen, doch das hinterlässt Spuren: "Es ist wirklich eine Art Gehirnwäsche für die ModeratorInnen, denn nach fünf Stunden hat man … 600 Meldungen über missbräuchliches Verhalten durchgearbeitet."

Die schwerwiegendsten Fälle, mit denen Gael konfrontiert war, haben einen bleibenden Eindruck bei ihm hinterlassen. Solche belastenden Situationen verdeutlichen, welche emotionalen und psychischen Spuren die Moderationsarbeit hinterlassen kann, insbesondere beim Umgang mit verstörenden oder traumatischen Inhalten.

Gael berichtete von zwei besonders verstörenden Fällen, denen er während seiner Moderationstätigkeit begegnete. In einem Fall ging es um explizite Bilder, die auf eine ältere Person mit einer jüngeren Person hindeuteten, im anderen um explizite Fotos.

Zwar stellt Bumble seinem festangestellten Personal Unterstützung im Bereich der psychischen Gesundheit zur Verfügung, doch Freiberufler wie Gael waren von diesen Leistungen ausgeschlossen. Diese Ungleichbehandlung verdeutlicht die Herausforderungen, mit denen Vertragskräfte konfrontiert sind, wenn es um den Zugang zu essenziellen Ressourcen für ihr Wohlbefinden geht.

Gael äußerte seine Frustration über das fehlende Training im Umgang mit stark belastenden Inhalten: "Es ist, als würde man erwarten, dass man klug und flexibel genug ist, um mit solchen Situationen alleine klarzukommen", sagte er.

Gael kritisierte den mangelnden Rückhalt für ModeratorInnen und wies auf eine auffällige Ironie hin: Während Bumble großen Wert auf die Sicherheit seiner Nutzerinnen und Nutzer legt, werde das Wohlbefinden derjenigen vernachlässigt, die genau dafür verantwortlich sind.

Bumble erklärte, dass freiberufliche Content-ModeratorInnen die Flexibilität hätten, ihre Aufgaben selbst auszuwählen und ihr tägliches Arbeitspensum eigenverantwortlich zu gestalten. Zudem betonte das Unternehmen sein Engagement für Sicherheit und verwies darauf, dass es seine Investitionen in diesem Bereich seit 2021 verdoppelt habe.

Bumble erklärte außerdem, dass seine ModeratorInnen ausführliche Durchsetzungsrichtlinien sowie standardisierte Meldeverfahren erhalten, um mit unterschiedlichen Arten von mutmaßlichem Missbrauch umzugehen (abgebildet ist Bumble-CEO Lidiane Jones).

Gael verdiente 10 € pro Stunde für seine Arbeit als freiberuflicher Moderator. Umgerechnet in brasilianische Reais empfand er diesen Lohn als sehr gut, er gab ihm ein Gefühl von finanzieller Stabilität, trotz der anspruchsvollen Natur der Tätigkeit.

Trotz der attraktiven Bezahlung stellte Gael fest, dass die Moderationstätigkeit erheblich an seinem Wohlbefinden zehrte. "Ein oder zwei Wochen, nachdem ich gekündigt und in meinen jetzigen Job gewechselt hatte, fühlte ich mich deutlich erleichtert", erzählte er.

Rückblickend beschrieb Gael seine Zeit als Content-Moderator als eine harte, aber lehrreiche Erfahrung. Dennoch gab er zu: "Ich möchte das nicht noch einmal machen" und betonte damit die Herausforderungen und die emotionale Belastung, die mit der Rolle einhergingen.

Quellen: (The New Yorker) (The Bureau of Investigative Journalism) (Crowd Intelligence Lab)

Lesen Sie auch: Die stressigsten und entspanntesten Berufe auf dem Arbeitsmarkt dieser Tage