Piqd-Kollege Jannis Brühl empfahl gestern einen Artikel von James Vincent auf The Verge, der sich mit der angeblichen Vermüllung des Internets durch generativen AI-Content beschäftigt. Casey Newton schreibt in seinem Blog The Platformer Ähnliches und auch wenn ich das scheinbare Problem einer Flut an synthetischen Inhalten nicht kleinreden möchte, so sehr denke ich, dass das Netz schon seit langem einer Flut maschinenoptimierter und minderwertiger Inhalte ausgesetzt ist. Lustigerweise erschien auf The Verge vor wenigen Tagen erst ein Text genau darüber: Wie das "SEO arms race has left Google and the web drowning in garbage text". 

In einem Kommentar unter Jannis' Linkempfehlung schrieb ich noch:

Ja, die Automatisierung des Bullshits ist ein Problem aufgrund einfacher Skalierung, aber ich bin mir mehr als sicher, dass wir genau wie bei SEO-Crap und Spam Mechanismen finden werden und diese die menschliche Konversation im Netz nur am Rande tangieren.
Es ist ein bisschen wie mit der vielbeschriebenen Flut an Desinformation durch die Demokratisierung des Publishing oder die sagenumwobenen Social Bots: Ja, es gibt eine Menge davon und Nein, das meiste davon hat so gut wie keinen Impact.
Anders formuliert: AI senkt nocheinmal die Kosten der Bullshitproduktion, aber die Kosten der Produktion waren nie das Bottleneck, sondern die Distributionskosten, um in Deinen Feed zu gelangen, und dazu braucht es Aufmerksamkeit und die gibt es nur in den allerseltensten Fällen für Bullshit.

Sayash Kapoor und Arvind Narayanan von AI-Snakeoil haben nun für die Columbia Universität einen langen Artikel über den realistischen Impact synthetischer Inhalte in sozialen Medien geschrieben und kommen ebenfalls zu dem Schluß, dass AI zwar die Kosten zur Bullshitproduktion weiter senkt, das Bottleneck zum erfolgreichen Impact aber nach wie vor menschliche Psychologie ist.

Davon ausgehend identifizieren sie Formen von synthetischen Inhalten, deren schädliche Wirkung bereits jetzt zu sehen ist und die auf politische Regulierung drängen: Nichtkonsensuale Deepfakes und Betrugsmaschen mit Voice-Cloning. Bereits jetzt werden Frauen mit synthetischen Nacktbildern unter Druck gesetzt und Rentner mit gefälschten Stimmen um ihre Ersparnisse gebracht. Diese Gefahren sind echt, wirken bereits jetzt, und mimetische Open Source AI-Systeme erzeuge in diesen Fällen tatsächlich neuartige Bedrohungsszenarien.

Ebenfalls erwähnen sie etwa AI-Fotofilter, die jedes Bild in jeder nur erdenklichen Weise mit einem Klick optimieren können bis hin zu einer realistischen Zeitreise in die Teenager-Jahre. Der psychologische Impact solcher demokratisierter Editierungsmöglichkeiten unserer Bildwelten ist bereits abzusehen: Vor einem Jahr piqde ich hier eine Studie darüber, wie Fotofilter heute schon die Zahlen für schönheitschirurgische Eingriffe hochtreiben, da sie die Wahrnehmung des eigenen Gesichts verändern. Die Wirkung von AI-verstärkten, visuellen One-Klick-Wunschmaschinen könnte noch einmal größer ausfallen, grade im Hinblick auf Virtual und Augmented Reality.

Darüber hinaus verschleiert die Debatte über angeblich das Netz vergiftende AI-Inhalte andere ökonomisch-toxische Wirkungen der AI-Entwicklung: Die Illusion kognitiver Algorithmen wird erzeugt durch eine neue Klasse von Arbeitern, die für Hungerlöhne im Ausland die Datensets erstellen, auf denen die neuen Wundermaschinen trainiert werden.

Wir sollten bei den ganzen Warnungen vor einer angeblichen Flut durch AI-erzeugten SEO-Bullshit nicht vergessen, dass SEO-Bullshit und Spam schon immer ein Problem war, aber die menschliche Konversation im Netz nicht wirklich beeinträchtigt hat, und dass die Debatte um diese angebliche Flut die Sicht auf ökonomische Probleme und die subtileren, psychologisch schädlichen Wirkungen verstellt.