Cortana – eine digitale Assistenz zwischen Spracherkennung und Weltraumschlachten

Dieser Beitrag basiert auf dem gleichnamigen Talk von Rudolf Inderst & Pascal Wagner auf der FROG: Future and Reality of Gaming 2019 vom 20.10.2019 in Wien.

Nachdem Microsoft in den 1980er-Jahren in den Büros andere Betriebssysteme in eine Nische gedrängt hatte, begann das US-Unternehmen 1995 eine massive Unterhaltungsoffensive. DirectX wird als Spieleplattform etabliert, man wird auf dem Zubehörmarkt aktiv und investiert in namhafte Spielefirmen wie zum Beispiel FASA oder Bungie, die zuvor zu den erfolgreichsten Entwicklern für den Macintosh gezählt hatten. Fünf Jahre später wiederum enthüllt Bill Gates persönlich auf der GDC schließlich Microsofts erste Spielekonsole – die Xbox.

Microsoft Xbox: Quelle: Wikipedia.de

Anfang 2002 werden die Geräte für einen vergleichsweise hohen Startpreis von 480 Euro in Europa ausgeliefert. In ihrer Designsprache zwischen Protz-SUV und 1980er-Videorekorder angesiedelt, kann die Konsole technisch gesehen punkten. Man denke nur an die eingebaute Festplatte, Spiele mit 5.1-Dolby-Digital-Soundtrack sowie HDTV-Grafik oder die 10/100er-Schnittestelle, die das Auftakt für den Online-Konsolenservice schlechthin wird: Xbox Live. Als der Hardware-Nachfolger, die Xbox 360, schließlich die Bühne betrat, hatte man etwa 24 Millionen Geräte verkauft. Der Hauptkonkurrent Sony hatte übrigens mit seiner weitaus billiger zu produzierenden PlayStation 2 100 Millionen Units abgesetzt. Für Microsoft war diese erste Xbox-Generation ergo ein teuer erkauftes Einfallstor in den amerikanischen und europäischen Konsolenmarkt – insgesamt vier Milliarden US-Dollar Verlust ließ sich der Konzern diesen strategischen Schritt kosten. Zudem war es nicht gelungen, in „Ludo-Mutterland“ Japan Fuß zu fassen.

HALO als finanzieller Rettungsanker

Es ist keine Übertreibung zu behaupten, dass die Geschichte der Xbox ist ohne die exklusive Shooter-Reihe HALO nicht denkbar sei. Fasst man alle seit 2001 erschienen Teile und Ableger der Serie, in dessen Zentrum der mittlerweile ikonische Supersoldat Master Chief steht, zusammen, wurden über 65 Millionen Einheiten weltweit verkauft und Umsätze von fast 3,4 Milliarden US-Dollar generiert.  Das crossmediale Science-Fiction-Spektakel hat sich über die Jahre als Spiel, Comic, Roman und Animation-Serie ausgebreitet und ist derart komplex verästelt, dass ein Nachvollziehen der Handlungsstränge, Motivgelagen und Szenarien Geist, Durchhaltevermögen und Überblick erfordert.

Wir wollen nun auf eine der Kernbeziehungen in den HALO-Spielen zu sprechen kommen. Dazu möchten wir Euch gerne Cortana vorstellen.

Cortana aus HALO 5: Guardians. Quelle: halo.fandom.com.

Aber irgendwas stimmt hier noch nicht. Ah! Hier ist der Fehler!

Cortana aus HALO: Kampf um die Zukunft. Quelle: halo.fandom.com.

Da sich Wissenschaft auch immer mit dem Ungeschminkten auseinandersetzen sollte, werden wir natürlich in der Bebilderung auf diejenige Cortana zurückgreifen, die die SpielerInnen im Jahr 2001 zu Gesicht bekamen – was wir oben sahen, war die Reinterpretation der K.I. aus dem Jahr 2015.

Die Menschwerdung der Leit-K.I.

Wenn SpielerInnen die Rolle des Master Chief übernehmen, wird schnell klar, dass Cortana sowohl eine ludologische als auch narratologische Rolle innehat. Einerseits macht die K.I., welche vom Entwicklerteam offenbar nach dem Vorbild einer Skulptur der ägyptischen königlichen Gemahlin Nofretete designt wurde, mit Spieleigenheiten vertraut, begleitet aber auch andererseits erzählerisch das Spiel.

Während in den ersten drei Teilen der HALO-Reihe sich SpielerInnen also an die vertrauensvolle und innige Beziehung zwischen Master Chief und Cortana gewöhnen, stellt Teil 4, der seitens der Spielepresse auch als „Cortana’s Story“ bezeichnet wurde, eine Zäsur dar. Hochgezüchtete K.I. wie Cortana haben in der HALO-Lore eine Aktivitätsdauer von sieben Jahren, ehe sie instabil und somit unzuverlässig werden. Dieser Verfall mündet in einen Prozess, der als „Wildheit“ beschrieben wird und als eine Art digitaler Suizid gelesen werden kann – es heißt, die Maschine denke sich buchstäblich zu Tode. Doch auch als die Anzeichen sich mehren, dass jenes Schicksal nun Cortana ereilt, hält der Master Chief an der Beziehung fest. Ich lese einen Teil dieses solidarischen und loyalen Festhaltens auch dergestalt, dass der genetisch veränderte, auf Kampf und Krieg gedrillte Übermensch vor seinen Augen eine Menschwerdung miterlebt. Der Master Chief wird Zeuge, wie sich seine Vertraute, seine Geliebte zu etwas entwickelt, was ihm nicht gelingt oder vielmehr angeblich nicht gelingen darf – das Zulassen des Erratischen und des Verletzlichen, kurzum, des Humanen.

In Teil 5 schließlich erleben SpielerInnen eine Cortana, die sich aus dieser, wie ich sie beschrieb „Menschwerdung“ zu einem Charakter entwickelte, der aus Erlebtem und Erfahrenen Rückschlüsse zieht, sich seiner Wirkmacht bewusst wird und bereit ist, konkrete Handlungen aus dieser abzuleiten. Cortana fühlt sich berufen, eine konfliktfreie Zukunft zu erschaffen. Diese Vision einer kriegsfreien Galaxie sieht vor, dass sich das – seitens Cortana als durchaus kriegslüstern eingestufte Menschengeschlecht – einer Überwachung durch höhere Wesen unterstellt.

Sprachassassistenz Cortana: Aus dem Spiel in die Realität

Wenn man zynisch ist, leitet man aus diesem Überwachungswillen nun den Grund ab, aus dem Microsoft seine Spracherkennungs-Intelligenz nach Cortana benannt und mit ihrer Persönlichkeit versehen hat. Wer wäre besser geeignet, ein ständiges Ohr nach der Menschheit offen zu halten, als die SciFi-erprobte Lenkerin des Master Chiefs?

Amazon staff listen to customers‘ Alexa recordings, report says

-Alex Hern, theguardian.com

Doch so sonderlich zynisch wirkt das alles gar nicht mehr, wenn man sich einige Schlagzeilen der letzten Monate ansieht, auch wenn sich diese nicht mit Microsofts Cortana, sondern der deutlich weiter verbreiteten Alexa von Amazon befassen. Der Grund dafür ist ganz simpel: Cortana ist schlichtweg kein Erfolg geworden. Sowohl Xbox-Sprachbedienung als auch die Windows 10-Suche funktionieren mittlerweile wieder ohne sie, und die noch existierende ausgekoppelte Cortana-App scheint nicht annähernd genug genutzt zu werden, um Schlagzeilen zu produzieren, wie Alexa das tut. Wir sprechen nun also anhand von Alexa stellvertretend über Sprachassistenz-KIs im Allgemeinen.

Amazon had to do it

Ein Symbolbild der für Alexa zuständigen Abteilung bei Amazon könnte in etwa aussehen wie dieses GIF von Terry Crews: Sie mussten es tun. Denn: Einige Aufgaben kann die Spracherkennung auch heute noch nicht ohne menschliche Eingabe leisten: Neue Namen, etwa von Künstlern, müssen transkribiert und mit den Werken der entsprechenden Bands et cetera verknüpft werden, damit Cortana & Co. auf „Spiel‘ Despacito“ überhaupt reagieren können. Quality Assurance kann ebenfalls nur von Menschen durchgeführt werden: Stichprobenartig müssen komplette Aufnahmen eines gegebenen Kommandos mit dem verglichen werden, was die K.I. verstanden hat, um Ungenauigkeiten zu filtern und an die Softwareprogrammierer weiter zu geben.

All das geht aber natürlich davon aus, dass die jeweiligen Aufnahmen rechtens gewesen sind. Denn alles, was wir nach den Worten “OkGoogle”, „Siri“, “Cortana” oder „Alexa“ sagen, verkaufen wir wissentlich und kompromisslos an den Overlord aus Silicon Valley. Das muss uns NutzerInnen in dem Moment klar sein, in dem wir die Software installieren oder den Echo Dot ins Schlafzimmer stellen.

Aber was, wenn ohne Einverständnis abgehört wird?  

A couple says that Amazon’s Alexa recorded a private conversation and randomly sent it to a friend

-Katie Canales, businessinsider.com

Wenn ohne Einwilligung durch das Codewort aufgenommen wird, dann ist das datenschutzrechtlich natürlich eine Katastrophe. Im Zweifel kann dadurch auch ganz direkt ein Schaden entstehen, je nachdem, wer welche Nachrichten von der K.I. geschickt bekommt. So etwas passiert nach Aussage Amazons nur dann, wenn die Sprachassistenz Hintergrundgeräusche als Ansprache interpretiert. Doch wie kann das passieren?

Wie funktioniert eigentlich Spracherkennung?

Lassen wir die technische Grundlage der Umwandlung von Sprache größtenteils außer Acht und befassen uns mit dem linguistischen Part der Texterkennung. Die K.I. erkennt einzelne Laute oder Phoneme und setzt sie durch Vergleich mit ihrem inhärenten Lexikon zu Worten zusammen, die sie erkennen kann. Weil im Lexikon ein Wort selten nur eine Bedeutung hat, muss dieses Verfahren jedoch genauer werden, um eine echte Antwort zu geben, und das geschieht über sogenannte semantische Frames oder Rahmen. Das sind Netzwerke von Konnotationen, also verwandten Worten, die über das im Satz genutzte Umfeld gesucht werden. Einfacher gesagt: Cortana & Co. schließen vom umgebenden Kotext auf die Bedeutung. Das kann ebenfalls zu ganz eigenen Problemen führen. Kotext allein reicht nämlich nicht, um eindeutig zu sein. Sehen wir uns ein Beispiel aus dem FrameNet, der umfassendsten online verfügbaren Sammlung semantischer Rahmen an. Die Sätze „After two pints, he felt a bit better“ und „After two pints, he felt absolutely horrible“ unterscheiden sich bis auf das ausgedrückte Gefühl nicht. Das heißt: Der Kotext ist, vom ausgedrückten Gefühl aus betrachtet, absolut gleich.

Wenn Kotext ohne Kontext steht

Hier kann es zu Verwechslungen kommen. Ähnlich wie die Sprachassistenz agiert beispielsweise auch die automatische Übersetzung mit solchen Frames, und dann kann es aus den eben genannten Gründen zu Fehlern kommen, die es in die Schlagzeilen schaffen. Beispiel: Google Translate macht aus „So sad to see Hongkong become China” “So happy to see Hongkong become China”, weil sad und happy nahezu immer übereinstimmenden Kotext besitzen. Zwar werden auch statistische Mittel eingesetzt, um eine Wortbedeutung zu bestimmen, aber auch diese sind nicht unfehlbar, da sie ihre Auswahl auf Wahrscheinlichkeiten basieren. Ohne Kontext ist die Spracherkennung nicht eindeutig. Und Kontext lässt sich ohne menschliches Eingreifen immer noch kaum erkennen. Deshalb wird uns die Optimierung jeder Sprachdatei durch menschliche Operatoren noch lange begleiten, und aus den Großkonzernen wird willentlich wohl kaum herausdringen, was mit dem durch die Aufnahmen gesammelten Wissen über User noch passiert.

Sind die Konzerne noch zu stoppen?

Project Alias. Quelle: Github.com/bjoernkarmann/project_alias

Gibt es also keine Hoffnung, ist alles ganz schrecklich? Es bleibt der Fakt, dass wir mit Nutzung von Sprachassistenzen die Hoheit über unsere Sprachdaten aus der Hand geben, mindestens so weit, wie wir es in den AGB akzeptiert haben. Das hält uns aber natürlich nicht vom Versuch ab, soweit wie möglich etwas dagegen zu tun.

Headcrab aus Half-Life 2. Quelle: half-life.fandom.com.

Die Hardwarelösung Project Alias gegen unabsichtliches Spionieren von Sprachassistenzen etwa wirkt optisch mindestens genauso dystopisch das ständig überwachende Amazon-Mikrofon selbst. Geräte wie Project Alias jammen die Mikrophone der KI mit ständigem Hintergrundrauschen, bis ein bestimmtes Codewort gesagt wird, auf dass Alexa selbst nicht reagiert, Alias aber schon. Eine Headcrab für die ununterbrochen aufmerksame K.I. mit der sanften Frauenstimme: Eine gute Rückbesinnung auf den Science Fiction-Hintergrund dieses Themas, wenn es auch eine andere Reihe referenziert als HALO.

Über die Autoren:

Rudolf Inderst (*1978) studierte Politikwissenschaften, Neuere und Neuste Geschichte sowie Amerikanische Kulturgeschichte in München und Kopenhagen. Zuletzt promovierte er zur Darstellung von Wissenschaft, Forschung und Technologie im digitalen Spiel an der Universität Passau. Er leitet das Ressort Digitale Spiele bei dem Online-Kulturjournal nahaufnahmen.ch. Auf Twitter, XBL und PSN findet man ihn als @BenFlavor.

Pascal Wagner (*1993) hat einen M.A. in kultureller und kognitiver Linguistik sowie einen B.A. in Anglistik und Rechtwissenschaften an der Ludwig-Maximilians-Universität München absolviert. Seine Masterarbeit schrieb er über Lokalisation, Benennungsmotive und kulturelle Fixierung von Fantasieworten bei der Übersetzung digitaler Spiele aus dem Japanischen ins Englische und Deutsche. Er ist Gründer des Game Studies- und Wissenschaftskommunikations-Blogs languageatplay.de und Chefredakteur des Printmagazins für Videospielkultur GAIN – Games Inside. Auf Twitter ist er als @indieflock zu finden.

Ludographie:

HALO: Kampf um die Zukunft. 2001. Entwickler: Bungie Studios, Gearbox Software. Publisher: Microsoft Game Studios. Plattformen: Xbox, PC, macOS.

HALO 5: Guardians. 2015. Entwickler: 343 Industries. Publisher: Microsoft Studios. Plattform: Xbox One.

Bibliographie:

Forster, Winnie. 2005. Spielkonsolen und Heimcomputer 1972–2005. Gameplan, Utting.

Alle Nachrichten-Quellen sind an entsprechender Stelle im Text als Hyperlink markiert.