Wie man grounded language implementiert, Schritt für Schritt

Zuerst definiert man eine Vokabellliste die für das Problem angemessen ist. Bei einem Minimalbeispiel soll ein Roboter sich auf einem Graph bewegen. Typische Vokabeln sind:
nord, osten, süden, westen, rot, grün, blau, wegpunkt, schnell, langsam, stop

Im nächsten Schritt wird ein Bild zu Text Parser programmiert, dieser erzeugt eine textuelle Beschreibung für die aktuelle Situation. Eine Beispielausgabe wäre:
"Roboter ist im Norden, nahe des grünen Wegpunktes. Er bewegt sich schnell"
oder "Roboter ist im Süden, nahe des roten Wegpunktes. Er hat gestoppt".

Selbstverständlich ist diese Textausgabe nicht sehr eloquent und basiert auf einer einfachen Template die mit aktuellen Werten gefüllt wird. Aber das ist akzeptabel, wichtig ist dass überhaupt eine Textausgabe stattfindet.

Um den umgekehrten Kommunikationsweg von einem Kommando zu einer Aktion zu implementieren benötigt man eine Reward Funktion. Ein Kommando wie "gehe nach NOrden" wird in einen SCore umgerechnet. Wenn der Roboter im Norden angekommen ist beträgt sein Score 1.0 wenn er weit davon entfernt ist nur 0.0".

Damit stehen alle wichtigen Elemente zur Verfügung um mit dem Roboer in natürlicher Sprache zu kommunizieren. Der Roboter beschreibt die aktuelle als Text und reagiert auf Kommanddos. Zumindest für die eingeschränkte Domäne des "Roboter auf einem Graph" Problems ist damit eine Kommunikation zwischen Roboter und menschlichem Bediener möglich.

Mit Hilfe dieser Kommunikation kann man komplexe Aufgaben automatisieren. man sendet z.B. eine Befehlsfolge an den Roboter:
"1. fahre nach Norden, suche den grünen WEgpunkt, warte dort.
2. dann fahre nach Süden zum Roten Wegpunkt. und zwar schnell"

Diese Kommandos übersetzt der Roboter zuerst in einen Reward und nutzt den Reward dann um Aktionen auszuführen. Während er das tut beschreibt der Roboter in der Logdatei was er gerade macht also wo er ist, was er sieht und was die nächsten Schritte sind.

Wie man Robotik vereinfacht

 Robotik und Künstliche Intelligenz ist ein multidisziplinäres Fachgebiet was mehrere hochkomplexe Wissenschaften umfasst wie Naturwissenschaften, Geisteswissensschaften, Sozialwissenschaften und Informatik als verbindenes Element. Dadurch entsteht eine Komplexität und es ist unmöglich in einfachen Worten zu erklären wie ein Roboter funktioniert.

Um all die Wissenschaftsdisziplinen gemeinsam darzustellen im Kontext Robotik, bietet sich ein Head up display an. Ein head up display zeigt die Welt aus sicht eines Roboters und umfasst Kamerafenster und ein textuelles Fenster mit der inner voice des Roboters. Die Softwareentwicklung reduziert sich darauf das Layout und die Funktionsweise des head up displays zu optimieren, also zu bestimmen wo die fenster auf dem bildschirm angezeigt werden, welche Informationen darin zu sehen sind und sicherzustellen dass die daten aktuell sind.

Zum Beispiel werden visuelle Sensoren mit einer hohen Frequenz von 60fps aktualisiert, während die inner voice des Roboters in einer langsamen Frequenz von 1fps aktualisiert wird.

Selbst Laien außerhalb der Künstlichen Intelligenz können anhand eines Head up displays nachvollziehen wie Roboter funktionieren. Sie sehen auf dem Bildschirm was der Roboter sieht und können lesen was der Roboter denkt. Das inner voice textfenster enthält z.B. "Auf dem Tisch steht eine Tasse. Ziel ist die Tasee zu greifen".

Ein Head up display ist das Frontend, im Hintergrund wird weitere Software benötigt wie large language modelle, Vision language action modelle, datasets und bilderkennungssoftware. Diese Softwarebestandteile sind zwar für die funktionsweise nötig haben aber lediglich unterstütztende Funktion. Wichtig ist dass im Head up display alle Softwarekomponenten gemeinsam angezeigt werden.

Das Grundprinzip hinter jedem Head up display ist Bilder und Texte gemeinsam anzuzeigen. Charakterische Elemente sind bounding boxes, textuelle Beschreibungen von erkannten Objekten sowie kurzen Stichworten für Planungsaufgaben. Die Mischung aus Text und Bild ist die Antwort auf das Symbol grounding problem. Es ermöglicht einer Künstlicher Intelligenz Informationen zu speichern. Anstatt das komplette Kamerasignal im speicher abzulegen was sehr viel RAM benötigt, werden ledigliche Textualle Annotationen zu den Kamerabildern abgelegt. Jede Entscheidung, Planung und Ausführung von Aktionen hat etwas mit Verknpfüung von Bild und Text zu tun.

Was tun gegen AI slop?

 Nach der Dead internet Theory besteht ein großteil des Internet aus KI generierten Inhalten wodurch eine Verflachung einsetzt und menschlich erzeugter Content zurückgedrängt wird. Die logische Frage lautet wie schlimm das ist und wie man den Prozess aufhalten kann.

Leider ist dieser Diskurs über AI slop nicht besonders produktiv sondern führt in eine Sackgasse bei dem technische Details ausgeblendet werden. Das Internet rein auf Inhalte zu reduzieren und die Technologie dahinter als gegegeben zu betrachten ist das eigentliche Problem.

Technisch gesehen entstanden KI erzeugte Inhalte ab dem Jahr 2023 mit dem Aufkommen der ersten LLM welche Text, Fotos, Bilder, Videos und Musik erzeugen können. Die Zeit vor 2023 war das Internet menschlich erzeugt. Computer konnten zwar Inhalte anzeigen in einem Webbrowser und über weite Strecken per Glasfaserkabel übertragen aber Computer waren nicht in der Lage Inhalte zu generieren, von kleineren Ausnahmen wie fraktale und Povray raytracing Bildern abgesehen.

Die Kritik an KI erzeugten Inhalte ist eine versteckte Kritik an large language modellen. Diese sind die technische Basis um mit einem simplen Prompt längere Texte zu erzeugen wie Kurzgeschichten, Fachtexte oder Powerpoint Folien. Historisch gesehen war vermutlich das SCIgen Projekt das erste Beispiel für AI slop. Im Jahr 2005 hat ein Computerprogramm die Inhatle von mehreren Powerpoint Folien erzeugt die dann von verkleideten Wissenschaftlern auf einer fachtagung präsentiert wurden.[1] Aus heutiger Sicht könnte man sagen dass Jeremy Stribling et. al. damals AI Slop erzeugt haben und diesen vor anderen Wissenschaftler präsentiert haben.

Es gibt sogar ein objektives Instrument um AI slop zu erkennen und zwar mit Hilfe eines Turing Tests. Dabei werden einer versuchsperson mehrere Texte präsentiert und die Versuchsperson muss entscheiden ob der Autor ein Mensch oder ein Computer war. Kann die Versuchsperson das nicht anhand der Texte ermitteln hat der Computer den Turing Test bestanden.

[1] https://pdos.csail.mit.edu/archive/scigen/#talks

History of the symbol grounding problem

 Symbol grounding is a multidisciplinary approach which has evolved over years. The follwoing timeline shows the milestones during the development. First important innovation was the invention of written language thousands of years ago, in the year 1844 the morse code was invented to transmit signs over distance. In 1968, the SHDRLU project was initiated which was a text to graphics interface on a computer. In 1991 Rodney brooks recognized that robots need to interact with the environment, in 2003 a voice controlled robot was built by Deb Roy and in the year 2023 the Lingo-1 Vision language model was published for controlling self driving cars.

The shared similarity between these innovations is the focus on natural language for connecting two systems. A speaker sends a command to a hearer. Implementing such an interface on a computer allows to teleoperate a robot with language. This is the precondition for automation. 

The crucial building block for symbol grounding is natural language which is used as a reference system to the external world. Thanks to predefined words for objects and activities its possible to label sensory data and receive high level commands. A robot can recognizhe that he stands in front of an obstacle, and a human operator can submit a commoand to the robot like "move around the obstacle to the left". It took decades and even centuries until human researchers have discovered the power of natural language and were able to implement textual interface for robots. Its likely that future robots invented in 20 years from now will work with the same principle.

3300 BC,Cuneiform writing system in Mesopotamia
1500 BC,sundial showing the time of the day
600 BC,Latin alphabet available in Italy
322 BC,correspondence theory of truth by Aristotle
1386,Salisbury Cathedral tower clock with a bell
1440,printing press by Johannes Gutenberg
1505,Pomander Watch by Peter Henlein
1792,optical telegraph by Claude Chappe
1844,morse code by Samuel Morse
1870,Engine Order Telegraph by William Chadburn
1876,commercial typewriter by Remington
1878,chronophotography "The Horse in Motion" by Eadweard Muybridge
1903,Telekino remote controlled boat by Leonardo Quevedo
1915,Therblig notation by Frank Gilbreth
1915,rotoscoping animation technique by Max Fleischer 
1920,AAC Communication board by F. Hall Roe
1928,Labanotation dance notation by Rudolf von Laban
1929,Televox robot by Westinghouse
1930,motion tracking by Nikolai Bernstein
1949,Turing test by Alan Turing
1954,Georgetown-IBM Experiment with russian translation
1959,Pandemonium architecture by Oliver Selfridge
1962,ANIMAC motion capture by Lee Harrison III
1963,ASCII code
1966,ELIZA chatbot by Joseph Weizenbaum
1968,SHRDLU natural language understanding by Terry Winograd
1971,Lexigram for communicating with apes by Ernst von Glasersfeld
1977,Zork I text adventure by Tim Anderson
1977,Tour model instruction following by Benjamin Kuipers MIT AI lab
1980,Chinese room argument by John Searle
1980,Commentator scene description by Bengt Sigurd
1980,Finite State machine in Pacman videogame by Tōru Iwatani
1981,Karel the robot programming language by Richard Pattis
1983,MIDI music protocol
1983,M.I.T. Graphical Marionette by Delle Maxwell
1984,Castle Adventure by Kevin Bales
1987,Maniac Mansion point&click adventure by Ron Gilbert
1987,Vitra visual translator by Wolfgang Wahlster
1989,Speech activated manipulator SAM by Michael Brown
1990,Physical Grounding Hypothesis by Rodney Brooks
1990,paper "The symbol grounding problem" by Stevan Harnad
1991,paper "Intelligence without Representation" by Rodney Brooks
1993,AnimNL computeranimation by Norman Badler
1993,conceptual spaces by Peter Gardenfors
1994,Abigail scene recognition by Jeffrey Siskind
1996,Interaction machines by Peter Wegner
1998,Rocco Robocup commentator by Dirk Voelz
1999,trec-8 Text Retrieval Conference
2000 Kismet social robot by Cynthia Breazeal M.I.T.
2003,M.I.T. Ripley robot by Deb Roy
2006,Marco route instruction following by Matt MacMahon
2007,Simbicon computer animation by Michiel Panne
2010,Motion grammar by Mike Stilman
2010,M.I.T. forklift by Stefanie Tellex
2011,IBM Watson Question answering by David Ferrucci
2013,Word2vec algorithm by Tomas Mikolov
2015,Poeticon++ trajectory recognition by Yiannis Aloimonos
2015,DAQUAR VQA dataset by Mateusz Malinowski
2017,Transformer Architecture by Ashish Vaswani
2020,Vision language model by different authors
2023,Wayve Lingo-1 self driving car

Wie natürliche Sprache Einzug hielt in die Künstliche Intelligenz

 Künstliche Intelligenz ist ein sehr traditionsreiches Thema was über Jahrzehnte erforscht wurde. Lange vor der Dartmouth Conference im Jahr 1956 gab es versuche Schacuautomaten und Androiden zu bauen. Auch in der science Fiction literatur waren Roboter ein fester bestandteil, z.B. in der R.U.R. Geschichte von 1920. Obwohl niemand sagen kann wie man denkende Maschinen baut gab es doch verschiedenen Ideen darüber wie sich Roboter technisch realisieren ließen.

Mit der Erfindung des Computers in den 1940er rückten computergesteuerte Roboter in den Fokus. Die wissenschaftlich These lautete fortan dass Künstliche Intelligenz das Resultat von Algorithmen sei, also eines Programs was auf einer CPU ausgeführt wird. Diese Sichtweise prägte über Jahre die Forschung. Bis heute hält sich die Vorstellung unter informatikern, dass Künstliche Intelligenz ein Program sei was von einem Computer ausgeführt wird und Prbbleme lösen kann.

Mitte der 1980er Jahre hat Douglas Lenat das Cyc Projekt ins Leben gerufen. Es war ein umfangreiches Forschungsprojekt was Künstliche Intelligenz nicht über algorithmen realisieren wollte sondern mit Hilfe von Ontologien, also Wissensdatenbanken. Die Idee war dass Intelligenz in semantischen Netzen gespeichert sei. Obwohl das Cyc projekt rückblickend eine Sackgasse darstellte half es dabei eine neue Perspektive zu entwickeln. Anders als sortier oder optimierungsalgorithmen benötigen Ontologien keine CPU sondern werden auf Festplatten gespeichert, sind also Datenstrukturen.

Es dauerte noch einige Jahre bis das Ontologie konzept erweitert wurde zur These dass Künstliche Intelligenz etwas mit natürlicher Sprache zu tun hat. Anders als die Ontologien aus dem Cyc Projekt lässt sich natürliche Sprache sehr viel schwerer von Computern parsen. Sprache ist nicht als graph organisiert sondern es gibt Wörter die eine BEdeutung haben die aber nicht im Satz selber enthalten ist. Um natürliche Sprache dennoch mit Computern zu verarbeiten benötigt man weitere Hilfsmittel wie datasets in welchen Interaktionen mit Sprache gespeichert sind. Diese Datasets dienen als input für neuronale Netze womit sich LLM Chatbots erzeugen lassen die aktuell im Jahr 2026 die KI Landschaft prägen.

Rein technisch hätte bereits in den 1960er Jahren ein Informatiker behaupten können dass künstliche Intelligenz etwas mit natürlicher Sprache zu tun habe. Und es wäre möglich gewesen auf damaligen Computern ein Bilderkennungsprogram schreiben zu können was ein Bild in Sprache konvertiert. Das problem war, dass die Idee viel zu fortschrittlich war als dass sie in den 1960er geläufig wäre. Selbst heute gilt die Vorstellung dass Computer natürliche Sprache verwenden so wie Menschen als provokative Äußerung. Sprache wird zwar von Philosophen untersucht und von Linguistikern in Wörterbüchern explizit gespeichert, aber der Konsens ist dass nur Menschen sprechen nkönnen, nicht aber Tiere und erst recht nicht Computer.

Die Verwendung von Sprache als Technologie um künstliche Intelligenz zu ermöglichen war ein langer prozess innerhalb der Informatik der Jahrzehnte benötigte. Zu nennen ist beispielsweise der M.I.T. Ripley robot von Deb Roy in 2003, oder der Word2vec Algorithmus aus 2013. Technisch gesehen sind beide Projekte höchst unterschiedlich aufgestellt, einmal geht es um die Steuerung von Robotern und beim zweiten Beispiel um präprocessing für neuronale Netze. Die Gemeinsamkeit besteht darin, dass natürliche Sprache als zentrales Element für ein KI Projekt eingesetzt wird. Demnach ist jenes Modul womit der Computer denkt, zugleich das Modul was sprache versteht und Sprache generiert.

Sprache ist deswegen der zentrale Baustein von künstlicher Intelligenz weil damit eine Referenz auf die Umwelt des Roboters erfolgt. Die Einbettung des Roboters in eine Umwelt wurde zuerst von Rodney Brooks in den 1990er Jahren erkannt. Es ist nicht ausreichend eine Maschine zu bauen und darauf ein Programm auszuführen sondern Robobter müssen über sensoren die Umwelt wahrnehmen. Die Intelligenz wird also erst über eine Interaktion mit der Umgebung erzeugt, und Sprache ist dafür das Interface. Sobald ein Roboter Sprache parsen und erzeugen kann besitzt der Roboter über ein leistungsfähiges referenzsystem. Er kann auf Kommandos reagieren, er kann sensor signale in Sprache umwandeln, er kann beobachtungen in einer Log datei speichern. Daduruch entsteht Künstliche Intelligenz.

Wodurch werden KI Projekte so teuer?

 Der Diskurs über Deutschland als Technologiestandort wird häufig verengt zu der frage warum es keine KI Forschung in Deutschland gibt. Dabei gab es zumindest in der Vergangenheit viele deutsche KI Projekte wie:

- verbmobil, Vitra, RHINO (Museumsroboter), ARMAR (humanoider Roboter), RoboCup@Home, Carolocup und Dickmanns autonomes fahren

Das Grundproblem bei KI Forschung ist dass es extrem teuer ist im Sinne von finanzieller Kosten. Ende der 1980er benötigten Forscher die schnellste verfügbare Hardware um darauf Lisp laufen zu lassen und erste neuronale Netze zu simulieren wie VAX Minicomputer (0.5 Mio US$ pro Stück) und Symbolics Workstation (100k US$ pro Stück). In diesen Computern war für die damalige Zeit sehr viel RAM verbaut und die Systeme waren Einzelanfertigungen aber kein MAssenprodukt wie der damals verfügbare Atari ST Rechner.

Und das sind nur die Ausgaben für die Hardware, hinzu kommen die Kosten für das KI Projekt selber. Künstlicher Intelligenz unterscheidet sich von klassischer Forschung dadurch dass es interdisziplinär betrieben wird. Neben der Informatik braucht man zugriff auf Mathematik, Sprachverarbeitung, Kognitionspsychologie usw. Allein eine Bibliothek welche all diese Literatur bereitstellt ist ein hoher Kostenfaktor.

Sowetwas wie preiswerte KI forschung welche auf Standardhardware läuft und nur ein Wissenschaftsgebiet umfasst gibt es nicht. Das wäre dann z.B. Forschung innerhalb der Mathematik oder Forschung innerhalb der Mechanik. Bei künstliche Intelligenz fließen all diese Bereiche zusammen. Ein robotik projekt besteht aus hardware, software, Algorithmen, Natürliche Sprache, Bilderkennung, neuronalen Netzen, Dateübertragung über Netze usw.

Bei KI Forschung im Jahr 2026 haben sich die Kosten weiter erhöht. Aktuelle Hardware um neuronale Netze zu trainieren ist sehr teuer, die Notwendigkeit unterschiedliche Disziplinen einzubeziehen hat sich verstärkt. Roboter werden heute über motion capture datensätze trainiert welche zuvor in Laboren für Bewegungsstudien erfasst wurden, DIe sprachverarbeitung erfolgt über Datenbanken in denen fremdsprachichige Korpora gespeichert sind und Bilderkennung benötigt riesige Beispieldatenbanken mit hunderten von Terabyte an Speicher. All diese Ressourcen sind teuer, die akademische Publikationen liegen geschützt hinter kostenpflichtigen Paywalls, selbstfahrende Elektroautos mit Lidar sensoren kosten deutlich mehr als ein Standard Auto und es dauert Jahrzehnte bis sich nachwuchsforscher in die Thematik eingearbeitet haben.

Grundlagen forschung im Jahr 1900 in den Bereichen Funkübertragung oder Elektronik war relativ einfach durchzuführen. Es braucht nicht mehr als einen Bastelkeller, einige wenige Grundlagenwerke aus dem Fachgebiet, ein wenig praktisches geschick beim Aufbau von Schaltungen und schon konnte die Spitzenforschcung beginnen.

Die schlechte Nachricht lautet dass es nicht möglich ist die Kosten zu senken. Neuronale Netze auf älterer Hardware zu trainieren funktioniert technisch nicht, Robotik ohne Sprachverarbeitung zu erforschen macht inhaltlich keinen Sinn, Trainingsdateaets zu erzeugen die nur wenige Megabyte groß sind erzeugt schlechte Resultte, und humanoide Roboter zu bauen die nur 3 servomotoren haben und über ein Stromkabel versorgt werden ist kein guter Standard in der autonomen Robotik.

Es gibt jedoch eine Methode um die Kosten massiv zu senken. Und zwar indem man KI Projekte rein virtuell durchführt. Das bedeutet, es gibt keine physische Hardware und es gibt keine realen Sensoren sondern die KI agiert in Computerspielen. Einsteigerfreundliche Projekte wären:

- Steuerung eines Pong Clones mit Hilfe neuronaler Netze
- Programmierugn einer SChach Engine
- simulation eines 6 beinigen Laufroboters als 3d Modell

Der verbleibende Kostenfaktor bei diesen Projekten ist die inhärente Multidisziplinarität, das also unterschiedliche Wissenschaftliche Bereiche wie Mathematik, Informatik, Biologie, Sprachwissenschaft, Statistik, Bewegungsstudien miteinander kombiniert werden. Möchte man z.B. einen simplen 6 beinigen Laufroboter in 3d Animieren benötigt man für diese Aufgabe unhzählige Bücher aus mehreren Bereichen der Unibibliothek. Es gibt kein Fachgebiet in einer Bibliothek was sich dezidiert mit laufrobotern beschäftigt, sondern es gibt nur Fächer die etwas über Mechanik, Programmierung, Animation, Algorithmen und Bewegung beinhalten.

Das was unter dem Stichwort Künstliche Intelligenz gemeint ist, stellt ein Mix da aus all diesen Disziplinen. All diese Informationen zu lesen und zu kombinieren ist zeitaufwendig. Es dauert lange bis sich newbies in die Thematik eingelesen haben.

Mit Hinblick auf den Erfolg von Large language modellen ab dem Jahr 2020 ist zwar klar wie erfolgreiche KI projekte aussehen, allerdings sind Large language projekte gleichzeitig die aufwendigsten KI Projekte überhaupt. Man braucht zwingend große datasets im Terabyte Umfang und schnelle GPU für das Training der neuronalen Netze. Insofern ist die Hürde solche Projekte zu beginnen sehr hoch.

In den 1980er Jahren kosteten Großforschungsprojekte im Bereich Künstliche Intelligenz 50 Mio DM. Aktuelle Forschung im Jahr 2026 mit Large language modellen kostet rund 500 Mio US$. Vermutlich werden künftige KI Projekte bei denen Robotik mit large language modellen kombiniert werden, Kosten von 5 Millarden US$ erzeugen. und sobald man damit beginnt Schwärme von Robotern zu bauen wird es nochmals teurer.

Einführung in language games

Language games, deutsch: Sprachspiele nach Wittgenstein, sind eine besondere Form des Gesellschaftsspiel. Anders als das bekanntere Schachspiel wurde es in der Geschichte der Künstliche Intelligenz lange Zeit nicht näher untersucht. Was hingegen von der KI Community sehr intensiv erforscht wurde waren Spiele wie Schach, Mühle, das Piano movers problem im Kontext Motion Planning sowie Roboternavigation in einem Labyrinth. Diese klassischen Spiele werden in der Literatur diskutiert und es gibt unzählige Software mit denen einen Künstliche Intelligenz die Spiele gewinnen kann.

Die eingangs erwähnten Sprachspiele nach Wittgenstein sind selbst innerhalb der Philosophie ein Randgebiet. Es gibt dazu zwar Publikationen aber nur wenige und diese sind gänzlich theoretischer Natur. Im Kontext des Symbol grounding problems werden Language games jedoch zu einem wichtigen Werkzeug zur Erklärung von Mansch maschine interaktion. Ein Sprachspiel ist zunächst einmal ein Gesellschaftsspiel was nach Regeln abläuft. Dazu ein Beispiel:

Das wohl einfachste verfügbare Sprachspiele ist "Farben raten". Der Spielleiter zeigt eine farbige Karte und der Spiel muss das passende Wort sagen, z.B. "blau". dann zeigt der Spielleiter ein andere Karte und der Spieler muss erneut das passende Wort sagen, z.B. "hellgrün". Am Ende wird die Punktzahl ermittelt, also wieoft der Spieler das richtige Wort gesagt hat.

Wenn man das Spiel in seiner Muttersprache spielt ist es trivial, deutlich schwerer wird es hingegen in einer Fremdsprache. Der Spieler sieht zwar dass die Karte "hellgrün" ist kennt aber das passende Wort in der Fremdsprache z.B. italienisch "verde chiaro" nicht.

Es gibt neben "Farben raten" noch weitere Sprachspiele wie "instruction following", "Name guessing" die ebenfalls nach festen Regeln gespielt werden und etwas mit dem Aussprechen von Worten zu tun haben und die Wirklichkeit zu benennen. Sprachspiele werden praktisch im Fremdsprachen unterricht eingesetzt um neues Vokabular in einer realistischen Situation anzuwenden. Es ist eher unüblich, Sprachspiele in der Informatik in Software zu implementieren, jedenfalls ist die Menge an Litertur zu dieser Thematik fast null.

Es spricht technisch nichts dagegen das obigen Farben raten und weitere language games in Software zu implementieren sowie KI Agenten zu programmieren die diese Sprachspiele lösen können. Dies wird meist als Vision language action model bezeichnet, also eine KI die die Realität in Sprache beschreibt und darauf reagieren kann.

Language games sind in der Informatik ein sehr mächtiges Werkzeug, selbst wenn man sehr simple Sprachspiele implementiert die aus wenigen Worten bestehen kann der so instruierte Roboter hochkomplexe Aufgaben lösen. Scheinbar sind Sprachspiele die Kernkomponente von künstlicher Intelligenz. Vielleicht ein Beispiel: angenommen man überlegt sich ein Sprachspiel für Küchenroboter. Nachdem das Sprachspiel in softwrae implementiert wurde und der Roboter Begriffe der Küche korrekt bennent, kann dieser Roboter bereits längere Aufgaben ausführen. Er versteht plötzlich eine Anweisung wie "öffne den SChrank und entnehme die Tasse". Dieses Kommando wird deshalb verstanden weil für den Roboter es Teil eines Sprachspiels ist. Die Aufgabe ist die Worte in dem Satz in der Realität zu suchen, z.b. über bounding boxes.

Sprachspiele haben einen Schwerpunkt in der Kommunikation. Anders als beim piano movers problem geht es nicht um Motion planning sondern bei Sprachspielen geht es um assoziatives Wortverständnis, also das matchen von Begriffen mit Bildern. z.b. zeigt der Spielleiter ein Photo von einer Tasse und der Spieler muss das korrekte Wort in Deutsch sagen "Tasse". Es werden also Fähigkeiten abgefragt die etwas mit Linguistik zu tun haben aber nicht mit Mathematik oder Zahlenverständnis. Dies könnte erklären warum Sprachspiele von der Informatik nur selten thematisiert werden, weil die Informatik sich historisch als Erweituerung der Mathematik versteht, es geht darin weniger um Texte oder Worte sondern der Untersuchungsgegenstand sind Zahlen und Algorithmen. Das könnte erklären warum früher in der KI Forschung überwiegend Spiele untersucht wurden die einen mathamtischen hintergrund besitzen also z.B. TicTacToe, Sudoko Spiele, oder das Nim spiel, was eines der ersten Spiele überhaupt war, das auf einem Computer implementiert wurde und zwar 1940 während der Weltausstellung in New York.

DIKW pyramid as blueprint for Artificial Intelligence

 A DIKW pyramid divides facts into separate layers:

- low level = sensory data, e.g. color=(20,10,178), distance=2 meter
- mid level= label space, e.g. [bluecolor], [mediumdistance], [baterryfull]
- high level = knowledge. e.g. "bring me the blue box from room A"

Its not an algorithm but a data representation format, similar to the Unicode table. After implementing the DIWK pyramid as a computer program its possible to interact with the robot in natural language. The human operator formulates a request on the high level layer, e.g. "bring me the blue box" and this request is translated into mid level and low level.

The principle is similar to the TCP/IP protocol layer which allows divides communication into layers for reducing complexity. The working thesis is, that a dikw pyramid can explain what artificial intelligence is about. If the robot has access to a DIKW pyramid, the robot is intelligent.

The main purpose of a DIKW pyramid is to act as an interface between internal world and external world. The low level layer is located inside the robot, while the high level layer is located outside of the robot. Communication means to transmit messages physical but also translate the message between the layers.