Szene to text parser mittels feature set

 Als Semantik Gap wird die Lücke bezeichnet zwischen natürlicher Sprache einerseits und Rohdaten welche durch sensoren erhoben wird andererseits. Solange es einen semantic gap gibt, scheitert eine mensch maschine kommunikation. Ein Roboter versteht nicth einen Befehl wie "fahre zum Regal A und entnehme die rote box".

Der Gap wird mittels grounded language geschlossen, was in zwei richtungen verläuft. 

a) Natürliche Sprache -> Sensordaten
b) Sensordaten -> natürliche Sprache

Natürliche Sprache lässt sich mittels feature engineering erzeugen. Ein feature set bezeichnet im Maschinen learning eine Liste von Werten. Für das Beispiel "Überwaschung einer Straßenverkehrskreuzung" sind geeignete features:

- Quelle und Ziel des Autos
- Farbe des Autos
- Größe des Autos
- Geschwindigkeit

Aus diesem Feature set lässt sich eine Sprachausgabe erzeugen wie:

- "Ein blauer Kleinwagen aus nörderlicher Richtung fährt nach Süden. Er fährt sehr langsam".
- "Ein weißer LKW aus Westlicher Richtung fährt nach Süden. Er fährt mittelschnell".

Features im Maschinen learning sind das selbe wie statistische Merkmale in beschreibenden Statistik. Es sind eine Reihe von Werte in einem Statistikbogen die gemessen werden. der Unterschied ist dass im maschine learning diese Daten computerlesbar vorliegen und häufig automatisiert gemessen werden z.B. über Kmaeras und induktionsschleifen im Boden. Das feature set stellt eine zwischenschicht da zwischen sensordaten und natürlicher sprache.

Auf den ersten blick sieht ein feature set nicht besonders anspruchsvoll aus. Es ist eine Liste mit Werte die man als histogram darstellen kann, vergleichbar mit einem Farbhistogram für ein photo. Der entscheidene Vorteil besteht darin dass features eine Zwischenposition einnehmen zwischen sensorrohdaten einerseits und natürlicher Sprache andererseits.

Betriebssysteme für Roboter

 In der Anfangszeit der Heimcomputer in den 1980er Jahren waren Betriebssysteme weitestgehend unbekannt. Zwar hatten 8bit Rechner von Commodore und Atari eigene Betriebssysteme, welche im ROM gespeichert waren, doch diese war sehr klein, hoffnungslos veraltet und wurden meist von der Software durch eigene Routinen ersetzt. Die Software in den 1980er Jahren wurde direkt für die Hardware programmiert ohne Zwischenschicht.

Als das PC Betriebssytsem MS DOS 3.x in 1985 veröffentlicht wurde, war das System noch sehr klein. Es brachte einige tools mit um Dateien auf Festplatte und Diskette zu speichern. Was fehlte waren Soundkartentreiber oder Grafikkartentreiber. Mit Aufkommen des Windows Betriebssystem ab den 1990er wurde der Umfang größer. Betriebssysteme entwickelte sich zur zentralen Steuerzentrale des Computers. Seit damals hat ihre Bedeutung weiter zugenommen, es ist nicht länger möglich Computer ohne Betriebssystem zu betreiben.

In der Robotik ist die Situation derzeit so dass es keine Betriebssysteme gibt und auch keinen Bedarf nach einer solchen Zwischenschicht. betriebssysteme für Roboter funktionieren anders als bei einem PC. Bei der Robotik muss die semantische Lücke geschlossen werden, also die zwischen Sensordaten und textueller Representation. Folglich muss das Betriebssystem zwischen diesen Layer vermitteln.

Vielleicht dazu einige Beispiele. Angenommen ein Roboter detektiert mit seinem Sensor ein Hinderniss vor sich was rot ist. Aufgabe des Betriebssystems also des vision language action models ist es auf den Bildschirm auszugeben "Rotes Hinderniss vor dem Roboter erkannt". In einem zweiten Beispiel gibt ein menschlicher Benutzer einen Befehl: "Fahre in die Mitte des Labyrinth und warte dort auf weitere Anweisungen". Es ist Aufgabe des Betriebssystems diese Befehl in eine Trajektorie zu übersetzen und auszuführen.

Die zwei wesentlichen Aufgaben eines Robotik-OS sind: Vision Question answering (VQA) und "instruction following". Beides hat etwas über der Übersetzung von high level Text in low level sensor/actuator Daten zu tun. Es ist die selbe Mittlerrolle welche PC Betriebssystem auch innehaben. Wesentliche Aufgabe von Linux und Co ist es, high level Anfragen der Software wie "speichere eine Datei auf der festplatte" in low level Aktivitäten der Hardware zu übersetzen, also das physische Ansteuern der SSD damit die Datei geschrieben wird.

Nicht mathematische Robotik

 Auf den ersten Blick klingt die Vorstellung absurd, künstliche Intelligenz ohne Mathematik zu realisieren. Mathematik gilt als Grundlagendisziplin welche wissenschaft überhaupt erst ermöglicht, ohne Statistik, Zahlen und Formeln könnte man keine Computer bauen oder die Biologie erforschen. Freiwillig auf Mathematik als Werkzeug zu verzichten bei der Erforschung denkender Maschinen scheint wie eine Sackgasse zu sein.

Von außen betrachtet besitzt Mathematik eine Reihe von Limitierungen die in der Vergangenheit unberücksichtigt blieben. Der Fokus auf Zahlen blendet eine zahlenmäßige Beschreibung der Welt aus, und der Fokus auf berechnungen blendet eine assoziative Sichtweise aus. Ein weiteres viel größeres Problem liegt darin begründet, dass Computer sehr schnelle Taschenrechner sind, also außerhalb der Mathematik nichts zu leisten im STande sind. Eine CPU ist vorwiegend ein mathematisches Instrument was zahlen addiert, subtrahiert und multipliziert gerne mit vielen Nackommastellen aber anstonsten nichts kann.

Wenn man auf Mathematik zur Beschreibung von Robotik verzichtet muss man ein besseres Hilfsmittel benennen können was dessen Rolle einnimmt. Dieses Hilfsmittel ist die Kommunikation zweier Systeme. Dies wird nicht von der Mathematik beschrieben sondern ist im Bereich Kybernetik und Kommunikation angesiedelt. Es geht im Kern darum eine Nachricht vom Sender zum Empfänger zu übertragen und sicherzustellen dass die Nachricht verstanden wird. Dieses Prinzip ist mächtig genug um als Ersatz für Mathematik zu dienen. Es lassen über das Paradigma "Kommunikation zwischen zwei systeme" Roboter bauen.

Im einfachsten Fall gibt es einen Roboter der von einer Umwelt umgeben ist. Die Frage ist weniger ob der Roboter intelligent ist sondern die Frage ist ob der Roboter auf die Umwelt reagiert. Die Wichtigkeit der Umwelt wurde erstmals von Rodney Brooks im Jahr 1990 beschrieben.  Zwar hat Brooks nicht ausgeführt wie genau der Roboter auf die Umwelt reagiert, sondern er hat lediglich die Notwendigkeit betont. Allein das war aber bereits ein Paradigmenwechsel zur Robotik wie sie davor erforscht wurde. Vor dem Jahr 1990 war Robotik stark auf das interne Funktionieren der Hardware und der Software orientiertiert, also wie ein Roboter mechanisch aufgebaut ist, und welche Programmiersprache verwendet wurde um ihn zu steuern.

Die interaktion zwischen einem Roboter mit seiner Umwelt erfolgt über Abstraktion. Genauer gesagt erfolgt eine Übersetzung zwischen zwei Systemen. Diese übersetzung ist erforderlich weil die umgebung eines Roboters anders funktioniert als der Roboter selber. Ein Beispiel:

- Roboter: besteht aus 2 rädern, wird mit 12 Volt betrieben, besitzt einen 32 bit microcontroller
- Umgebung: ist ein Labyrinth aus Pappe, hat einen Eingang und ein Ziel

Beide Systeme sind inkompatibel zueinder. Der Roboter ist ein mechatronisches Artefakt, während die Umgebung keine Elektronik besitzt sondern ein UNterhaltungsspiel darstellt

Künstliche Intelligenz ist das interface zwischen beiden Systemen, also jenes Modul was die Logik des Roboters in die Logik der Umgebung übersetzt. Sobald beide Systeme mit einander kommunizieren erscheint der Robotik intelligent. Er agiert in dem Labyrinth sinnvoll und findet den Weg zum Ziel.

Semantic gap in a DIKW pyramid

 Before the situation for robotics is explained, the situation for computing in general should be explained. An example for a semantic gap in computer is the missing layer between hardware and software. The hardware of a computer consists of a CPU, a floppy drive, a graphics card and other elements, while the software is formujlated on a high level layer and describe the appearance of a GUI, contains of algorithms and specify the data.

Its not possible to run directly software on the hardware because a dedicated operating system is needed. For today's computer user its common sonse to decide for such an operating system. Someboy prefers MS Dos, another user likes Linux while the next one has installed Windows 11 on his machine.

It was a slow development until operating systems became the standard. During the 1980s most homecomputer didn't had a dedicated operating system or it was very tiny. The situation changed in the 1990s and the situation today is, that operating systems are a standard component of every computer.

In case of robotics there is also a semantic gap available between low level and high level layer. The low level layer is in the DIKW pyramid the sensory data for example a camera picture or a lidar sensor. The high level layer in the dikw pyramid is a textual description of a scene, provided by a chatbot. Between both layers there is gap available, because a camera picture can't be directly converted into a text description. What is needed is a converter, some sort of robot operating system which closes the gap.

The common name for such a tool is "Vision language action model" be definition such a model, realized as a neural network, is able to translate back and forth between images and text. The prediction is that future robotics after the year 2030 will have such a VQA module built in as default, similar to an operating system in a computer. The VQA module ensures that robot tasks can be specified in natural language.

Piano movers problem with head up display including inner speech

  

The piano movers problem is one of the milestone subjects in the history of motion planning and was discussed frequently. Common knowledge until 2010 was that its an example for np hard problems, that the state space is very large and its very difficult to solve the problem with existing algorithms like RRT.

Instead of discussing the issue only from a mathematical and algorithmic standpoint there is need to introduce natural language as communication code between the low level task and a high level external oracle who gives advice what to do next. Such an interface can be realized as a head up display. The graphical area on top shows the classical piano movers problem as a 2d rendering, while the textual widget on the bottom shows the comments from the external oracle which monitors the scene.

The external oracle can be located outside of the robot or it can be embedded inside the robot than its called the inner voice of the robot. In the example it generates speech for observation, goal and action. This translates the piano movers problem into a an abstract textual problem similar to an interactive fiction story. 

Das scheitern der KI in der Vergangenheit

Angesichts des aktuellen Hypes rund um LLM und Robotik ist es lehrreich einen Blick in die Vergangenheit zu unternehmen und zu untersuchen woran früher die Umsetzung Künstlicher Intelligenz gescheitert ist. Das dominante ungelöste Problem über Jahrzehnte innerhalb der Informatik waren NP harte Probleme. Damit ist eine Kategorie von Aufgabenstellungen gemeint, die einen sehr großen Suchbaum aufweisen wie motion planning in der Robotik, trajectory optimiziation, state space planning und model predictive control.

Es gab früher durchaus Ansätze um np harte probleme zu lösen und zwar mittels Heuristiken, allerdings gab es dafür keine Generalisierung. Bei Motion planning wurden z.b. Kostenfunktionen verwendet um zu entscheiden, welche Knoten des Suchbaums zuerst erweitert werden. Der RRT Algorithmus verwendet eine solche Heuristik, aber auch A* nutzt es.

Sobald ein Problem als np hart erkannt wurde und es keine Heuristiken zu dessen Lösung gibt, ist der Rechenaufwand zu hoch um es mit einem Computer zu lösen. So kann man zeigen dass bestimmte Computerspiele unlösbar sind für eine KI. Nur bei kleinem Suchbaum und vorhandenen Heuristiken konnten Computerprogramme in der Vergangenheit Spiele gewinnen, wie dies bei Computerschach oder Tictactoe demonstriert wurde.

Robotikprobleme wie dexterous grasping und biped walking hingegen wurden als np harte Probleme erkannt, es fehlte an Heuristiken und folglich waren diese Probleme unlösbar für damalige Computerhardware.

Das erwähnte NP Hard Problem ist ein sehr wichtiges Gebiet innerhalb der Informatik wie auch der Künstlichen Intelligenz und es gibt sehr viele Bücher und Paper zu der Thematik. Google Scholar findet z.B. 2 Millionen Paper zu "np hard problems". Gleichzeitig stellt es eine Sackgasse in der Forschung da, die meisten Wissenschaftler waren der Meinung dass es unlösbar ist und folglich KI nicht möglich ist.

Der Diskurs betrachtet Probleme aus der realen Welt unter einem streng mathematischen Blick. zuerst wird untersucht wie groß der Problemraum ist, also wie viele Möglichkeiten in einem Computerspiel existieren eine Entscheidung zu treffen. Dann wird untersucht wieviele Möglichkeiten es gibt wenn man die Zeitachse berücksichtigt, z.B. kann in einem Jump'n'Spiel der Charakter bei timecode #00:01 in die Luft springen oder bei timecode #0:05. Und zu Letzt wird untersucht in welchen Fällen das Computerspiel gewonnen wird, also ob statistisch gesehen es viele Wege ins Ziel gibt oder nur sehr wenige.

Aus dieser Analyse kann man dann abschätzen wie groß der Suchraum ist, und ob es möglich ist Computerspiele nur durch zufälliges Durchprobieren zu lösen. Teilweise wird versucht mittels Optimierungsverfahren wie reinforcement learning einen Algorithmus zu konstruieren, der von allein Spiele gewinnen kann.

Wie schon erwähnt stellen diese Ansätze eine Sackgasse da. Sowohl die mathematische Analyse des Problemraumes, als auch stochastische Suchverfahren sind nicht im Stande Robotikprobleme zu lösen. Über Jahrzehnte drehte sich die Forschung im Kreis, es gelang nicht die erwähnten NP Harten probleme zu lösen, Heuristiken zu konstruieren oder zu ergründen woran es genau scheiterte.

Interessanterweise erbrachte selbst der Einsatz von neuronalen Netzen keinen Fortschritt. Wenn man beispielsweise einen Deep learning Algorithmus auf einer modernen GPU Grafikkarte startet damit dieser Algorithmus ein Jump'n'Run Videospiel gewinnt, wird der Ansatz scheitern. Der Problemraum ist viel zu groß, als das das neuronale Netz von allein die richtigen Entscheidungen lernt. Es gab in den 2010er Jahren dazu mehrere Beispiele aber keines davon war in der Lage künstliche Intelligenz zu realisieren.

Das Dilemma der KI in der Forschung in der Vergangenheit war, dass für die meisten Computerspiele wie auch Robotikprobleme klar erkannt wurde, dass es sich um np hard probleme handelte. Gleichzeitig fehlte es an einem Algorithmus um diese Probleme zu lösen. Was es gab waren Brute Force Algorithmen zum vollständigen Durchsuchen des State Space, diese hatten aber eine sehr hohe Laufzeit auf einer CPU und waren damit nicht praktikabel.

Die Analyse von np harten Problemen sowie der Beweis, dass eine bestimmte Aufgabe zu dieser Kategorie gehört, kann man als klassische Informatik definieren, welche nach mathematischen Prinzipien erfolgte. Über mathematische Formeln wurde gezeigt wie groß der Problemraum ist, auf dem Computer wurden Algorithmen implementiert um diesen zu durchsuchen und die Ausführung der Algorithmen auf Hardware ergab, dass das Problem nicht lösbar ist. Der Diskursraum war also klar definiert. Die einzige Innovation bestand darin sehr spezielle Heuristiken zu erfinden welche die Ausführungszeit der Suche leicht verbesserten. Das also mit der richtigen Heuristik eine Pfadplanung in einer 2d Karte nicht länger 10 Sekunden dauert sondern nur 1 Sekunde. 

Leider waren verbesserten Heuristiken und neuartige Suchalgorithmen wie RRT nicht im Stande Real life Probleme zu lösen wie sie in der Robotik existierten. Selbst stark vereinfachte Robotik-Challanges wie Micromouse erzeugen einen hochkomplexen Suchraum. Man wusste zwar durch mathematische Analyse wie groß der Suchraum genau ist und wie lange es dauert diesen vollständig zu durchsuchen aber es war unklar wie man das Problem, also z.b. micromouse, lösen kann.

Die Forschung zu np harten Problemen lässt sich in Phasen unterteilen:

1980er Jahre, optimistische Sicht, mit schnellerer Hardware und neuen Algorithmen lassen sich derartige Probleme lösen
2000er Jahre, neutrale Sicht, bestimmte Motion Planning probleme sind so komplex dass man probabilistische Algorithmen benötigt und nur Teilprobleme lösen kann
2010er Jahren, pessimistische Sicht, np harte Probleme sind unlösbar, Mathematik ist prinzipiell nicht in der Lage das Problem zu lösen, vorhandene Algorithmen sind nutzlos

Erst die pessimistische Sicht in den 2010er Jahre machte den Weg frei für eine komplett andere Sichtweise. Damit ist gemeint, eine nicht mathematische und eine nicht algorithmische Sichtweise zu nutzen. Selbst heute im Jahr 2026 erscheint ein solcher gegensätzlicher Ansatz als absurd, weil ja Informatik auf Mathematik aufbaut und weil Algorithmen das zentrale Element der Informatik sind.  Computer basieren auf Logik, aber nicht auf Intuition und Algorithmen enthalten Anweisungen aber keinen Kontext. Es verwundert wenig dass sich die Informatik schwer damit tat, das vertraute Gebiet zu verlassen und komplett neue Ansätze zu verfolgen.

Es gab eine Meilensteine in der Geschichte der Robotik welche ein Ablösung von der Mathematik und von Algorithmen propagierten: So hat im Jahr 1990 Rodney Brooks postuliert, dass die Umgebung eines Roboters als Steuerung verwendet werden kann, während im Jahr 2000 Cynthia Breazeal erstmals die Interaktion von Robotern mit Menschen näher erforscht hat. In beiden Fällen lag der Fokus nicht länger auf dem Roboter selber sondern auf der Umgebung innerhalb derer der Roboter agiert. Diese Umgebung kann ein Labyrinth sein, in dem der Roboter herumfährt oder es kann ein Mensch der in die Kamera schaut. Der Fokus auf die Umgebung stellt einen wichtigen Beitrag da um np harte Probleme anders zu untersuchen.

Head up display for a grasping robot with keyframes

Wie man grounded language implementiert, Schritt für Schritt

Zuerst definiert man eine Vokabellliste die für das Problem angemessen ist. Bei einem Minimalbeispiel soll ein Roboter sich auf einem Graph bewegen. Typische Vokabeln sind:
nord, osten, süden, westen, rot, grün, blau, wegpunkt, schnell, langsam, stop

Im nächsten Schritt wird ein Bild zu Text Parser programmiert, dieser erzeugt eine textuelle Beschreibung für die aktuelle Situation. Eine Beispielausgabe wäre:
"Roboter ist im Norden, nahe des grünen Wegpunktes. Er bewegt sich schnell"
oder "Roboter ist im Süden, nahe des roten Wegpunktes. Er hat gestoppt".

Selbstverständlich ist diese Textausgabe nicht sehr eloquent und basiert auf einer einfachen Template die mit aktuellen Werten gefüllt wird. Aber das ist akzeptabel, wichtig ist dass überhaupt eine Textausgabe stattfindet.

Um den umgekehrten Kommunikationsweg von einem Kommando zu einer Aktion zu implementieren benötigt man eine Reward Funktion. Ein Kommando wie "gehe nach NOrden" wird in einen SCore umgerechnet. Wenn der Roboter im Norden angekommen ist beträgt sein Score 1.0 wenn er weit davon entfernt ist nur 0.0".

Damit stehen alle wichtigen Elemente zur Verfügung um mit dem Roboer in natürlicher Sprache zu kommunizieren. Der Roboter beschreibt die aktuelle als Text und reagiert auf Kommanddos. Zumindest für die eingeschränkte Domäne des "Roboter auf einem Graph" Problems ist damit eine Kommunikation zwischen Roboter und menschlichem Bediener möglich.

Mit Hilfe dieser Kommunikation kann man komplexe Aufgaben automatisieren. man sendet z.B. eine Befehlsfolge an den Roboter:
"1. fahre nach Norden, suche den grünen WEgpunkt, warte dort.
2. dann fahre nach Süden zum Roten Wegpunkt. und zwar schnell"

Diese Kommandos übersetzt der Roboter zuerst in einen Reward und nutzt den Reward dann um Aktionen auszuführen. Während er das tut beschreibt der Roboter in der Logdatei was er gerade macht also wo er ist, was er sieht und was die nächsten Schritte sind.

Wie man Robotik vereinfacht

 Robotik und Künstliche Intelligenz ist ein multidisziplinäres Fachgebiet was mehrere hochkomplexe Wissenschaften umfasst wie Naturwissenschaften, Geisteswissensschaften, Sozialwissenschaften und Informatik als verbindenes Element. Dadurch entsteht eine Komplexität und es ist unmöglich in einfachen Worten zu erklären wie ein Roboter funktioniert.

Um all die Wissenschaftsdisziplinen gemeinsam darzustellen im Kontext Robotik, bietet sich ein Head up display an. Ein head up display zeigt die Welt aus sicht eines Roboters und umfasst Kamerafenster und ein textuelles Fenster mit der inner voice des Roboters. Die Softwareentwicklung reduziert sich darauf das Layout und die Funktionsweise des head up displays zu optimieren, also zu bestimmen wo die fenster auf dem bildschirm angezeigt werden, welche Informationen darin zu sehen sind und sicherzustellen dass die daten aktuell sind.

Zum Beispiel werden visuelle Sensoren mit einer hohen Frequenz von 60fps aktualisiert, während die inner voice des Roboters in einer langsamen Frequenz von 1fps aktualisiert wird.

Selbst Laien außerhalb der Künstlichen Intelligenz können anhand eines Head up displays nachvollziehen wie Roboter funktionieren. Sie sehen auf dem Bildschirm was der Roboter sieht und können lesen was der Roboter denkt. Das inner voice textfenster enthält z.B. "Auf dem Tisch steht eine Tasse. Ziel ist die Tasee zu greifen".

Ein Head up display ist das Frontend, im Hintergrund wird weitere Software benötigt wie large language modelle, Vision language action modelle, datasets und bilderkennungssoftware. Diese Softwarebestandteile sind zwar für die funktionsweise nötig haben aber lediglich unterstütztende Funktion. Wichtig ist dass im Head up display alle Softwarekomponenten gemeinsam angezeigt werden.

Das Grundprinzip hinter jedem Head up display ist Bilder und Texte gemeinsam anzuzeigen. Charakterische Elemente sind bounding boxes, textuelle Beschreibungen von erkannten Objekten sowie kurzen Stichworten für Planungsaufgaben. Die Mischung aus Text und Bild ist die Antwort auf das Symbol grounding problem. Es ermöglicht einer Künstlicher Intelligenz Informationen zu speichern. Anstatt das komplette Kamerasignal im speicher abzulegen was sehr viel RAM benötigt, werden ledigliche Textualle Annotationen zu den Kamerabildern abgelegt. Jede Entscheidung, Planung und Ausführung von Aktionen hat etwas mit Verknpfüung von Bild und Text zu tun.

Was tun gegen AI slop?

 Nach der Dead internet Theory besteht ein großteil des Internet aus KI generierten Inhalten wodurch eine Verflachung einsetzt und menschlich erzeugter Content zurückgedrängt wird. Die logische Frage lautet wie schlimm das ist und wie man den Prozess aufhalten kann.

Leider ist dieser Diskurs über AI slop nicht besonders produktiv sondern führt in eine Sackgasse bei dem technische Details ausgeblendet werden. Das Internet rein auf Inhalte zu reduzieren und die Technologie dahinter als gegegeben zu betrachten ist das eigentliche Problem.

Technisch gesehen entstanden KI erzeugte Inhalte ab dem Jahr 2023 mit dem Aufkommen der ersten LLM welche Text, Fotos, Bilder, Videos und Musik erzeugen können. Die Zeit vor 2023 war das Internet menschlich erzeugt. Computer konnten zwar Inhalte anzeigen in einem Webbrowser und über weite Strecken per Glasfaserkabel übertragen aber Computer waren nicht in der Lage Inhalte zu generieren, von kleineren Ausnahmen wie fraktale und Povray raytracing Bildern abgesehen.

Die Kritik an KI erzeugten Inhalte ist eine versteckte Kritik an large language modellen. Diese sind die technische Basis um mit einem simplen Prompt längere Texte zu erzeugen wie Kurzgeschichten, Fachtexte oder Powerpoint Folien. Historisch gesehen war vermutlich das SCIgen Projekt das erste Beispiel für AI slop. Im Jahr 2005 hat ein Computerprogramm die Inhatle von mehreren Powerpoint Folien erzeugt die dann von verkleideten Wissenschaftlern auf einer fachtagung präsentiert wurden.[1] Aus heutiger Sicht könnte man sagen dass Jeremy Stribling et. al. damals AI Slop erzeugt haben und diesen vor anderen Wissenschaftler präsentiert haben.

Es gibt sogar ein objektives Instrument um AI slop zu erkennen und zwar mit Hilfe eines Turing Tests. Dabei werden einer versuchsperson mehrere Texte präsentiert und die Versuchsperson muss entscheiden ob der Autor ein Mensch oder ein Computer war. Kann die Versuchsperson das nicht anhand der Texte ermitteln hat der Computer den Turing Test bestanden.

[1] https://pdos.csail.mit.edu/archive/scigen/#talks

History of the symbol grounding problem

 Symbol grounding is a multidisciplinary approach which has evolved over years. The follwoing timeline shows the milestones during the development. First important innovation was the invention of written language thousands of years ago, in the year 1844 the morse code was invented to transmit signs over distance. In 1968, the SHDRLU project was initiated which was a text to graphics interface on a computer. In 1991 Rodney brooks recognized that robots need to interact with the environment, in 2003 a voice controlled robot was built by Deb Roy and in the year 2023 the Lingo-1 Vision language model was published for controlling self driving cars.

The shared similarity between these innovations is the focus on natural language for connecting two systems. A speaker sends a command to a hearer. Implementing such an interface on a computer allows to teleoperate a robot with language. This is the precondition for automation. 

The crucial building block for symbol grounding is natural language which is used as a reference system to the external world. Thanks to predefined words for objects and activities its possible to label sensory data and receive high level commands. A robot can recognizhe that he stands in front of an obstacle, and a human operator can submit a commoand to the robot like "move around the obstacle to the left". It took decades and even centuries until human researchers have discovered the power of natural language and were able to implement textual interface for robots. Its likely that future robots invented in 20 years from now will work with the same principle.

3300 BC,Cuneiform writing system in Mesopotamia
1500 BC,sundial showing the time of the day
600 BC,Latin alphabet available in Italy
322 BC,correspondence theory of truth by Aristotle
1386,Salisbury Cathedral tower clock with a bell
1440,printing press by Johannes Gutenberg
1505,Pomander Watch by Peter Henlein
1792,optical telegraph by Claude Chappe
1844,morse code by Samuel Morse
1870,Engine Order Telegraph by William Chadburn
1876,commercial typewriter by Remington
1878,chronophotography "The Horse in Motion" by Eadweard Muybridge
1903,Telekino remote controlled boat by Leonardo Quevedo
1915,Therblig notation by Frank Gilbreth
1915,rotoscoping animation technique by Max Fleischer 
1920,AAC Communication board by F. Hall Roe
1928,Labanotation dance notation by Rudolf von Laban
1929,Televox robot by Westinghouse
1930,motion tracking by Nikolai Bernstein
1949,Turing test by Alan Turing
1954,Georgetown-IBM Experiment with russian translation
1959,Pandemonium architecture by Oliver Selfridge
1962,ANIMAC motion capture by Lee Harrison III
1963,ASCII code
1966,ELIZA chatbot by Joseph Weizenbaum
1968,SHRDLU natural language understanding by Terry Winograd
1971,Lexigram for communicating with apes by Ernst von Glasersfeld
1977,Zork I text adventure by Tim Anderson
1977,Tour model instruction following by Benjamin Kuipers MIT AI lab
1980,Chinese room argument by John Searle
1980,Commentator scene description by Bengt Sigurd
1980,Finite State machine in Pacman videogame by Tōru Iwatani
1981,Karel the robot programming language by Richard Pattis
1983,MIDI music protocol
1983,M.I.T. Graphical Marionette by Delle Maxwell
1984,Castle Adventure by Kevin Bales
1987,Maniac Mansion point&click adventure by Ron Gilbert
1987,Vitra visual translator by Wolfgang Wahlster
1989,Speech activated manipulator SAM by Michael Brown
1990,Physical Grounding Hypothesis by Rodney Brooks
1990,paper "The symbol grounding problem" by Stevan Harnad
1991,paper "Intelligence without Representation" by Rodney Brooks
1993,AnimNL computeranimation by Norman Badler
1993,conceptual spaces by Peter Gardenfors
1994,Abigail scene recognition by Jeffrey Siskind
1996,Interaction machines by Peter Wegner
1998,Rocco Robocup commentator by Dirk Voelz
1999,trec-8 Text Retrieval Conference
2000 Kismet social robot by Cynthia Breazeal M.I.T.
2003,M.I.T. Ripley robot by Deb Roy
2006,Marco route instruction following by Matt MacMahon
2007,Simbicon computer animation by Michiel Panne
2010,Motion grammar by Mike Stilman
2010,M.I.T. forklift by Stefanie Tellex
2011,IBM Watson Question answering by David Ferrucci
2013,Word2vec algorithm by Tomas Mikolov
2015,Poeticon++ trajectory recognition by Yiannis Aloimonos
2015,DAQUAR VQA dataset by Mateusz Malinowski
2017,Transformer Architecture by Ashish Vaswani
2020,Vision language model by different authors
2023,Wayve Lingo-1 self driving car

Wie natürliche Sprache Einzug hielt in die Künstliche Intelligenz

 Künstliche Intelligenz ist ein sehr traditionsreiches Thema was über Jahrzehnte erforscht wurde. Lange vor der Dartmouth Conference im Jahr 1956 gab es versuche Schacuautomaten und Androiden zu bauen. Auch in der science Fiction literatur waren Roboter ein fester bestandteil, z.B. in der R.U.R. Geschichte von 1920. Obwohl niemand sagen kann wie man denkende Maschinen baut gab es doch verschiedenen Ideen darüber wie sich Roboter technisch realisieren ließen.

Mit der Erfindung des Computers in den 1940er rückten computergesteuerte Roboter in den Fokus. Die wissenschaftlich These lautete fortan dass Künstliche Intelligenz das Resultat von Algorithmen sei, also eines Programs was auf einer CPU ausgeführt wird. Diese Sichtweise prägte über Jahre die Forschung. Bis heute hält sich die Vorstellung unter informatikern, dass Künstliche Intelligenz ein Program sei was von einem Computer ausgeführt wird und Prbbleme lösen kann.

Mitte der 1980er Jahre hat Douglas Lenat das Cyc Projekt ins Leben gerufen. Es war ein umfangreiches Forschungsprojekt was Künstliche Intelligenz nicht über algorithmen realisieren wollte sondern mit Hilfe von Ontologien, also Wissensdatenbanken. Die Idee war dass Intelligenz in semantischen Netzen gespeichert sei. Obwohl das Cyc projekt rückblickend eine Sackgasse darstellte half es dabei eine neue Perspektive zu entwickeln. Anders als sortier oder optimierungsalgorithmen benötigen Ontologien keine CPU sondern werden auf Festplatten gespeichert, sind also Datenstrukturen.

Es dauerte noch einige Jahre bis das Ontologie konzept erweitert wurde zur These dass Künstliche Intelligenz etwas mit natürlicher Sprache zu tun hat. Anders als die Ontologien aus dem Cyc Projekt lässt sich natürliche Sprache sehr viel schwerer von Computern parsen. Sprache ist nicht als graph organisiert sondern es gibt Wörter die eine BEdeutung haben die aber nicht im Satz selber enthalten ist. Um natürliche Sprache dennoch mit Computern zu verarbeiten benötigt man weitere Hilfsmittel wie datasets in welchen Interaktionen mit Sprache gespeichert sind. Diese Datasets dienen als input für neuronale Netze womit sich LLM Chatbots erzeugen lassen die aktuell im Jahr 2026 die KI Landschaft prägen.

Rein technisch hätte bereits in den 1960er Jahren ein Informatiker behaupten können dass künstliche Intelligenz etwas mit natürlicher Sprache zu tun habe. Und es wäre möglich gewesen auf damaligen Computern ein Bilderkennungsprogram schreiben zu können was ein Bild in Sprache konvertiert. Das problem war, dass die Idee viel zu fortschrittlich war als dass sie in den 1960er geläufig wäre. Selbst heute gilt die Vorstellung dass Computer natürliche Sprache verwenden so wie Menschen als provokative Äußerung. Sprache wird zwar von Philosophen untersucht und von Linguistikern in Wörterbüchern explizit gespeichert, aber der Konsens ist dass nur Menschen sprechen nkönnen, nicht aber Tiere und erst recht nicht Computer.

Die Verwendung von Sprache als Technologie um künstliche Intelligenz zu ermöglichen war ein langer prozess innerhalb der Informatik der Jahrzehnte benötigte. Zu nennen ist beispielsweise der M.I.T. Ripley robot von Deb Roy in 2003, oder der Word2vec Algorithmus aus 2013. Technisch gesehen sind beide Projekte höchst unterschiedlich aufgestellt, einmal geht es um die Steuerung von Robotern und beim zweiten Beispiel um präprocessing für neuronale Netze. Die Gemeinsamkeit besteht darin, dass natürliche Sprache als zentrales Element für ein KI Projekt eingesetzt wird. Demnach ist jenes Modul womit der Computer denkt, zugleich das Modul was sprache versteht und Sprache generiert.

Sprache ist deswegen der zentrale Baustein von künstlicher Intelligenz weil damit eine Referenz auf die Umwelt des Roboters erfolgt. Die Einbettung des Roboters in eine Umwelt wurde zuerst von Rodney Brooks in den 1990er Jahren erkannt. Es ist nicht ausreichend eine Maschine zu bauen und darauf ein Programm auszuführen sondern Robobter müssen über sensoren die Umwelt wahrnehmen. Die Intelligenz wird also erst über eine Interaktion mit der Umgebung erzeugt, und Sprache ist dafür das Interface. Sobald ein Roboter Sprache parsen und erzeugen kann besitzt der Roboter über ein leistungsfähiges referenzsystem. Er kann auf Kommandos reagieren, er kann sensor signale in Sprache umwandeln, er kann beobachtungen in einer Log datei speichern. Daduruch entsteht Künstliche Intelligenz.

Wodurch werden KI Projekte so teuer?

 Der Diskurs über Deutschland als Technologiestandort wird häufig verengt zu der frage warum es keine KI Forschung in Deutschland gibt. Dabei gab es zumindest in der Vergangenheit viele deutsche KI Projekte wie:

- verbmobil, Vitra, RHINO (Museumsroboter), ARMAR (humanoider Roboter), RoboCup@Home, Carolocup und Dickmanns autonomes fahren

Das Grundproblem bei KI Forschung ist dass es extrem teuer ist im Sinne von finanzieller Kosten. Ende der 1980er benötigten Forscher die schnellste verfügbare Hardware um darauf Lisp laufen zu lassen und erste neuronale Netze zu simulieren wie VAX Minicomputer (0.5 Mio US$ pro Stück) und Symbolics Workstation (100k US$ pro Stück). In diesen Computern war für die damalige Zeit sehr viel RAM verbaut und die Systeme waren Einzelanfertigungen aber kein MAssenprodukt wie der damals verfügbare Atari ST Rechner.

Und das sind nur die Ausgaben für die Hardware, hinzu kommen die Kosten für das KI Projekt selber. Künstlicher Intelligenz unterscheidet sich von klassischer Forschung dadurch dass es interdisziplinär betrieben wird. Neben der Informatik braucht man zugriff auf Mathematik, Sprachverarbeitung, Kognitionspsychologie usw. Allein eine Bibliothek welche all diese Literatur bereitstellt ist ein hoher Kostenfaktor.

Sowetwas wie preiswerte KI forschung welche auf Standardhardware läuft und nur ein Wissenschaftsgebiet umfasst gibt es nicht. Das wäre dann z.B. Forschung innerhalb der Mathematik oder Forschung innerhalb der Mechanik. Bei künstliche Intelligenz fließen all diese Bereiche zusammen. Ein robotik projekt besteht aus hardware, software, Algorithmen, Natürliche Sprache, Bilderkennung, neuronalen Netzen, Dateübertragung über Netze usw.

Bei KI Forschung im Jahr 2026 haben sich die Kosten weiter erhöht. Aktuelle Hardware um neuronale Netze zu trainieren ist sehr teuer, die Notwendigkeit unterschiedliche Disziplinen einzubeziehen hat sich verstärkt. Roboter werden heute über motion capture datensätze trainiert welche zuvor in Laboren für Bewegungsstudien erfasst wurden, DIe sprachverarbeitung erfolgt über Datenbanken in denen fremdsprachichige Korpora gespeichert sind und Bilderkennung benötigt riesige Beispieldatenbanken mit hunderten von Terabyte an Speicher. All diese Ressourcen sind teuer, die akademische Publikationen liegen geschützt hinter kostenpflichtigen Paywalls, selbstfahrende Elektroautos mit Lidar sensoren kosten deutlich mehr als ein Standard Auto und es dauert Jahrzehnte bis sich nachwuchsforscher in die Thematik eingearbeitet haben.

Grundlagen forschung im Jahr 1900 in den Bereichen Funkübertragung oder Elektronik war relativ einfach durchzuführen. Es braucht nicht mehr als einen Bastelkeller, einige wenige Grundlagenwerke aus dem Fachgebiet, ein wenig praktisches geschick beim Aufbau von Schaltungen und schon konnte die Spitzenforschcung beginnen.

Die schlechte Nachricht lautet dass es nicht möglich ist die Kosten zu senken. Neuronale Netze auf älterer Hardware zu trainieren funktioniert technisch nicht, Robotik ohne Sprachverarbeitung zu erforschen macht inhaltlich keinen Sinn, Trainingsdateaets zu erzeugen die nur wenige Megabyte groß sind erzeugt schlechte Resultte, und humanoide Roboter zu bauen die nur 3 servomotoren haben und über ein Stromkabel versorgt werden ist kein guter Standard in der autonomen Robotik.

Es gibt jedoch eine Methode um die Kosten massiv zu senken. Und zwar indem man KI Projekte rein virtuell durchführt. Das bedeutet, es gibt keine physische Hardware und es gibt keine realen Sensoren sondern die KI agiert in Computerspielen. Einsteigerfreundliche Projekte wären:

- Steuerung eines Pong Clones mit Hilfe neuronaler Netze
- Programmierugn einer SChach Engine
- simulation eines 6 beinigen Laufroboters als 3d Modell

Der verbleibende Kostenfaktor bei diesen Projekten ist die inhärente Multidisziplinarität, das also unterschiedliche Wissenschaftliche Bereiche wie Mathematik, Informatik, Biologie, Sprachwissenschaft, Statistik, Bewegungsstudien miteinander kombiniert werden. Möchte man z.B. einen simplen 6 beinigen Laufroboter in 3d Animieren benötigt man für diese Aufgabe unhzählige Bücher aus mehreren Bereichen der Unibibliothek. Es gibt kein Fachgebiet in einer Bibliothek was sich dezidiert mit laufrobotern beschäftigt, sondern es gibt nur Fächer die etwas über Mechanik, Programmierung, Animation, Algorithmen und Bewegung beinhalten.

Das was unter dem Stichwort Künstliche Intelligenz gemeint ist, stellt ein Mix da aus all diesen Disziplinen. All diese Informationen zu lesen und zu kombinieren ist zeitaufwendig. Es dauert lange bis sich newbies in die Thematik eingelesen haben.

Mit Hinblick auf den Erfolg von Large language modellen ab dem Jahr 2020 ist zwar klar wie erfolgreiche KI projekte aussehen, allerdings sind Large language projekte gleichzeitig die aufwendigsten KI Projekte überhaupt. Man braucht zwingend große datasets im Terabyte Umfang und schnelle GPU für das Training der neuronalen Netze. Insofern ist die Hürde solche Projekte zu beginnen sehr hoch.

In den 1980er Jahren kosteten Großforschungsprojekte im Bereich Künstliche Intelligenz 50 Mio DM. Aktuelle Forschung im Jahr 2026 mit Large language modellen kostet rund 500 Mio US$. Vermutlich werden künftige KI Projekte bei denen Robotik mit large language modellen kombiniert werden, Kosten von 5 Millarden US$ erzeugen. und sobald man damit beginnt Schwärme von Robotern zu bauen wird es nochmals teurer.

Einführung in language games

Language games, deutsch: Sprachspiele nach Wittgenstein, sind eine besondere Form des Gesellschaftsspiel. Anders als das bekanntere Schachspiel wurde es in der Geschichte der Künstliche Intelligenz lange Zeit nicht näher untersucht. Was hingegen von der KI Community sehr intensiv erforscht wurde waren Spiele wie Schach, Mühle, das Piano movers problem im Kontext Motion Planning sowie Roboternavigation in einem Labyrinth. Diese klassischen Spiele werden in der Literatur diskutiert und es gibt unzählige Software mit denen einen Künstliche Intelligenz die Spiele gewinnen kann.

Die eingangs erwähnten Sprachspiele nach Wittgenstein sind selbst innerhalb der Philosophie ein Randgebiet. Es gibt dazu zwar Publikationen aber nur wenige und diese sind gänzlich theoretischer Natur. Im Kontext des Symbol grounding problems werden Language games jedoch zu einem wichtigen Werkzeug zur Erklärung von Mansch maschine interaktion. Ein Sprachspiel ist zunächst einmal ein Gesellschaftsspiel was nach Regeln abläuft. Dazu ein Beispiel:

Das wohl einfachste verfügbare Sprachspiele ist "Farben raten". Der Spielleiter zeigt eine farbige Karte und der Spiel muss das passende Wort sagen, z.B. "blau". dann zeigt der Spielleiter ein andere Karte und der Spieler muss erneut das passende Wort sagen, z.B. "hellgrün". Am Ende wird die Punktzahl ermittelt, also wieoft der Spieler das richtige Wort gesagt hat.

Wenn man das Spiel in seiner Muttersprache spielt ist es trivial, deutlich schwerer wird es hingegen in einer Fremdsprache. Der Spieler sieht zwar dass die Karte "hellgrün" ist kennt aber das passende Wort in der Fremdsprache z.B. italienisch "verde chiaro" nicht.

Es gibt neben "Farben raten" noch weitere Sprachspiele wie "instruction following", "Name guessing" die ebenfalls nach festen Regeln gespielt werden und etwas mit dem Aussprechen von Worten zu tun haben und die Wirklichkeit zu benennen. Sprachspiele werden praktisch im Fremdsprachen unterricht eingesetzt um neues Vokabular in einer realistischen Situation anzuwenden. Es ist eher unüblich, Sprachspiele in der Informatik in Software zu implementieren, jedenfalls ist die Menge an Litertur zu dieser Thematik fast null.

Es spricht technisch nichts dagegen das obigen Farben raten und weitere language games in Software zu implementieren sowie KI Agenten zu programmieren die diese Sprachspiele lösen können. Dies wird meist als Vision language action model bezeichnet, also eine KI die die Realität in Sprache beschreibt und darauf reagieren kann.

Language games sind in der Informatik ein sehr mächtiges Werkzeug, selbst wenn man sehr simple Sprachspiele implementiert die aus wenigen Worten bestehen kann der so instruierte Roboter hochkomplexe Aufgaben lösen. Scheinbar sind Sprachspiele die Kernkomponente von künstlicher Intelligenz. Vielleicht ein Beispiel: angenommen man überlegt sich ein Sprachspiel für Küchenroboter. Nachdem das Sprachspiel in softwrae implementiert wurde und der Roboter Begriffe der Küche korrekt bennent, kann dieser Roboter bereits längere Aufgaben ausführen. Er versteht plötzlich eine Anweisung wie "öffne den SChrank und entnehme die Tasse". Dieses Kommando wird deshalb verstanden weil für den Roboter es Teil eines Sprachspiels ist. Die Aufgabe ist die Worte in dem Satz in der Realität zu suchen, z.b. über bounding boxes.

Sprachspiele haben einen Schwerpunkt in der Kommunikation. Anders als beim piano movers problem geht es nicht um Motion planning sondern bei Sprachspielen geht es um assoziatives Wortverständnis, also das matchen von Begriffen mit Bildern. z.b. zeigt der Spielleiter ein Photo von einer Tasse und der Spieler muss das korrekte Wort in Deutsch sagen "Tasse". Es werden also Fähigkeiten abgefragt die etwas mit Linguistik zu tun haben aber nicht mit Mathematik oder Zahlenverständnis. Dies könnte erklären warum Sprachspiele von der Informatik nur selten thematisiert werden, weil die Informatik sich historisch als Erweituerung der Mathematik versteht, es geht darin weniger um Texte oder Worte sondern der Untersuchungsgegenstand sind Zahlen und Algorithmen. Das könnte erklären warum früher in der KI Forschung überwiegend Spiele untersucht wurden die einen mathamtischen hintergrund besitzen also z.B. TicTacToe, Sudoko Spiele, oder das Nim spiel, was eines der ersten Spiele überhaupt war, das auf einem Computer implementiert wurde und zwar 1940 während der Weltausstellung in New York.

DIKW pyramid as blueprint for Artificial Intelligence

 A DIKW pyramid divides facts into separate layers:

- low level = sensory data, e.g. color=(20,10,178), distance=2 meter
- mid level= label space, e.g. [bluecolor], [mediumdistance], [baterryfull]
- high level = knowledge. e.g. "bring me the blue box from room A"

Its not an algorithm but a data representation format, similar to the Unicode table. After implementing the DIWK pyramid as a computer program its possible to interact with the robot in natural language. The human operator formulates a request on the high level layer, e.g. "bring me the blue box" and this request is translated into mid level and low level.

The principle is similar to the TCP/IP protocol layer which allows divides communication into layers for reducing complexity. The working thesis is, that a dikw pyramid can explain what artificial intelligence is about. If the robot has access to a DIKW pyramid, the robot is intelligent.

The main purpose of a DIKW pyramid is to act as an interface between internal world and external world. The low level layer is located inside the robot, while the high level layer is located outside of the robot. Communication means to transmit messages physical but also translate the message between the layers.

Grenzen autonomer Robotik

 Der simple Grund warum bis ca. 2010 es unmöglich war Roboter zu bauen und zu programmieren liegt darin, dass unklar blieb wie genau komplexe Aufgaben in Software algorithmisch bewschrieben werden sollten. Wenn z.b. ein Roboter den kürzesten Weg zum Ziel finden soll um dort einen Gegenstand präzise zu greifen benötigt der Roboter eine extrem komplexe Steuerungssoftware aus vielen tausend Zeilen von Code. Dieser Code muss irgendwer programmieren.

Soll der Roboter komplexere Aufgaben lösen z.b. bei selbstfahrenden Autos oder beim biped walking erhöht sich der Programmieraufwand weiter. Zwar konnten KI Forscher bis 2010 grundsätzlich den benötigten C/C++ Softwarestack programmieren udn mögliche Fehler darin korrigieren, nur eben in einem sehr langsamen Tempo mit den üblichen 10 lines of code pro Tag für neu zu erstellende Software. Es verwundert wenig das größere Robotik-Projekte mit diesem Entwicklungstempo unmöglich zu realisieren waren.

Die Antwort auf das Dilemma besteht keineswegs darin über genetische Algorithmen die Software sich selbst verbessern zu lassen sondern die benötigte Technologie um Roboter zu programmieren besteht in der Externalisierung von Intelligenz. Je mehr Aufgaben der Roboter an eine Umwelt deligiert desto schlanker ist die verbleibende Robotik-Software. Ein anderer Begriff für Externalisierung lautet Teleoperation. Das heißt die Wegfindung oder die Greifplanung eines Roboters wird nicht länger in Software realisiert sondern durch einen menschjlichen Bediener außerhalb des Roboters.

Anstatt das Für und Wieder von Teleoperation zu untersuchen ist es wichtiger sich die Sprachinterfaces zu kümmern die zwischen dem Roboter und dem menschlichen Bediener benötigt werden. Dieses Interface funktioniert in bidirektionaler Richtung: der Roboter reagiert auf gesprochene Kommandos und der Roboter sendet verbale Statusinformation an den Menschen zurück.

Mit Hilfe eines natürlichsprachlichen Interfaces lassen sich einerseits hochkomplexe Roboter realisieren wie z.b. selbstfahrende Autos, während gleichzeitig die benötigten Codezeilen gering sind. Die Aufgabe der Robotersoftware ist weniger das Steuern des Roboters, sondern das Ziel ist ein Sprachinterface bereitzustellen damit der Roboter effektiv aus der Ferne gesteuert werden kann.

Bis ungefähr zum Jahr 2010 erschien das Konzept von ferngesteuerten Robotern absurd. Es wurde nichtmal kritisch distanziert von der KI Community diskutiert sondern überhaupt nicht thematisiert. Der Konsens stattdessen lautete3 autonome Roboter zu bauen die ohne Teleoperation funktionieren. 100% aller Robotikwettbewerbe wie Robocup, micromouse, Carolo-Cup oder die Darpa Grand challenge arbeiteten nach diesem Prinzip.

Sprachspiele im Kontext von Robotik

Die Erforschung künstlicher Intelligenz drehte sich lange Zeit um die Frage welche Art von Softwareframework, Algorithmus oder Programmiersprache benötigt wird um denkende Maschinen zu realisieren. Die Annahme hinter dem Cyc Projekt von Douglas Lenat lautete, dass eine Ontologie der Grundbaustein sei, das Cam-Brain Projekt von Hugo de Garis unterstellte dass im Kern ein neuronales Netz benötigt wird während Edward Feigenbaum vermutete dass sich Künstliche Intelligenz mit Hilfe von Expertensystemen realisieren läst.

Im Laufe der Zeit wurden sehr viele gegensätzliche Technologien und Annahmen entwickelt um Künstliche Intelligenz zu verwirklichen. Ein Sprachspiel im Sinne von Ludwig Wittgenstein ist nur ein weiterer Vorschlag unter vielen. Dennoch lohnt es sich, das Thema nähter zu untersuchen. Weil das Prinzip von Sprachspielen deutlich anders ist als z.b. ein Expertensystem oder ein neuronales Netz.

Sprachspiele sind ein formalisiertes Interface zwischen interner und externer Realität von Systemen. Es ist ein Test, ob die Spielteilnehmer Sprache erzeugen und verstehen mit derer man die externe Realität beschreibt. Ein typisches Beispiel ist das "Ich sehe was du nicht siehst Spiel". Dabei beschreibt Person A ein Objekt aus der Realität anhand von Eigenschaften, er formuliert aussagen wie "das Objekt ist rund, steht in der Küche, hat Beine" und daraus folgert Person B "es ist ein Tisch".

Die Gemeinsamkeit von allen Sprachspielen ist, dass Sprache in einem interkationsspiel genutzt wird um auf die Wirklichkeit zu referenzieren. Es geht immer darum, Dinge abzufragen die in der Realität vorkommen, Anweisungen geben was in der Realität zu tun ist oder sonstwie Sprache und Wirklichkeit in Beziehung zu setzen. Sprachspiele sind eine gute Möglichkeit eine Fremdsprache zu erlernen und dienen dazu den Wissensstand zu erfassen. Wenn eine Person oder ein Computer in einem Sprachspiel eine hohe Punktzahl erreicht, ist diese Person mit der jeweiligen Sprache vertraut.

Anders als die eingangs erwähnten Technologie zur Realisierung von künstlicher Intelligenz wie Onotologien oder Expertensysteme sind Sprachspiele nicht technisch definiert sondern haben ihren Ursprung in der Philosophie und der Linguistik. Es geht um Themen wie interaktivität, Sprache, Wirklichkeit. Die Annahme lautet dass innerhalb dieser Begriffe Künstliche Intelligenz möglich ist, das also denkende Maschinen ein Interface zwischen internem System und externer Realität sind.

Seit den 1980er wurden Brettspiele als Testumgebung für denkende Maschinen genutzt. Schach ist ein sehr altes Beispiel für das Künstliche Intelligenz realisiert wurde, aber auch andere Spiele wie Tic Tac Toe, Dame, Backgammon und Go sind klassische Umgebung zur Erforschung von KI Algorithmen. Leider haben diese Brettspiele den Nachteil dass sie nicht gut nach oben skalieren. Ein Computer der perfekt Schach spielt ist nicht automatisch im Stande einen Roboter zu steuern. Deshalb eignen sich die erwähnten Brettspiele nur sehr eingeschränkt dazu KI näher zu erforschen.

Sprachspiele kann man als neuartiges Gesellschaftsspiel verstehen was ähnlich wie Schach Regeln folgt aber viel besser nach oben skaliert. Ein Computer der das "Guess what" Sprachspiel beherscht ist zugleich auch in der Lage mit diesem Wissen einen Roboter zu steuern. Scheinbar können Sprachspiele die Kernidee von Künstlicher Intelligenz viel besser formalisieren als frühere Brettspiele.

Old school artificial intelligence

Before the advent of large language models, there was lots of AI related research available which was mostly ignored by the public. Typical topics in robotics from the past was NEAT neuroevolution, model predictive control and genetic algorithms. All these concepts were working with computational paradigm. At first the fitness function was defined, e.g. the robot gets +1 reward for moving on step forward, and then an algorithm modifies the parameters of the neural network. In case of model predictive control it was even possible to plan one step ahead, so that the robot was able to use a trial&error strategy.

These concepts can be called old school artificial intelligence because they were working with computers and algorithms as the core element. The assumption was that artificial intelligence is equal to search, so its a mathematical optimization problem. Instead of finding the prime numbers from 1 to 1 million and find 1000 digits of the PI constant, the goal was to use raw processing power to solve robotics problems.

The mentioned NEAT and genetic algorithms strategy were the core principle of AI in the past. Large scale projects like CAM brain and the fifth generation computers in Japan were built around these subjects. The researchers have treated AI problems as mathematical optimization problems by transforming robot motion planning into a mathematical state space first, and then use algorithms to solve these problems.

What was unclear until around 2010 was, that all these strategies have failed. Mathematics and algorithms in general are not powerful to solve robotics problems. This insight is even today some sort of blasphemy because mathematics and algorithms are the building blocks in computer science. If both concepts are rejected as weak then the amount of remaining strategies is small and even empty.

The major result of old school artificial intelligence was not to build robots but to proof that mathematical optimization is a dead end. It can be formulated from a theoretical perspective, that all interesting robotics problems are np hard, and that genetic algorithms including NEAT are not able to solve this problem category. Therefor AI can't be realized.

Its possible to replicate the failure of NEAT and similar approaches with today's software libraries. At first a robotics problem gets formulated, e.g. a walking robot in the OpenAI gym which is a 2d simulator. then a state of the art neuroevolution library is utilized to control the robot. A handcrafted fitness function will reward the algorithm so that the optimization can evolve into improved biped walking generator. Unfortunately, the described setup won't work in reality. Even if the robot walks some steps forward the robot will struggle on larger obstacles. At the same time, the CPU consumption is very high.

At first the fitness function of the robot will improve, but then there is no further improvement available and its impossible to fix the problem. Some reinforcement learning advocates are explaining that with parameter tuning the problem can be solved, other NEAT users claim that with future algorithm update the issue might be solved. But the sad reality is, that mathematical optimization in general fails for robotics problem. No matter if NEAT, genetic algorithm or Q learning was utilized, none of these strategies can control a biped walking robot.

Such kind of insight isn't the end of robotics research but it provides meaningful facts about the limitation of old school algorithms. It shows on a practical example, what sort of AI algorithm isn't working in reality. This opens the path for more advanced AI techniques beyond classical computer science.

KI als Berechnungsprozess

 Zumindest früher und in einem universitären Kontext wurde Künstliche Intelligenz erstaunlich präzise definiert. Rückblickend betrachtet war diese Definition eine Sackgasse welche paradoxerweise das Entstehen von leistungsfähiger Robotik sowie von Large language modelle verhindert hat anstatt zu ermöglichen. Dennoch ist es wichtig sich mit dieser philosophischen Sackgasse näher auseinanderzusetzen.

In einem älteren Foliensatz aus dem Jahr 2005 wurde erläutert dass Künstliche Intelligenz ein Berechnungsprozess sei. [1] page 3. Um ein Problem zu lösen müsse man im Problemraum suchen. [1] page 5

Es werden mehrere Beispiele genannt wie das "Affe und Banana Problem" und "Der Turm von Hanoi" und es werden Lösungsalgorithmen vorgestellt wie uniformierte Suche, Backtracking und Hill climbing mit Bewertungsfunktion.[1] page 12

Insgesamt ist die Darstellung richtig und für die damalige Zeit state of the art. Foliensätze von anderen Universitäten waren ähnlich aufgebaut. Die Grundannahme lautet dass ein klar definiertes Problem existiert was sich über Suchalgorithmen lösen lässt. Als bestes Suchverfahren gilt Hill climbing mit Bewertungsfunktion was auch als heuristische Suche bezeichnet wird.

Die Aufgabe des Computerprograms besteht darin diese Suche auszuführen. Also eine Berechnung durchzuführen welche als Algorithmus definiert wurde. Demnach ist KI die Anwendung einer CPU um Probleme zu lösen.

Was zumindest in der Vergangenheit nicht bekannt war oder verdrängt wurde ist, dass das Verfahren nur bei sehr simplen Problemen funktionoiert wie Finden eines Weges in einem Labyrinth oder Computerschach. Sobald die Probleme geringfügig anspruchsvoller werden, z.B. sehr große Labyrinthe, komplexere Brettspiele oder gar Robotik versagt das Verfahren. Ein typisches Beispiel ist Greifplanung für eine Roboterhand. Selbst wenn eine Bewertungsfunktioni existiert gelingt es nicht mittels Suche im Problemraum eine Lösung zu ermitteln. Der Suchraum ist viel zu groß.

[1] Joachim Funke: Seminar: Denken und Problemlösen, Ruprecht-Karls-Universität Heidelberg, 2005, https://www.psychologie.uni-heidelberg.de/ae/allg/lehre/050217_Computermodelle.pdf

KI entwickeln ohne die Verwendung Künstlicher Intelligenz

 Während der 1980er Jahre versuchte die KI Forschung Computern das Denken beizubringen. Vorhandene Programmiersprachen wie C oder Pascal wurden als nicht leistungsfähig genug betrachtet und durch dezidierte 5th generation languages wie Prolog und Expertensystems shells ersetzt. Die Zielstellung war, vorhandenes Wissen leichter auf einen Computer zu übetragen damit anschließend der Computer das Problem zu lösen vermag.

Einen ähnlichen Ansatz verfolgt das Semantic Web. Auch dort wurde die komplexe Wirklichkeit in Fakten gespeichert und dann von Rule-Engines ausgewertet. Man kann also semantic web als die logische Weiterentwicklung einer Expertensystem shell betrachten.

Im wesentlichen ging es darum, Teile der Wirklichkeit in ein Computerprogramm zu konvertieren. In diesem Computerprogramm konnten dann logische Schlüsse gezogen werden, eine Suche durchgeführt werden und Entscheidungen getroffen werden. Die Sprache Prolog ist sehr gut dafür geeignet, ein logisches Wissensnetzwerk zu erzeugen. Man gibt zuerst die Fakten in das Program ein und kann dann fehlende Informationen daraus folgern.

Die Stillschweigende Annahme hinter diesen Technologien bestand darin, dass eine KÜnstliche Intelligenz zwingend auf einem Computer ausgeführt wird in Form einer Software. Beim Semantic web gab es eine Wissensbasis gespeichert im Computer plus eine Rule engine, bei der Prolog Sprache gab es die Software einerseits und den Prolog interpreter andererseits. Diese strukuturelle Kopplung aus Künstlicher Intelligenz und Informatik ist historsich gewachsen, nur leider war sie zugleich für den KI Winter Anfang der 1990er Jahre verantwortlich.

Solange man die Zielstellung verfolgt, ein Computer programm zu erstellen oder eine Wissnsbasis anzulegen die von einem Computer program ausgewertet wird entsteht ein möglicher Reality gap. Also der Unterschied zwischen der Wirklichkeit und dem Computermodell was diese Wirklichkeit simuliert. Die einzige Methode diesen gap zu minimieren besteht darin, die Anzahl der regeln im Prolog Program zu erhöhen. Dadurch steigt die Komplexität der Software.

Die Antwort zum Reality gap problem lautet: Fernsteuerung. Es gibt also keine Robotik-Software welche den Roboter steuert sondern es gibt einen menshclichen Bediener. Und es gibt auch kein Expertsystem was eine Diagnose erstellt sondern ein menschlicher Experte erstellt die Diagnose. Durch die simple Forderung nach Fernsteuerung löst man alle Probleme der Künstliche Intelligenz der 1980er. Man tauscht das vorherige Berechenbarkeitsparadigma aus zugunsten eines Kommunikationsparadigmas. Der Computer ist nicht mehr dafür zuständig Programcode auszuführen, sondern der Computer übertragt Funksignale von A nach B.

Diese veränderte Rollenzuweisung entspricht weitaus besser der technischen Leistungsfähigkeit. Wenn die einzige Aufgabe des Computers darin besteht Signale weiterzuleiten sind die benötigte Hardware- Software- und Algorithmen trivial. Gleichzeitig entsteht ein neues Dilemma: Fernsteuerung bedeutet, dass kein Computer die entscheidung trifft sondern ein Mensch. Das wird üblicherweise nicht als KI betrachtet. Sobald ein Mensch mit Fernsteuerung den Roboter steuert, hat man eben keinen autonomen Roboter mehr der über eine Software Entscheidungen trifft sondern man hat ein normales RC Car realisiert.

Erst mit einem erweitereten KI Begriff der distributed cognition mit einschließt wird ein ferngesteuertes Auto zu einer Künstlichen Intelligenz umdefiniert. Distributed cognition ist eine relativ neue philosophische Richtung die davon ausgeht, dass Intelligenz sich aus der Kommunikation der Invididuum ergibt. Demnzufolge kann eine einzelne CPU in einem isolierten Roboter nicht intelligent sein, erst wenn diese CPU mit einer anderen CPU oder einem Menschen interagiert, entsteht Intelligenz.