Nicht mathematische Robotik

 Auf den ersten Blick klingt die Vorstellung absurd, künstliche Intelligenz ohne Mathematik zu realisieren. Mathematik gilt als Grundlagendisziplin welche wissenschaft überhaupt erst ermöglicht, ohne Statistik, Zahlen und Formeln könnte man keine Computer bauen oder die Biologie erforschen. Freiwillig auf Mathematik als Werkzeug zu verzichten bei der Erforschung denkender Maschinen scheint wie eine Sackgasse zu sein.

Von außen betrachtet besitzt Mathematik eine Reihe von Limitierungen die in der Vergangenheit unberücksichtigt blieben. Der Fokus auf Zahlen blendet eine zahlenmäßige Beschreibung der Welt aus, und der Fokus auf berechnungen blendet eine assoziative Sichtweise aus. Ein weiteres viel größeres Problem liegt darin begründet, dass Computer sehr schnelle Taschenrechner sind, also außerhalb der Mathematik nichts zu leisten im STande sind. Eine CPU ist vorwiegend ein mathematisches Instrument was zahlen addiert, subtrahiert und multipliziert gerne mit vielen Nackommastellen aber anstonsten nichts kann.

Wenn man auf Mathematik zur Beschreibung von Robotik verzichtet muss man ein besseres Hilfsmittel benennen können was dessen Rolle einnimmt. Dieses Hilfsmittel ist die Kommunikation zweier Systeme. Dies wird nicht von der Mathematik beschrieben sondern ist im Bereich Kybernetik und Kommunikation angesiedelt. Es geht im Kern darum eine Nachricht vom Sender zum Empfänger zu übertragen und sicherzustellen dass die Nachricht verstanden wird. Dieses Prinzip ist mächtig genug um als Ersatz für Mathematik zu dienen. Es lassen über das Paradigma "Kommunikation zwischen zwei systeme" Roboter bauen.

Im einfachsten Fall gibt es einen Roboter der von einer Umwelt umgeben ist. Die Frage ist weniger ob der Roboter intelligent ist sondern die Frage ist ob der Roboter auf die Umwelt reagiert. Die Wichtigkeit der Umwelt wurde erstmals von Rodney Brooks im Jahr 1990 beschrieben.  Zwar hat Brooks nicht ausgeführt wie genau der Roboter auf die Umwelt reagiert, sondern er hat lediglich die Notwendigkeit betont. Allein das war aber bereits ein Paradigmenwechsel zur Robotik wie sie davor erforscht wurde. Vor dem Jahr 1990 war Robotik stark auf das interne Funktionieren der Hardware und der Software orientiertiert, also wie ein Roboter mechanisch aufgebaut ist, und welche Programmiersprache verwendet wurde um ihn zu steuern.

Die interaktion zwischen einem Roboter mit seiner Umwelt erfolgt über Abstraktion. Genauer gesagt erfolgt eine Übersetzung zwischen zwei Systemen. Diese übersetzung ist erforderlich weil die umgebung eines Roboters anders funktioniert als der Roboter selber. Ein Beispiel:

- Roboter: besteht aus 2 rädern, wird mit 12 Volt betrieben, besitzt einen 32 bit microcontroller
- Umgebung: ist ein Labyrinth aus Pappe, hat einen Eingang und ein Ziel

Beide Systeme sind inkompatibel zueinder. Der Roboter ist ein mechatronisches Artefakt, während die Umgebung keine Elektronik besitzt sondern ein UNterhaltungsspiel darstellt

Künstliche Intelligenz ist das interface zwischen beiden Systemen, also jenes Modul was die Logik des Roboters in die Logik der Umgebung übersetzt. Sobald beide Systeme mit einander kommunizieren erscheint der Robotik intelligent. Er agiert in dem Labyrinth sinnvoll und findet den Weg zum Ziel.

Semantic gap in a DIKW pyramid

 Before the situation for robotics is explained, the situation for computing in general should be explained. An example for a semantic gap in computer is the missing layer between hardware and software. The hardware of a computer consists of a CPU, a floppy drive, a graphics card and other elements, while the software is formujlated on a high level layer and describe the appearance of a GUI, contains of algorithms and specify the data.

Its not possible to run directly software on the hardware because a dedicated operating system is needed. For today's computer user its common sonse to decide for such an operating system. Someboy prefers MS Dos, another user likes Linux while the next one has installed Windows 11 on his machine.

It was a slow development until operating systems became the standard. During the 1980s most homecomputer didn't had a dedicated operating system or it was very tiny. The situation changed in the 1990s and the situation today is, that operating systems are a standard component of every computer.

In case of robotics there is also a semantic gap available between low level and high level layer. The low level layer is in the DIKW pyramid the sensory data for example a camera picture or a lidar sensor. The high level layer in the dikw pyramid is a textual description of a scene, provided by a chatbot. Between both layers there is gap available, because a camera picture can't be directly converted into a text description. What is needed is a converter, some sort of robot operating system which closes the gap.

The common name for such a tool is "Vision language action model" be definition such a model, realized as a neural network, is able to translate back and forth between images and text. The prediction is that future robotics after the year 2030 will have such a VQA module built in as default, similar to an operating system in a computer. The VQA module ensures that robot tasks can be specified in natural language.

Piano movers problem with head up display including inner speech

  

The piano movers problem is one of the milestone subjects in the history of motion planning and was discussed frequently. Common knowledge until 2010 was that its an example for np hard problems, that the state space is very large and its very difficult to solve the problem with existing algorithms like RRT.

Instead of discussing the issue only from a mathematical and algorithmic standpoint there is need to introduce natural language as communication code between the low level task and a high level external oracle who gives advice what to do next. Such an interface can be realized as a head up display. The graphical area on top shows the classical piano movers problem as a 2d rendering, while the textual widget on the bottom shows the comments from the external oracle which monitors the scene.

The external oracle can be located outside of the robot or it can be embedded inside the robot than its called the inner voice of the robot. In the example it generates speech for observation, goal and action. This translates the piano movers problem into a an abstract textual problem similar to an interactive fiction story. 

Das scheitern der KI in der Vergangenheit

Angesichts des aktuellen Hypes rund um LLM und Robotik ist es lehrreich einen Blick in die Vergangenheit zu unternehmen und zu untersuchen woran früher die Umsetzung Künstlicher Intelligenz gescheitert ist. Das dominante ungelöste Problem über Jahrzehnte innerhalb der Informatik waren NP harte Probleme. Damit ist eine Kategorie von Aufgabenstellungen gemeint, die einen sehr großen Suchbaum aufweisen wie motion planning in der Robotik, trajectory optimiziation, state space planning und model predictive control.

Es gab früher durchaus Ansätze um np harte probleme zu lösen und zwar mittels Heuristiken, allerdings gab es dafür keine Generalisierung. Bei Motion planning wurden z.b. Kostenfunktionen verwendet um zu entscheiden, welche Knoten des Suchbaums zuerst erweitert werden. Der RRT Algorithmus verwendet eine solche Heuristik, aber auch A* nutzt es.

Sobald ein Problem als np hart erkannt wurde und es keine Heuristiken zu dessen Lösung gibt, ist der Rechenaufwand zu hoch um es mit einem Computer zu lösen. So kann man zeigen dass bestimmte Computerspiele unlösbar sind für eine KI. Nur bei kleinem Suchbaum und vorhandenen Heuristiken konnten Computerprogramme in der Vergangenheit Spiele gewinnen, wie dies bei Computerschach oder Tictactoe demonstriert wurde.

Robotikprobleme wie dexterous grasping und biped walking hingegen wurden als np harte Probleme erkannt, es fehlte an Heuristiken und folglich waren diese Probleme unlösbar für damalige Computerhardware.

Das erwähnte NP Hard Problem ist ein sehr wichtiges Gebiet innerhalb der Informatik wie auch der Künstlichen Intelligenz und es gibt sehr viele Bücher und Paper zu der Thematik. Google Scholar findet z.B. 2 Millionen Paper zu "np hard problems". Gleichzeitig stellt es eine Sackgasse in der Forschung da, die meisten Wissenschaftler waren der Meinung dass es unlösbar ist und folglich KI nicht möglich ist.

Der Diskurs betrachtet Probleme aus der realen Welt unter einem streng mathematischen Blick. zuerst wird untersucht wie groß der Problemraum ist, also wie viele Möglichkeiten in einem Computerspiel existieren eine Entscheidung zu treffen. Dann wird untersucht wieviele Möglichkeiten es gibt wenn man die Zeitachse berücksichtigt, z.B. kann in einem Jump'n'Spiel der Charakter bei timecode #00:01 in die Luft springen oder bei timecode #0:05. Und zu Letzt wird untersucht in welchen Fällen das Computerspiel gewonnen wird, also ob statistisch gesehen es viele Wege ins Ziel gibt oder nur sehr wenige.

Aus dieser Analyse kann man dann abschätzen wie groß der Suchraum ist, und ob es möglich ist Computerspiele nur durch zufälliges Durchprobieren zu lösen. Teilweise wird versucht mittels Optimierungsverfahren wie reinforcement learning einen Algorithmus zu konstruieren, der von allein Spiele gewinnen kann.

Wie schon erwähnt stellen diese Ansätze eine Sackgasse da. Sowohl die mathematische Analyse des Problemraumes, als auch stochastische Suchverfahren sind nicht im Stande Robotikprobleme zu lösen. Über Jahrzehnte drehte sich die Forschung im Kreis, es gelang nicht die erwähnten NP Harten probleme zu lösen, Heuristiken zu konstruieren oder zu ergründen woran es genau scheiterte.

Interessanterweise erbrachte selbst der Einsatz von neuronalen Netzen keinen Fortschritt. Wenn man beispielsweise einen Deep learning Algorithmus auf einer modernen GPU Grafikkarte startet damit dieser Algorithmus ein Jump'n'Run Videospiel gewinnt, wird der Ansatz scheitern. Der Problemraum ist viel zu groß, als das das neuronale Netz von allein die richtigen Entscheidungen lernt. Es gab in den 2010er Jahren dazu mehrere Beispiele aber keines davon war in der Lage künstliche Intelligenz zu realisieren.

Das Dilemma der KI in der Forschung in der Vergangenheit war, dass für die meisten Computerspiele wie auch Robotikprobleme klar erkannt wurde, dass es sich um np hard probleme handelte. Gleichzeitig fehlte es an einem Algorithmus um diese Probleme zu lösen. Was es gab waren Brute Force Algorithmen zum vollständigen Durchsuchen des State Space, diese hatten aber eine sehr hohe Laufzeit auf einer CPU und waren damit nicht praktikabel.

Die Analyse von np harten Problemen sowie der Beweis, dass eine bestimmte Aufgabe zu dieser Kategorie gehört, kann man als klassische Informatik definieren, welche nach mathematischen Prinzipien erfolgte. Über mathematische Formeln wurde gezeigt wie groß der Problemraum ist, auf dem Computer wurden Algorithmen implementiert um diesen zu durchsuchen und die Ausführung der Algorithmen auf Hardware ergab, dass das Problem nicht lösbar ist. Der Diskursraum war also klar definiert. Die einzige Innovation bestand darin sehr spezielle Heuristiken zu erfinden welche die Ausführungszeit der Suche leicht verbesserten. Das also mit der richtigen Heuristik eine Pfadplanung in einer 2d Karte nicht länger 10 Sekunden dauert sondern nur 1 Sekunde. 

Leider waren verbesserten Heuristiken und neuartige Suchalgorithmen wie RRT nicht im Stande Real life Probleme zu lösen wie sie in der Robotik existierten. Selbst stark vereinfachte Robotik-Challanges wie Micromouse erzeugen einen hochkomplexen Suchraum. Man wusste zwar durch mathematische Analyse wie groß der Suchraum genau ist und wie lange es dauert diesen vollständig zu durchsuchen aber es war unklar wie man das Problem, also z.b. micromouse, lösen kann.

Die Forschung zu np harten Problemen lässt sich in Phasen unterteilen:

1980er Jahre, optimistische Sicht, mit schnellerer Hardware und neuen Algorithmen lassen sich derartige Probleme lösen
2000er Jahre, neutrale Sicht, bestimmte Motion Planning probleme sind so komplex dass man probabilistische Algorithmen benötigt und nur Teilprobleme lösen kann
2010er Jahren, pessimistische Sicht, np harte Probleme sind unlösbar, Mathematik ist prinzipiell nicht in der Lage das Problem zu lösen, vorhandene Algorithmen sind nutzlos

Erst die pessimistische Sicht in den 2010er Jahre machte den Weg frei für eine komplett andere Sichtweise. Damit ist gemeint, eine nicht mathematische und eine nicht algorithmische Sichtweise zu nutzen. Selbst heute im Jahr 2026 erscheint ein solcher gegensätzlicher Ansatz als absurd, weil ja Informatik auf Mathematik aufbaut und weil Algorithmen das zentrale Element der Informatik sind.  Computer basieren auf Logik, aber nicht auf Intuition und Algorithmen enthalten Anweisungen aber keinen Kontext. Es verwundert wenig dass sich die Informatik schwer damit tat, das vertraute Gebiet zu verlassen und komplett neue Ansätze zu verfolgen.

Es gab eine Meilensteine in der Geschichte der Robotik welche ein Ablösung von der Mathematik und von Algorithmen propagierten: So hat im Jahr 1990 Rodney Brooks postuliert, dass die Umgebung eines Roboters als Steuerung verwendet werden kann, während im Jahr 2000 Cynthia Breazeal erstmals die Interaktion von Robotern mit Menschen näher erforscht hat. In beiden Fällen lag der Fokus nicht länger auf dem Roboter selber sondern auf der Umgebung innerhalb derer der Roboter agiert. Diese Umgebung kann ein Labyrinth sein, in dem der Roboter herumfährt oder es kann ein Mensch der in die Kamera schaut. Der Fokus auf die Umgebung stellt einen wichtigen Beitrag da um np harte Probleme anders zu untersuchen.

Head up display for a grasping robot with keyframes

Wie man grounded language implementiert, Schritt für Schritt

Zuerst definiert man eine Vokabellliste die für das Problem angemessen ist. Bei einem Minimalbeispiel soll ein Roboter sich auf einem Graph bewegen. Typische Vokabeln sind:
nord, osten, süden, westen, rot, grün, blau, wegpunkt, schnell, langsam, stop

Im nächsten Schritt wird ein Bild zu Text Parser programmiert, dieser erzeugt eine textuelle Beschreibung für die aktuelle Situation. Eine Beispielausgabe wäre:
"Roboter ist im Norden, nahe des grünen Wegpunktes. Er bewegt sich schnell"
oder "Roboter ist im Süden, nahe des roten Wegpunktes. Er hat gestoppt".

Selbstverständlich ist diese Textausgabe nicht sehr eloquent und basiert auf einer einfachen Template die mit aktuellen Werten gefüllt wird. Aber das ist akzeptabel, wichtig ist dass überhaupt eine Textausgabe stattfindet.

Um den umgekehrten Kommunikationsweg von einem Kommando zu einer Aktion zu implementieren benötigt man eine Reward Funktion. Ein Kommando wie "gehe nach NOrden" wird in einen SCore umgerechnet. Wenn der Roboter im Norden angekommen ist beträgt sein Score 1.0 wenn er weit davon entfernt ist nur 0.0".

Damit stehen alle wichtigen Elemente zur Verfügung um mit dem Roboer in natürlicher Sprache zu kommunizieren. Der Roboter beschreibt die aktuelle als Text und reagiert auf Kommanddos. Zumindest für die eingeschränkte Domäne des "Roboter auf einem Graph" Problems ist damit eine Kommunikation zwischen Roboter und menschlichem Bediener möglich.

Mit Hilfe dieser Kommunikation kann man komplexe Aufgaben automatisieren. man sendet z.B. eine Befehlsfolge an den Roboter:
"1. fahre nach Norden, suche den grünen WEgpunkt, warte dort.
2. dann fahre nach Süden zum Roten Wegpunkt. und zwar schnell"

Diese Kommandos übersetzt der Roboter zuerst in einen Reward und nutzt den Reward dann um Aktionen auszuführen. Während er das tut beschreibt der Roboter in der Logdatei was er gerade macht also wo er ist, was er sieht und was die nächsten Schritte sind.

Wie man Robotik vereinfacht

 Robotik und Künstliche Intelligenz ist ein multidisziplinäres Fachgebiet was mehrere hochkomplexe Wissenschaften umfasst wie Naturwissenschaften, Geisteswissensschaften, Sozialwissenschaften und Informatik als verbindenes Element. Dadurch entsteht eine Komplexität und es ist unmöglich in einfachen Worten zu erklären wie ein Roboter funktioniert.

Um all die Wissenschaftsdisziplinen gemeinsam darzustellen im Kontext Robotik, bietet sich ein Head up display an. Ein head up display zeigt die Welt aus sicht eines Roboters und umfasst Kamerafenster und ein textuelles Fenster mit der inner voice des Roboters. Die Softwareentwicklung reduziert sich darauf das Layout und die Funktionsweise des head up displays zu optimieren, also zu bestimmen wo die fenster auf dem bildschirm angezeigt werden, welche Informationen darin zu sehen sind und sicherzustellen dass die daten aktuell sind.

Zum Beispiel werden visuelle Sensoren mit einer hohen Frequenz von 60fps aktualisiert, während die inner voice des Roboters in einer langsamen Frequenz von 1fps aktualisiert wird.

Selbst Laien außerhalb der Künstlichen Intelligenz können anhand eines Head up displays nachvollziehen wie Roboter funktionieren. Sie sehen auf dem Bildschirm was der Roboter sieht und können lesen was der Roboter denkt. Das inner voice textfenster enthält z.B. "Auf dem Tisch steht eine Tasse. Ziel ist die Tasee zu greifen".

Ein Head up display ist das Frontend, im Hintergrund wird weitere Software benötigt wie large language modelle, Vision language action modelle, datasets und bilderkennungssoftware. Diese Softwarebestandteile sind zwar für die funktionsweise nötig haben aber lediglich unterstütztende Funktion. Wichtig ist dass im Head up display alle Softwarekomponenten gemeinsam angezeigt werden.

Das Grundprinzip hinter jedem Head up display ist Bilder und Texte gemeinsam anzuzeigen. Charakterische Elemente sind bounding boxes, textuelle Beschreibungen von erkannten Objekten sowie kurzen Stichworten für Planungsaufgaben. Die Mischung aus Text und Bild ist die Antwort auf das Symbol grounding problem. Es ermöglicht einer Künstlicher Intelligenz Informationen zu speichern. Anstatt das komplette Kamerasignal im speicher abzulegen was sehr viel RAM benötigt, werden ledigliche Textualle Annotationen zu den Kamerabildern abgelegt. Jede Entscheidung, Planung und Ausführung von Aktionen hat etwas mit Verknpfüung von Bild und Text zu tun.

Was tun gegen AI slop?

 Nach der Dead internet Theory besteht ein großteil des Internet aus KI generierten Inhalten wodurch eine Verflachung einsetzt und menschlich erzeugter Content zurückgedrängt wird. Die logische Frage lautet wie schlimm das ist und wie man den Prozess aufhalten kann.

Leider ist dieser Diskurs über AI slop nicht besonders produktiv sondern führt in eine Sackgasse bei dem technische Details ausgeblendet werden. Das Internet rein auf Inhalte zu reduzieren und die Technologie dahinter als gegegeben zu betrachten ist das eigentliche Problem.

Technisch gesehen entstanden KI erzeugte Inhalte ab dem Jahr 2023 mit dem Aufkommen der ersten LLM welche Text, Fotos, Bilder, Videos und Musik erzeugen können. Die Zeit vor 2023 war das Internet menschlich erzeugt. Computer konnten zwar Inhalte anzeigen in einem Webbrowser und über weite Strecken per Glasfaserkabel übertragen aber Computer waren nicht in der Lage Inhalte zu generieren, von kleineren Ausnahmen wie fraktale und Povray raytracing Bildern abgesehen.

Die Kritik an KI erzeugten Inhalte ist eine versteckte Kritik an large language modellen. Diese sind die technische Basis um mit einem simplen Prompt längere Texte zu erzeugen wie Kurzgeschichten, Fachtexte oder Powerpoint Folien. Historisch gesehen war vermutlich das SCIgen Projekt das erste Beispiel für AI slop. Im Jahr 2005 hat ein Computerprogramm die Inhatle von mehreren Powerpoint Folien erzeugt die dann von verkleideten Wissenschaftlern auf einer fachtagung präsentiert wurden.[1] Aus heutiger Sicht könnte man sagen dass Jeremy Stribling et. al. damals AI Slop erzeugt haben und diesen vor anderen Wissenschaftler präsentiert haben.

Es gibt sogar ein objektives Instrument um AI slop zu erkennen und zwar mit Hilfe eines Turing Tests. Dabei werden einer versuchsperson mehrere Texte präsentiert und die Versuchsperson muss entscheiden ob der Autor ein Mensch oder ein Computer war. Kann die Versuchsperson das nicht anhand der Texte ermitteln hat der Computer den Turing Test bestanden.

[1] https://pdos.csail.mit.edu/archive/scigen/#talks