Weiteres Beispiel zur Datenkompression mit grounded language

 Im vorherigen Blogpost wurde bereits ein Lagerroboter als Beispiel erwähnt. In diesem Post soll die Thematik Datenkompression vertieft werden.

Ausgangspunkt ist das Problem in der klassischen KI Forschung bis ca. 2010, dass ein Roboter in einem sehr großen Zustandsraum agiert der sich nicht effizient mittels vorhandener Hardware durchsuchen lässt. Diese Problemklasse wird als np hard problem bezeichnet und betrifft motion planning, senor perception und STeuerung von Robotern ganz allgemein.

Obwohl die Informatik über hunderte von Algorithmen, Programmiersprachen, und schnellen CPU ist verfügt ist keine Technologie mächtig genug Probleme mit einem sehr großen Zusttandsraum zu lösen. Damit ist Künstliche Intelligenz unlösbar.

Die einzige Ausnahme besteht darin, das Ausgangsproblem in ein niedrig-dimensionales Prolbem zu überführen, natürliche Sprache dient dazu als kompressionstechnik. Für den erwähnten warehouse roboter bietet sich eine Minivokablur an, was Zielorte und Ereignisse beinhaltet:

Zielorter: regalA, regalB, Korridor
Ereignisse: Kollison, Batterie_leer, ziel_erreicht

Die Vokabelliste definiert einen neuen Zustandsraum auf einem symbolischen Level. Er besteht aus 6 möglichen Worten und abstrahiert vom ursprünglichen Zustandsraum. Die Frage ist nicht länger wie man die Kamerabilder des Roboters speichert, oder wieviele Anzahl möglicher Trajektorien es gibt, sondern die Frage ist welche der 6 Wörter gerade aktiv ist.

Der neue sprachliche Zustandsraum kann viel leichter auf einem Roboter gespeichert werden. Man speichert die Vokabelliste in einer Tabelle und kann darauf referenzieren. Damit wird die ursprüngliche Problembeschreibung modifiziert. Es geht nicht länger darum einen Lagerroboter zu steuern der über eine hochauflösende Kameras und mehrere Servo-M;otoren verfügt sondern das neue problem ist, die ist situation des Roboter mittels Natürlicher Sprache zu beschreiben.

Eine Analogie aus der Nicht informatik ist eine Landkarte. Karten werden dazu verwendet größere Gebiete übersichtlich darzustellen. Ein Gebiet wie z.B. ein Wald sind auf einer Karte mit einem einfachen Symbol markiert. Obwohl der Wald über hunderte von Bäumen enthält sind diese nicht eingezeichnet sondern es gibt nur ein grünes Rechteck mit dem Symbol "Wald". Erst der Rezipient der Landkarte dekodiert die Information und schließt aus dem Symbol auf die ursprüngliche Realität. Dadurch reduzieren Landkartieren die Komplexität der Wirklichkeit.

Technisch gesehen lässt sich grounded language für Roboter erstuanlich einfach implementieren. Man extrahiert aus einer Szene zuerst Features und konvertiert diese dann in einen Text. Der Programmieraufwand in lines of code ist überschaubar und die benötigte CPU Leistung ist gering. Dennoch waren solche Systeme vor 2010 selten bis gar nicht vorhanden. Weniger aus technischen Gründen als vielmehr aus einem mangelnden Verständnis für das Symbol grounding problem. Bis 2010 war zwar bekannt, dass KI Probleme np hard sind und der state space zu groß ist um diesen zu durchsuchen, es war allerdings unklar, dass natürliche Sprache darauf die Antwort ist. Was stattdessen untersucht wurde, waren heuristiken, Reward Funktionen und sampling basierte Algorithmen wie RRT.

Mit diesen Verfahren konnte man Fortschritte bei motion planning realisieren, allerdings waren das unbedeutende Detailverbesserungen. Der Durchbruch erfolgte erst, durch Verwendung natürlicher Sprache als Abstraktionsmechanismus. 

Datenkompression mit grounded language an einem Beispiel

 Das Hauptproblem in der KI Forschung bis 1990 war das state space problem, also die Hohe Anzahl möglicher Zustände eines Systems. Das state space problem verhinderte das KI Probleme wie Motion planning von einem Computer in echtzeit gelöst werden konnten. Die vorhandenne Algorithmen waren nicht effizient genug und die vorhandene Hardware war zu langsam.

Die Antwort besteht in der Datenkompression mit Hilfe von grounded lanugage. Sprachw wird verwendet als Karte die über die Domäne gelegt wird. Dazu ein Beispiel: Angenommen die lagerhaus wird in einer 800x600=480000 pixel großen Übersicht gespeichert. In diesem Beispiel gibt es eindeutig ein state space problem weil die Anzahl von rund 0.5 Mio unterschiedliche Pixel die aus verschiedenen Farben bestehen eine sehr große Last erzeugt. Um diesen Rohdaten Objekte oder Wege zu erkennen bräuchte man Supercomputer. Mittels semantischer Datenkompression lässt sich die Aufgabe vereinfachen. Zuerst definiert man eine Vokabelliste (RegalA, RegalB, Korridor), dann definiert man Bereiche in der Karte auf die diese Vokabeln zutreffen. Man erhält dadurch eine annotierte 2d Karte.

In dieser neuen Realität ist das state space problem gelöst. Der Roboter kennt lediglich drei Begriffe "RegelA, RegalB, Korridor" und kann ermitteln wo er sich befindet. Durch eine Karte wurde also die hochkomplexe Wirklichkeit stark komprimiert und lässt sich leichter maschinenlesbar speichern.

Man kann also sagen, dass natürliche Sprache zur Datenkompression verwendet wird. Durch cid Vergabe von Begriffen werden 2d-Bereiche oder Events in der Ausgangsdomäne gelabelt. Diese Label dienen als Platzhalter wodurch Komplexität gesenkt wird. Der Boboter benötigt nicht länger die Information über die 800x600 Pixelkarte selber sondern er referenziert mit hilfe der Vokabelliste viel effizineter auf die wirklichkeit.

KI durch Kompression

Bereits 1973 hat James Lighthill erkannt, dass Künstliche Intelligence an der kombinatorischen Explosion scheitert. Gemeint ist, dass dass z.B. ein Lagerroboter einen sehr großen Zustandsraum besitzt mit Millionen von unterschiedlichen Aktionsmöglichkeiten. Diesen Zustandsraum mittels Computer zu durchsuchen ist mathematisch unmöglich, in der Informatik wird das als NP harte Problemklasse bezeichnet. Das Grundproblem, womit sich Generationen von KI Forschern konfrontiert sahen, war also die Suche in einem riesigen Zustandsraum. 

Die Antwort auf die Fragestellung besteht darin, natürliche Sprache als Kompression zu nutzen. Damit lässt sich der Zustandsraum eines Roboters verkleinern. Dieses Konzept ist als Symbol grounding problem bekannt und meint, dass der originale Zustandsraum bestehend aus Sensorwerten und Servomotoren-Signalen mittels natürlicher Sprache kartiert wird und dann von Computern verarbeitet wird.

Ein Lagerroboter hat nicht länger Millionen möglicher Trajektorien, die es durchzuprobieren gilt, sondern die Welt des Lagerroboters besteht aus einer Vokabelliste von weniger als 50 Worten womit er die Umgebung analysiert und Handlungen ausführt. Dieser diskerete Symbolvorrat reduziert den Zustandsraum und eine maschinelle Speicherung inkl. dem Planen von Handlungen wird möglich.

Playing a videogame with features

 The pictures shows a neural network which determines the next action for a character in a videogame. The network needs 20 input features which are player_pos, energy, last jump height, distance to enemy and some other features. The hidden layer of the network determines the current situation its a feature-to-information layer. The output layer provides the action itself submitted to the game pad.

The intelligence of the neural network doesn't depend on the training algorithm because its a simple backpropagation algorithm with nu tuning, but the intelligence depends on the input features. These features were chosen manual by a human to mirror the current game state in a meaningful way. The goal is to provide the smallest amount of features and ensure that the data are updated in realtime. 

Szene to text parser mittels feature set

 Als Semantik Gap wird die Lücke bezeichnet zwischen natürlicher Sprache einerseits und Rohdaten welche durch sensoren erhoben wird andererseits. Solange es einen semantic gap gibt, scheitert eine mensch maschine kommunikation. Ein Roboter versteht nicth einen Befehl wie "fahre zum Regal A und entnehme die rote box".

Der Gap wird mittels grounded language geschlossen, was in zwei richtungen verläuft. 

a) Natürliche Sprache -> Sensordaten
b) Sensordaten -> natürliche Sprache

Natürliche Sprache lässt sich mittels feature engineering erzeugen. Ein feature set bezeichnet im Maschinen learning eine Liste von Werten. Für das Beispiel "Überwaschung einer Straßenverkehrskreuzung" sind geeignete features:

- Quelle und Ziel des Autos
- Farbe des Autos
- Größe des Autos
- Geschwindigkeit

Aus diesem Feature set lässt sich eine Sprachausgabe erzeugen wie:

- "Ein blauer Kleinwagen aus nörderlicher Richtung fährt nach Süden. Er fährt sehr langsam".
- "Ein weißer LKW aus Westlicher Richtung fährt nach Süden. Er fährt mittelschnell".

Features im Maschinen learning sind das selbe wie statistische Merkmale in beschreibenden Statistik. Es sind eine Reihe von Werte in einem Statistikbogen die gemessen werden. der Unterschied ist dass im maschine learning diese Daten computerlesbar vorliegen und häufig automatisiert gemessen werden z.B. über Kmaeras und induktionsschleifen im Boden. Das feature set stellt eine zwischenschicht da zwischen sensordaten und natürlicher sprache.

Auf den ersten blick sieht ein feature set nicht besonders anspruchsvoll aus. Es ist eine Liste mit Werte die man als histogram darstellen kann, vergleichbar mit einem Farbhistogram für ein photo. Der entscheidene Vorteil besteht darin dass features eine Zwischenposition einnehmen zwischen sensorrohdaten einerseits und natürlicher Sprache andererseits.

Betriebssysteme für Roboter

 In der Anfangszeit der Heimcomputer in den 1980er Jahren waren Betriebssysteme weitestgehend unbekannt. Zwar hatten 8bit Rechner von Commodore und Atari eigene Betriebssysteme, welche im ROM gespeichert waren, doch diese war sehr klein, hoffnungslos veraltet und wurden meist von der Software durch eigene Routinen ersetzt. Die Software in den 1980er Jahren wurde direkt für die Hardware programmiert ohne Zwischenschicht.

Als das PC Betriebssytsem MS DOS 3.x in 1985 veröffentlicht wurde, war das System noch sehr klein. Es brachte einige tools mit um Dateien auf Festplatte und Diskette zu speichern. Was fehlte waren Soundkartentreiber oder Grafikkartentreiber. Mit Aufkommen des Windows Betriebssystem ab den 1990er wurde der Umfang größer. Betriebssysteme entwickelte sich zur zentralen Steuerzentrale des Computers. Seit damals hat ihre Bedeutung weiter zugenommen, es ist nicht länger möglich Computer ohne Betriebssystem zu betreiben.

In der Robotik ist die Situation derzeit so dass es keine Betriebssysteme gibt und auch keinen Bedarf nach einer solchen Zwischenschicht. betriebssysteme für Roboter funktionieren anders als bei einem PC. Bei der Robotik muss die semantische Lücke geschlossen werden, also die zwischen Sensordaten und textueller Representation. Folglich muss das Betriebssystem zwischen diesen Layer vermitteln.

Vielleicht dazu einige Beispiele. Angenommen ein Roboter detektiert mit seinem Sensor ein Hinderniss vor sich was rot ist. Aufgabe des Betriebssystems also des vision language action models ist es auf den Bildschirm auszugeben "Rotes Hinderniss vor dem Roboter erkannt". In einem zweiten Beispiel gibt ein menschlicher Benutzer einen Befehl: "Fahre in die Mitte des Labyrinth und warte dort auf weitere Anweisungen". Es ist Aufgabe des Betriebssystems diese Befehl in eine Trajektorie zu übersetzen und auszuführen.

Die zwei wesentlichen Aufgaben eines Robotik-OS sind: Vision Question answering (VQA) und "instruction following". Beides hat etwas über der Übersetzung von high level Text in low level sensor/actuator Daten zu tun. Es ist die selbe Mittlerrolle welche PC Betriebssystem auch innehaben. Wesentliche Aufgabe von Linux und Co ist es, high level Anfragen der Software wie "speichere eine Datei auf der festplatte" in low level Aktivitäten der Hardware zu übersetzen, also das physische Ansteuern der SSD damit die Datei geschrieben wird.

Nicht mathematische Robotik

 Auf den ersten Blick klingt die Vorstellung absurd, künstliche Intelligenz ohne Mathematik zu realisieren. Mathematik gilt als Grundlagendisziplin welche wissenschaft überhaupt erst ermöglicht, ohne Statistik, Zahlen und Formeln könnte man keine Computer bauen oder die Biologie erforschen. Freiwillig auf Mathematik als Werkzeug zu verzichten bei der Erforschung denkender Maschinen scheint wie eine Sackgasse zu sein.

Von außen betrachtet besitzt Mathematik eine Reihe von Limitierungen die in der Vergangenheit unberücksichtigt blieben. Der Fokus auf Zahlen blendet eine zahlenmäßige Beschreibung der Welt aus, und der Fokus auf berechnungen blendet eine assoziative Sichtweise aus. Ein weiteres viel größeres Problem liegt darin begründet, dass Computer sehr schnelle Taschenrechner sind, also außerhalb der Mathematik nichts zu leisten im STande sind. Eine CPU ist vorwiegend ein mathematisches Instrument was zahlen addiert, subtrahiert und multipliziert gerne mit vielen Nackommastellen aber anstonsten nichts kann.

Wenn man auf Mathematik zur Beschreibung von Robotik verzichtet muss man ein besseres Hilfsmittel benennen können was dessen Rolle einnimmt. Dieses Hilfsmittel ist die Kommunikation zweier Systeme. Dies wird nicht von der Mathematik beschrieben sondern ist im Bereich Kybernetik und Kommunikation angesiedelt. Es geht im Kern darum eine Nachricht vom Sender zum Empfänger zu übertragen und sicherzustellen dass die Nachricht verstanden wird. Dieses Prinzip ist mächtig genug um als Ersatz für Mathematik zu dienen. Es lassen über das Paradigma "Kommunikation zwischen zwei systeme" Roboter bauen.

Im einfachsten Fall gibt es einen Roboter der von einer Umwelt umgeben ist. Die Frage ist weniger ob der Roboter intelligent ist sondern die Frage ist ob der Roboter auf die Umwelt reagiert. Die Wichtigkeit der Umwelt wurde erstmals von Rodney Brooks im Jahr 1990 beschrieben.  Zwar hat Brooks nicht ausgeführt wie genau der Roboter auf die Umwelt reagiert, sondern er hat lediglich die Notwendigkeit betont. Allein das war aber bereits ein Paradigmenwechsel zur Robotik wie sie davor erforscht wurde. Vor dem Jahr 1990 war Robotik stark auf das interne Funktionieren der Hardware und der Software orientiertiert, also wie ein Roboter mechanisch aufgebaut ist, und welche Programmiersprache verwendet wurde um ihn zu steuern.

Die interaktion zwischen einem Roboter mit seiner Umwelt erfolgt über Abstraktion. Genauer gesagt erfolgt eine Übersetzung zwischen zwei Systemen. Diese übersetzung ist erforderlich weil die umgebung eines Roboters anders funktioniert als der Roboter selber. Ein Beispiel:

- Roboter: besteht aus 2 rädern, wird mit 12 Volt betrieben, besitzt einen 32 bit microcontroller
- Umgebung: ist ein Labyrinth aus Pappe, hat einen Eingang und ein Ziel

Beide Systeme sind inkompatibel zueinder. Der Roboter ist ein mechatronisches Artefakt, während die Umgebung keine Elektronik besitzt sondern ein UNterhaltungsspiel darstellt

Künstliche Intelligenz ist das interface zwischen beiden Systemen, also jenes Modul was die Logik des Roboters in die Logik der Umgebung übersetzt. Sobald beide Systeme mit einander kommunizieren erscheint der Robotik intelligent. Er agiert in dem Labyrinth sinnvoll und findet den Weg zum Ziel.

Semantic gap in a DIKW pyramid

 Before the situation for robotics is explained, the situation for computing in general should be explained. An example for a semantic gap in computer is the missing layer between hardware and software. The hardware of a computer consists of a CPU, a floppy drive, a graphics card and other elements, while the software is formujlated on a high level layer and describe the appearance of a GUI, contains of algorithms and specify the data.

Its not possible to run directly software on the hardware because a dedicated operating system is needed. For today's computer user its common sonse to decide for such an operating system. Someboy prefers MS Dos, another user likes Linux while the next one has installed Windows 11 on his machine.

It was a slow development until operating systems became the standard. During the 1980s most homecomputer didn't had a dedicated operating system or it was very tiny. The situation changed in the 1990s and the situation today is, that operating systems are a standard component of every computer.

In case of robotics there is also a semantic gap available between low level and high level layer. The low level layer is in the DIKW pyramid the sensory data for example a camera picture or a lidar sensor. The high level layer in the dikw pyramid is a textual description of a scene, provided by a chatbot. Between both layers there is gap available, because a camera picture can't be directly converted into a text description. What is needed is a converter, some sort of robot operating system which closes the gap.

The common name for such a tool is "Vision language action model" be definition such a model, realized as a neural network, is able to translate back and forth between images and text. The prediction is that future robotics after the year 2030 will have such a VQA module built in as default, similar to an operating system in a computer. The VQA module ensures that robot tasks can be specified in natural language.