Sprachspiele im Kontext von Robotik

Die Erforschung künstlicher Intelligenz drehte sich lange Zeit um die Frage welche Art von Softwareframework, Algorithmus oder Programmiersprache benötigt wird um denkende Maschinen zu realisieren. Die Annahme hinter dem Cyc Projekt von Douglas Lenat lautete, dass eine Ontologie der Grundbaustein sei, das Cam-Brain Projekt von Hugo de Garis unterstellte dass im Kern ein neuronales Netz benötigt wird während Edward Feigenbaum vermutete dass sich Künstliche Intelligenz mit Hilfe von Expertensystemen realisieren läst.

Im Laufe der Zeit wurden sehr viele gegensätzliche Technologien und Annahmen entwickelt um Künstliche Intelligenz zu verwirklichen. Ein Sprachspiel im Sinne von Ludwig Wittgenstein ist nur ein weiterer Vorschlag unter vielen. Dennoch lohnt es sich, das Thema nähter zu untersuchen. Weil das Prinzip von Sprachspielen deutlich anders ist als z.b. ein Expertensystem oder ein neuronales Netz.

Sprachspiele sind ein formalisiertes Interface zwischen interner und externer Realität von Systemen. Es ist ein Test, ob die Spielteilnehmer Sprache erzeugen und verstehen mit derer man die externe Realität beschreibt. Ein typisches Beispiel ist das "Ich sehe was du nicht siehst Spiel". Dabei beschreibt Person A ein Objekt aus der Realität anhand von Eigenschaften, er formuliert aussagen wie "das Objekt ist rund, steht in der Küche, hat Beine" und daraus folgert Person B "es ist ein Tisch".

Die Gemeinsamkeit von allen Sprachspielen ist, dass Sprache in einem interkationsspiel genutzt wird um auf die Wirklichkeit zu referenzieren. Es geht immer darum, Dinge abzufragen die in der Realität vorkommen, Anweisungen geben was in der Realität zu tun ist oder sonstwie Sprache und Wirklichkeit in Beziehung zu setzen. Sprachspiele sind eine gute Möglichkeit eine Fremdsprache zu erlernen und dienen dazu den Wissensstand zu erfassen. Wenn eine Person oder ein Computer in einem Sprachspiel eine hohe Punktzahl erreicht, ist diese Person mit der jeweiligen Sprache vertraut.

Anders als die eingangs erwähnten Technologie zur Realisierung von künstlicher Intelligenz wie Onotologien oder Expertensysteme sind Sprachspiele nicht technisch definiert sondern haben ihren Ursprung in der Philosophie und der Linguistik. Es geht um Themen wie interaktivität, Sprache, Wirklichkeit. Die Annahme lautet dass innerhalb dieser Begriffe Künstliche Intelligenz möglich ist, das also denkende Maschinen ein Interface zwischen internem System und externer Realität sind.

Seit den 1980er wurden Brettspiele als Testumgebung für denkende Maschinen genutzt. Schach ist ein sehr altes Beispiel für das Künstliche Intelligenz realisiert wurde, aber auch andere Spiele wie Tic Tac Toe, Dame, Backgammon und Go sind klassische Umgebung zur Erforschung von KI Algorithmen. Leider haben diese Brettspiele den Nachteil dass sie nicht gut nach oben skalieren. Ein Computer der perfekt Schach spielt ist nicht automatisch im Stande einen Roboter zu steuern. Deshalb eignen sich die erwähnten Brettspiele nur sehr eingeschränkt dazu KI näher zu erforschen.

Sprachspiele kann man als neuartiges Gesellschaftsspiel verstehen was ähnlich wie Schach Regeln folgt aber viel besser nach oben skaliert. Ein Computer der das "Guess what" Sprachspiel beherscht ist zugleich auch in der Lage mit diesem Wissen einen Roboter zu steuern. Scheinbar können Sprachspiele die Kernidee von Künstlicher Intelligenz viel besser formalisieren als frühere Brettspiele.

Old school artificial intelligence

Before the advent of large language models, there was lots of AI related research available which was mostly ignored by the public. Typical topics in robotics from the past was NEAT neuroevolution, model predictive control and genetic algorithms. All these concepts were working with computational paradigm. At first the fitness function was defined, e.g. the robot gets +1 reward for moving on step forward, and then an algorithm modifies the parameters of the neural network. In case of model predictive control it was even possible to plan one step ahead, so that the robot was able to use a trial&error strategy.

These concepts can be called old school artificial intelligence because they were working with computers and algorithms as the core element. The assumption was that artificial intelligence is equal to search, so its a mathematical optimization problem. Instead of finding the prime numbers from 1 to 1 million and find 1000 digits of the PI constant, the goal was to use raw processing power to solve robotics problems.

The mentioned NEAT and genetic algorithms strategy were the core principle of AI in the past. Large scale projects like CAM brain and the fifth generation computers in Japan were built around these subjects. The researchers have treated AI problems as mathematical optimization problems by transforming robot motion planning into a mathematical state space first, and then use algorithms to solve these problems.

What was unclear until around 2010 was, that all these strategies have failed. Mathematics and algorithms in general are not powerful to solve robotics problems. This insight is even today some sort of blasphemy because mathematics and algorithms are the building blocks in computer science. If both concepts are rejected as weak then the amount of remaining strategies is small and even empty.

The major result of old school artificial intelligence was not to build robots but to proof that mathematical optimization is a dead end. It can be formulated from a theoretical perspective, that all interesting robotics problems are np hard, and that genetic algorithms including NEAT are not able to solve this problem category. Therefor AI can't be realized.

Its possible to replicate the failure of NEAT and similar approaches with today's software libraries. At first a robotics problem gets formulated, e.g. a walking robot in the OpenAI gym which is a 2d simulator. then a state of the art neuroevolution library is utilized to control the robot. A handcrafted fitness function will reward the algorithm so that the optimization can evolve into improved biped walking generator. Unfortunately, the described setup won't work in reality. Even if the robot walks some steps forward the robot will struggle on larger obstacles. At the same time, the CPU consumption is very high.

At first the fitness function of the robot will improve, but then there is no further improvement available and its impossible to fix the problem. Some reinforcement learning advocates are explaining that with parameter tuning the problem can be solved, other NEAT users claim that with future algorithm update the issue might be solved. But the sad reality is, that mathematical optimization in general fails for robotics problem. No matter if NEAT, genetic algorithm or Q learning was utilized, none of these strategies can control a biped walking robot.

Such kind of insight isn't the end of robotics research but it provides meaningful facts about the limitation of old school algorithms. It shows on a practical example, what sort of AI algorithm isn't working in reality. This opens the path for more advanced AI techniques beyond classical computer science.

KI als Berechnungsprozess

 Zumindest früher und in einem universitären Kontext wurde Künstliche Intelligenz erstaunlich präzise definiert. Rückblickend betrachtet war diese Definition eine Sackgasse welche paradoxerweise das Entstehen von leistungsfähiger Robotik sowie von Large language modelle verhindert hat anstatt zu ermöglichen. Dennoch ist es wichtig sich mit dieser philosophischen Sackgasse näher auseinanderzusetzen.

In einem älteren Foliensatz aus dem Jahr 2005 wurde erläutert dass Künstliche Intelligenz ein Berechnungsprozess sei. [1] page 3. Um ein Problem zu lösen müsse man im Problemraum suchen. [1] page 5

Es werden mehrere Beispiele genannt wie das "Affe und Banana Problem" und "Der Turm von Hanoi" und es werden Lösungsalgorithmen vorgestellt wie uniformierte Suche, Backtracking und Hill climbing mit Bewertungsfunktion.[1] page 12

Insgesamt ist die Darstellung richtig und für die damalige Zeit state of the art. Foliensätze von anderen Universitäten waren ähnlich aufgebaut. Die Grundannahme lautet dass ein klar definiertes Problem existiert was sich über Suchalgorithmen lösen lässt. Als bestes Suchverfahren gilt Hill climbing mit Bewertungsfunktion was auch als heuristische Suche bezeichnet wird.

Die Aufgabe des Computerprograms besteht darin diese Suche auszuführen. Also eine Berechnung durchzuführen welche als Algorithmus definiert wurde. Demnach ist KI die Anwendung einer CPU um Probleme zu lösen.

Was zumindest in der Vergangenheit nicht bekannt war oder verdrängt wurde ist, dass das Verfahren nur bei sehr simplen Problemen funktionoiert wie Finden eines Weges in einem Labyrinth oder Computerschach. Sobald die Probleme geringfügig anspruchsvoller werden, z.B. sehr große Labyrinthe, komplexere Brettspiele oder gar Robotik versagt das Verfahren. Ein typisches Beispiel ist Greifplanung für eine Roboterhand. Selbst wenn eine Bewertungsfunktioni existiert gelingt es nicht mittels Suche im Problemraum eine Lösung zu ermitteln. Der Suchraum ist viel zu groß.

[1] Joachim Funke: Seminar: Denken und Problemlösen, Ruprecht-Karls-Universität Heidelberg, 2005, https://www.psychologie.uni-heidelberg.de/ae/allg/lehre/050217_Computermodelle.pdf

KI entwickeln ohne die Verwendung Künstlicher Intelligenz

 Während der 1980er Jahre versuchte die KI Forschung Computern das Denken beizubringen. Vorhandene Programmiersprachen wie C oder Pascal wurden als nicht leistungsfähig genug betrachtet und durch dezidierte 5th generation languages wie Prolog und Expertensystems shells ersetzt. Die Zielstellung war, vorhandenes Wissen leichter auf einen Computer zu übetragen damit anschließend der Computer das Problem zu lösen vermag.

Einen ähnlichen Ansatz verfolgt das Semantic Web. Auch dort wurde die komplexe Wirklichkeit in Fakten gespeichert und dann von Rule-Engines ausgewertet. Man kann also semantic web als die logische Weiterentwicklung einer Expertensystem shell betrachten.

Im wesentlichen ging es darum, Teile der Wirklichkeit in ein Computerprogramm zu konvertieren. In diesem Computerprogramm konnten dann logische Schlüsse gezogen werden, eine Suche durchgeführt werden und Entscheidungen getroffen werden. Die Sprache Prolog ist sehr gut dafür geeignet, ein logisches Wissensnetzwerk zu erzeugen. Man gibt zuerst die Fakten in das Program ein und kann dann fehlende Informationen daraus folgern.

Die Stillschweigende Annahme hinter diesen Technologien bestand darin, dass eine KÜnstliche Intelligenz zwingend auf einem Computer ausgeführt wird in Form einer Software. Beim Semantic web gab es eine Wissensbasis gespeichert im Computer plus eine Rule engine, bei der Prolog Sprache gab es die Software einerseits und den Prolog interpreter andererseits. Diese strukuturelle Kopplung aus Künstlicher Intelligenz und Informatik ist historsich gewachsen, nur leider war sie zugleich für den KI Winter Anfang der 1990er Jahre verantwortlich.

Solange man die Zielstellung verfolgt, ein Computer programm zu erstellen oder eine Wissnsbasis anzulegen die von einem Computer program ausgewertet wird entsteht ein möglicher Reality gap. Also der Unterschied zwischen der Wirklichkeit und dem Computermodell was diese Wirklichkeit simuliert. Die einzige Methode diesen gap zu minimieren besteht darin, die Anzahl der regeln im Prolog Program zu erhöhen. Dadurch steigt die Komplexität der Software.

Die Antwort zum Reality gap problem lautet: Fernsteuerung. Es gibt also keine Robotik-Software welche den Roboter steuert sondern es gibt einen menshclichen Bediener. Und es gibt auch kein Expertsystem was eine Diagnose erstellt sondern ein menschlicher Experte erstellt die Diagnose. Durch die simple Forderung nach Fernsteuerung löst man alle Probleme der Künstliche Intelligenz der 1980er. Man tauscht das vorherige Berechenbarkeitsparadigma aus zugunsten eines Kommunikationsparadigmas. Der Computer ist nicht mehr dafür zuständig Programcode auszuführen, sondern der Computer übertragt Funksignale von A nach B.

Diese veränderte Rollenzuweisung entspricht weitaus besser der technischen Leistungsfähigkeit. Wenn die einzige Aufgabe des Computers darin besteht Signale weiterzuleiten sind die benötigte Hardware- Software- und Algorithmen trivial. Gleichzeitig entsteht ein neues Dilemma: Fernsteuerung bedeutet, dass kein Computer die entscheidung trifft sondern ein Mensch. Das wird üblicherweise nicht als KI betrachtet. Sobald ein Mensch mit Fernsteuerung den Roboter steuert, hat man eben keinen autonomen Roboter mehr der über eine Software Entscheidungen trifft sondern man hat ein normales RC Car realisiert.

Erst mit einem erweitereten KI Begriff der distributed cognition mit einschließt wird ein ferngesteuertes Auto zu einer Künstlichen Intelligenz umdefiniert. Distributed cognition ist eine relativ neue philosophische Richtung die davon ausgeht, dass Intelligenz sich aus der Kommunikation der Invididuum ergibt. Demnzufolge kann eine einzelne CPU in einem isolierten Roboter nicht intelligent sein, erst wenn diese CPU mit einer anderen CPU oder einem Menschen interagiert, entsteht Intelligenz.

KI Definition in der Vergangenheit

 Eine häufig formulierte Definition von Künstlicher Intelligenz früher lautet, dass es darum geht menschliches Denken mit einem Computer zu simulieren. Diese Definition ist abgeleitet vom Turing Test, kann aber auch ohne einen mathematischen Hintergrund formuliert werden. Auch außerhalb der Informatik ist ein Roboter eine Maschine die so aussieht wie Mensch und das selbe leistet. Es geht also darum das menschliche Denken in einem Computer nachzubauen.

Als Einstieg mag diese Definition nützlich sein, allerdings gibt es das Problem dass unklar bleibt wie genau ein Computer einen Menschen nachbilden soll. Computer werden über Software programmiert und diese Software muss sehr präzise Angaben enthalten was der Computer tun soll. Genau an dieser präzisen Vorstellung bezüglich menschlichen Denkens fehlt es. Es gibt zwar durchaus Ansätze den Menschen zu untersuchen mit Hilfe von Biologie, Psychologie und Soziologie nur lassen sich die dabei gewonnenen Erkenntnisse nicht in Software übertragen. Als Folge wird Künstliche Intelligenz zu einer theoretisch philosophischen Betrachtung verkürzt und kann nicht durch Experimente falsifiziert werden.

Die Definition künstlicher Intelligenz bildet den Rahmen innerhalb derer die Erforschung vorangetrieben wird. Die obige Definition "KI=Menschen nachbauen" ist zu ungenau. Dadurch wird KI verunmöglicht.

Hier ist eine modernere Definition von KI, welche den Fokus auf Interaktion mit der Umwelt richtet:

"Künstliche Intelligenz ist die Fähigkeit eines Systems, in Echtzeit mit seiner Umgebung (einschließlich Menschen) zu interagieren, indem es sensorische Eingaben verarbeitet, Handlungen plant und ausführt sowie durch Feedback (z. B. Sprache, Gesten oder andere Signale) sein Verhalten anpasst, um zielgerichtete Aufgaben zu erfüllen oder Kommunikation zu ermöglichen."

KI als Mapping problem in der DIKW pyramide

 Zumindest bis in die 2000er Jahre wurde Künstliche Intelligenz so definiert, dass menschliches Denken mit Hilfe eines Computers simuliert werden soll. Aufbauend auf dieser Definition wurden mehrere Strategien und Algorithmen diskutiert, die jedoch das selbst definierte Ziel nicht zu erreichen vermochten. Der wohl erfolgreichste Algorithmus der KI Forschung bis zum Jahr 2000 war der bekannte Minimax Algorithmus um Schach von einem Computer spielen zu können. Dieser Algorithmus war so erfolgreich, dass er sogar Großmeister schlagen konnte. Nur, Minimax lässt sich nicht auf Robotik-Probleme verallgemeinern.

Eine neuere und weniger bekannte Definition von Künstlicher Intelligenz lautet dass es ein Zuordnungsproblem ist zwischen low level daten und high leven natürlicher Sprache. Dieses Zuordnungsproblem entsteht innerhalb der DIKW pyramide (data, information, knowledge, wisdom). Vielleicht ein kleines Beispiel:

Über Motion capture wird die Bewegung eines menschlichen Aktors aufgezeichnet. Die x/y/z position der Mocap Marker sind Daten und gehören zum Data layer der DIKW pyramide. Jetzt soll über Mustererkennungsverfahren ermittelt werden, welche Pose der menschliche Aktor gerade ausführt. Diesre kann gehen, rennen, sitzen oder springen. Diese Labels werden im Information layer der DIKW pyramide gespeichert. Aufgabe für die Künstliche Intelligenz ist es jetzt zwischen beiden layern eine Zuordnung herzustellen. Es geht also um die Frage wie eine mathematische Realität auf eine linguistische Realität projiziert werden kann.

Die naheliegende Frage lautet: Warum muss der mathematische Raum der Mocap Marker auf einen linguistischen Raum der textuellen Label projiziert werden? Kann man die Steuerung von Robotern nicht auch eleganter/einfacher beschreiben?

Die Notwendigkeit der Sprachlichen Enkodierung ergibt sich aus dem Kommunikationserfordernis. Es reicht nicht, die mocap Marker als x/y/z position zu speichern, sondern zusätzlich soll einem außenstehender Beobachter in natürlicher Sprache übermittelt werden, was genau der Aktor gerade tut. Ziel ist weniger ein System intern zu beschreiben, sondern Zielstellung ist mit einem 2. System zu kommunizieren. 

KI Forschung bis ca. zum Jahr 2000 war geprägt von der closed system Hypothese. Ziel war stets das interne Funktionieren eines Computers zu optimieren durch bessere Algorithmen, schnellere Programmiersprachen oder spezielle Datenbanken wie Cyc. Im Gegensatz dazu verfolgt KI Forschung ab dem Jahr 2000 das Ziel, die Kommunikation zwischen zwei Systemen zu verbessern. Die Frage lautet stets: wie kommunizieren zwei Menschen miteinander? Wie interagiert ein Mensch mit einem Roboter? Welche Interaktionsspiele zwischen einem Speaker und einem Hearer gibt es?

Selbstverständlich ist die obige Beschreibung stark vereinfachend. Auch vor dem Jahr 2000 gab es Versuche die Mensch-Maschine Interaktion zu verbessern:

- 1968,SHRDLU natural language understanding by Terry Winograd
- 1987,Vitra visual translator
- 1998,Rocco Robocup commentator by Dirk Voelz

Man könnte z.B. SHRDLU als Vorläufer heutiger Vision Language action (VLA) Modelle beschreiben. Anzahlmäßig waren jedoch KI Projekte, die natürliche Sprache als Kommunikationsschnittstelle verwendeten eher die Ausnahme. Es war vor dem Jahr 2000 unklar, dass dies wichtig ist und es war unklar wie man eine solche Schnittstelle technisch realisieren könnte. Hinzu kommt dass ein interdisziplinärer Ansatz bestehend aus Mathematik und Lingustik vor dem Jahr 2000 unüblich war. 

DIKW pyramid for motion capture annotation

 

Graph traversal with a head up display

The perhaps most simple example for a head up display is a graph traversal problem of a robot. The robot moves inside a graph and should reach a target node.

The AI for the robot works with a head up display. There is a text box at the bottom showing the inner voice of the robot. The inner voice determines at which position the robot is, which nodes are in the near, what the target node is, and which action should be taken next.

A mathematical problem, graph traversal, gets converted into a textual problem. Textual means, that the head up display is using words to describe the reality. possible words are [currentnode, goalnode, nextnode, distance_to_goal]. These words and events are used to describe the game state from a high level perspective. The text box ensures that the inner voice was implemented correctly. That means, the AI isn't solving an optimization problem and its not running an algorithm, but the main task for the AI is to generate textual output in the head up display and talk to the human operator.