Textbausteine für einen Warehouse roboter

 Ein text buffer für eine Game engine kann über Textbausteine realisiert werden die in einer Datenbank gespeichert sind. Ein simples Beispiel für einen Lagerroboter liegt im json format vor:

{
  "warehouse_robot_lang": {
    "navigation": {
      "moving": "Proceeding to waypoint {target_id}.",
      "path_blocked": "Obstacle detected at {coords}. Recalculating path.",
      "arrived": "Reached destination: {location_name}.",
      "waiting": "Waiting for traffic clearance in zone {zone_id}."
    },
    "manipulation": {
      "picking": "Engaging grippers for item {sku_id}.",
      "placing": "Depositing unit onto rack {rack_level}.",
      "scanning": "Verifying barcode for shelf {shelf_id}.",
      "load_secured": "Weight sensor triggered. Payload is stable."
    },
    "diagnostics": {
      "battery_low": "Warning: Battery at {percent}%. Searching for charging station.",
      "charging": "Power coupling established. Current state: {percent}%.",
      "system_ok": "All internal sensors reporting nominal values.",
      "error": "Actuator malfunction in {component}. Human intervention required."
    },
    "interaction": {
      "safety_stop": "EMERGENCY STOP: Human detected in safety perimeter!",
      "greeting": "Unit {robot_id} active and awaiting tasking."
    }
}

Darin gibt es 4 semantische Kategorien mit möglichen Unterpunkten. Obwohl es relativ viel Text ist, ist mathematisch gesehen die zahl möglicher Zustände des Roboters gering. Aufgabe des Text buffers ist es, die richtigen Textbausteine aus der Datenbank auszuwählen, um damit die Sensordaten als grouned language auf dem Bildschirm darzustellen. Es handelt sich also weniger um einen KI Algorithmus, sondern um eine KI GUI Oberfläche, die zur Mensch Maschine Interaktion verwendet wird. Vergleichbar mit den Menüpunkte in einer Desktop Software.

Game engines with grounded language

Most video games are programmed with a game engine. The game engine stores the objects on the screen and renders them to the monitor. Such a setup ensures that the game can be implemented in Python with the constraint that a human player interacts with the game engine.

To make sure, that the game can also be played with artificial intelligence and additional module is needed which is a textual buffer. The buffer converts the output of the game egine into textual sentences e.g. "player is left, red obstacle ahead". The assumption of the textual buffer is, that the game should be rendered to a mini text terminal which has only 16x2 characters. The challenge is that a complex game gets compressed into such a small text buffer. This is only possible with a vocabulary of words. Converting the normal videoscreen of 800x600 pixels into a list of words can be realized with a computer program in realtime.

Chinesische Spionin besucht ein deutsches Motion Capture Labor

 

Prolog 

Das Treffen fand in einem fensterlosen Raum im elften Stock eines unscheinbaren Gebäudes im Pekinger Stadtbezirk Haidian statt. Draußen flimmerte die Hitze über dem Asphalt, doch hier drin war die Luft so kalt und trocken, dass Mei Lins Haut leicht spannte.

Ihr gegenüber saß Direktor Zhang. Er trug keinen Anzug, sondern eine schlichte, dunkle Windjacke. Vor ihm lag eine dünne Mappe aus braunem Papier – keine digitalen Bildschirme, keine Spuren im Netz.

„Setzen Sie sich, Mei Lin“, sagte Zhang, ohne aufzusehen. „Sie haben Ihre Vorbereitungen für Heidelberg abgeschlossen?“

„Mein Deutsch ist fließend, meine medizinischen Zeugnisse sind im System der Universität hinterlegt. Ich bin bereit für die Infiltration“, antwortete sie ruhig. Sie war eine der besten „Sea Turtles“ des Dienstes – hochintelligent, unauffällig, perfekt angepasst.

Zhang schob die Mappe über den Tisch. Mei Lin öffnete sie und starrte auf ein unscharfes Foto, das durch ein Teleobjektiv aufgenommen worden war. Es zeigte ein unauffälliges Institutsgebäude hinter alten Bäumen.

„Das Institut für Biomechanik“, murmelte Mei Lin. „Ich dachte, mein Ziel seien die Patente für die neuen MRT-Kontrastmittel?“

Zhang schüttelte langsam den Kopf. „Das dachten wir auch. Aber unsere Quellen in der deutschen Industrie berichten von einer seltsamen Anomalie. Große Medizintechnik-Konzerne ziehen sich plötzlich aus der Entwicklung neuer Wirbelsäulen-Implantate zurück. Die Forschungsbudgets für künstliche Bandscheiben in Europa schrumpfen massiv.“

Mei Lin runzelte die Stirn. „Das ergibt keinen Sinn. Rückenprobleme sind die größte Volkskrankheit im Westen. Das ist ein Milliardenmarkt. Warum sollten sie das aufgeben?“

„Genau das ist Ihre Aufgabe herauszufinden“, sagte Zhang und lehnte sich vor. „Es gibt Gerüchte über ein Projekt in Heidelberg. Es läuft unter dem Radar der großen Publikationen. Keine Paper, keine öffentlichen Kongresse. Nur eine kleine Arbeitsgruppe unter einem gewissen Dr. Kämmerer. Unsere Aufklärung deutet darauf hin, dass sie dort etwas gefunden haben, das die gesamte Chirurgie überflüssig machen könnte.“

„Ein neues Medikament? Regenerative Stammzelltherapie?“

„Wir wissen es nicht“, gab Zhang offen zu. „Die Signale, die wir abgefangen haben, sind kryptisch. Sie sprechen von ‚dynamischer Architektur‘ und ‚binärer Stabilität‘. Es hat etwas mit Motion Capture zu tun – jener Technik, mit der sie in Hollywood diese Animationsfilme machen. Aber was haben Kameras und Sensoren mit der Heilung eines Bandscheibenvorfalls zu tun?“

Mei Lin betrachtete das Foto von Dr. Kämmerer. Ein Mann mit wirrem Haar und einer zerbeulten Kaffeetasse in der Hand. „Vielleicht geht es um Robotik? Assistenzsysteme für Chirurgen?“

„Möglich“, sagte Zhang. „Aber Kämmerer ist kein Chirurg. Er ist Biomechaniker. Das ist der blinde Fleck, Mei Lin. Die Deutschen scheinen das Problem aus einer Richtung anzugehen, die wir bisher ignoriert haben. In China operieren wir jedes Jahr Millionen von Wirbelsäulen. Wenn Kämmerer einen Weg gefunden hat, diese Schäden ohne Skalpell zu beheben – nur durch Daten und eine neue Form der Mechanik –, dann brauchen wir diese Technologie. Sie würde unser Gesundheitssystem um Jahrzehnte entlasten.“

„Was ist meine Priorität?“, fragte Mei Lin.

„Der Algorithmus“, antwortete Zhang präzise. „Die Hardware ist Standard – Kameras, Marker, Rechner. Das kann jeder kaufen. Aber die Software, die diese Bewegungen in Echtzeit analysiert und daraus eine medizinische Diagnose ableitet, die ein MRT schlägt... das ist der heilige Gral. Sie müssen tief in das Labor eindringen. Werden Sie Kämmerers Schatten. Lassen Sie ihn glauben, dass Sie die begabteste Studentin sind, die er je hatte.“

Mei Lin nickte. Sie spürte den Druck. Bisher waren ihre Aufträge klar definiert gewesen: Baupläne, chemische Formeln, Passwörter. Dieses Mal suchte sie nach einem Phantom – einer neuen Denkweise in der Medizin, die so radikal war, dass sie geheim gehalten wurde.

„Noch etwas“, fügte Zhang hinzu, während Mei Lin die Mappe schloss. „Seien Sie vorsichtig mit dem Begriff ‚Physiotherapie‘. Kämmerer hasst ihn anscheinend. Er nennt es ‚rekonstruktive Biomechanik‘. Wenn Sie dort sind, vergessen Sie alles, was Sie über klassische Medizin gelernt haben. Denken Sie wie eine Ingenieurin, die eine Maschine repariert.“

Mei Lin stand auf. Sie verbeugte sich leicht. „Ich werde die Quelle finden, Direktor. Wenn es eine Sprache gibt, die diese Maschinen sprechen, werde ich sie lernen.“

Zhang sah ihr nach, wie sie den Raum verließ. Er wusste, dass die Deutschen einen Vorsprung hatten, den sie nicht mit Geld, sondern mit jahrzehntelanger, stiller Forschung erkauft hatten. Er hoffte nur, dass Mei Lin rechtzeitig begreifen würde, was sie dort eigentlich sah – bevor die Deutschen beschlossen, ihr Wissen doch noch zu veröffentlichen und die Welt der Orthopädie für immer zu verändern.

Drei Tage später saß Mei Lin im Flugzeug nach Frankfurt. In ihrer Tasche lag ein Lehrbuch über menschliche Anatomie, aber in ihrem Kopf liefen bereits die Simulationen für die Platzierung von Infrarot-Markern ab. Sie wusste noch nicht, dass sie bald Zeugin einer medizinischen Revolution werden würde, die im Verborgenen eines Heidelberger Kellers stattfand. 

 

Im Labor 

Die Luft im Kellerlabor des Instituts für Biomechanik war kühl und roch nach Desinfektionsmittel und Elektrizität. An den Wänden hingen hochauflösende Infrarotkameras, deren rote Linsen wie die Augen kleiner Insekten im Halbdunkel leuchteten.

Mei Lin rückte ihre Brille zurecht. Sie trug einen schlichten weißen Kittel, das Haar streng zum Knoten gebunden. In den Akten der Universität Heidelberg wurde sie als „Gaststudentin im 4. klinischen Semester“ geführt – eine fleißige „Sea Turtle“, eine Rückkehrerin, die im Ausland Wissen sammeln sollte. Doch Mei Lins eigentlicher Auftraggeber saß in einem schmucklosen Bürogebäude in Peking. Ihr Ziel: Die „Operation Wirbelwind“.

„Bereit für den nächsten Probanden, Mei?“ Dr. Kämmerer, ein zerzauster Typ Mitte fünfzig, tippte auf seinem Tablet.

„Natürlich, Herr Doktor“, antwortete Mei in perfektem, leicht akzentuiertem Deutsch.

Ein Patient betrat den Raum. Er war übersät mit reflektierenden Markern, die auf seine Wirbelsäule, sein Becken und seine Oberschenkel geklebt waren. Mei half ihm auf das Laufband, das von Kraftmessplatten umgeben war.

„Achten Sie auf das Display“, flüsterte Kämmerer. „Das ist das Herzstück. Wir nennen es das ‚Digitale Myo-Skelett-Modell‘. Es gibt weltweit keine Publikation dazu, weil die Algorithmen zur Echtzeit-Kompensation noch unter Verschluss stehen.“

Mei Lin blickte auf den Monitor. Während der Patient sich bewegte, sah sie kein Video, sondern ein hochkomplexes Drahtgittermodell seiner Wirbelsäule. Kleine rote Wolken um die Wirbelkörper L4 und L5 zeigten die Scherkräfte an. Aber das Sensationelle war die Muskeldarstellung: Die tiefen Multifidi wurden als transparente Fasern angezeigt, die bei jeder Bewegung ihre Farbe änderten.

„Sehen Sie das?“, fragte Kämmerer begeistert. „Das MRT zeigte einen massiven Vorfall. Jeder normale Chirurg würde sofort operieren. Aber unsere Motion-Capture-Analyse zeigt: Die Bandscheibe ist gar nicht das Problem. Die neuronale Ansteuerung des linken Multifidus setzt 200 Millisekunden zu spät ein. Das Segment ist instabil. Die Bandscheibe wird nur gequetscht, weil die Muskulatur schläft.“

Mei Lin schluckte. Sie begriff sofort die Tragweite. Wenn man diese Daten hatte, konnte man Operationen im Wert von Milliarden Euro durch gezieltes Training ersetzen. Ein gewaltiger ökonomischer Vorteil für jedes Gesundheitssystem.

„Und die Lösung ist... einfach nur Sport?“, fragte sie unschuldig.

„Nicht irgendein Sport, Mei. Wir nutzen die Daten, um den Patienten in eine computergesteuerte Back Extension zu setzen. Die Maschine leistet nur Widerstand, wenn die KI erkennt, dass genau diese tiefen Fasern rekrutiert werden. Wir kehren die fatty infiltration in sechs Wochen um. Wir heilen den Rücken durch reine Biomechanik.“

Kämmerer wandte sich kurz ab, um ein Kabel zu richten. Mei Lin nutzte die Sekunde. Ihre Brille war mehr als eine Sehhilfe; in den Bügel war eine Mikrokamera integriert. Mit einem fast unmerkbaren Druck auf den Bügel scannte sie die Quellcodes, die über den Monitor liefen, und die Live-Diagramme der Muskelaktivität.

Später am Abend saß Mei in ihrem kleinen Wohnheimzimmer. Das Fenster war gekippt, der Lärm der Stadt drang nur gedämpft herein. Sie öffnete ihr Laptop und startete eine scheinbar harmlose Musik-Software. Im Hintergrund öffnete sich jedoch ein Terminal.

Sie schloss ihre Brille per USB-C an. Die Daten flossen in den Puffer.

„Statusbericht S-7. Projekt Bravo-9/Biomechanik“, tippte sie in das verschlüsselte Chatfenster. „Durchbruch bestätigt. Die Deutschen haben die Lücke zwischen statischem MRT und dynamischer Funktion geschlossen. Algorithmus zur Erfassung der tiefen Rückenmuskulatur extrahiert. Heilungsrate ohne chirurgischen Eingriff bei fast 90 Prozent. Sende Paket 1 von 4.“

Der Ladebalken bewegte sich langsam. Mei Lin starrte auf den Bildschirm. Sie dachte an Dr. Kämmerer, der ihr heute Mittag stolz die Technik erklärt hatte. Er vertraute ihr. Er sah in ihr die Zukunft der Medizin.

Ein kurzes Signal ertönte. Übertragung abgeschlossen.

„Hervorragende Arbeit, Mei Lin“, erschien auf dem Schirm. „Das Ministerium wird die Daten sofort in die Pilotklinik nach Shenzhen übermitteln. Bleiben Sie am Projekt dran. Wir brauchen die Spezifikationen der Kraftmessplatten.“

Mei schloss das Programm und löschte die temporären Dateien mit einem sicheren Überschreib-Algorithmus. Sie trat ans Fenster und sah hinunter auf den Neckar. Sie war keine Medizinstudentin, die Leben rettete, zumindest nicht hier. Sie war ein Rädchen in einer globalen Maschinerie des Wissensdiebstahls.

Doch als sie sich am nächsten Morgen wieder ihren weißen Kittel überzog und die Universität betrat, war ihr Gesicht die perfekte Maske der Unschuld. Sie war Mei Lin, die fleißige Studentin, bereit, den nächsten blinden Fleck der westlichen Medizin für ihre Heimat zu beleuchten.

In Heidelberg ahnte niemand, dass die Zukunft der Rückentherapie bereits auf einem Server in Peking gelandet war, noch bevor das erste deutsche Paper dazu überhaupt geschrieben war.

Rethinking Artificial intelligence with buffers

In the past it was assumed that Artificial Intelligence is an algorithm, for example a recursive genetic algorithm which improves itself, or a mathematical optimization algorithm for model predictive control. Such a bias organizes the research into a certain direction and ignores possible alternatives.

The opposite bias is shown in the picture which consists of a buffer who connects two systems. There is no Turing machine anymore needed which executes an algorithm, but they are separate systems who are communicating with each other. The buffer is some sort of traffic router in a computer network and is the source of artificial intelligence. The router ensures that both systems are using the same protocol, namely grounded language.

Even if this definition is vague and nothing but a picture, it allows to treat artificial intelligence with a new perspective. Classical algorithm theory can be ignored and signal processing and linguistics becomes a greater importance. The goal is to use the buffer pattern as a starting point for all the future AI research, including robotics, computer vision and planning.

Artificial intelligence with oracle turing machines

 Classical turing machines are executing algorithms, therefor the artifical intelligence must be located within an algorithm. There is an extensive list available of all possible algorithm but none of them is providing AI.[1]

There are some algorithms available which are mentioned in the context of AI like automated planning, Mathematical optimization and neural networks, but its not possible to take one algorithm from the list and use it for robot control.

What is needed instead is an opposite computional model different from a turing machine called an oracle turing machine. Even if the mathematical background of such a Super Turing machine is very complex, the principle can be explained as a Turing machine which communicates with an external system. This ability to communicates allows to offloadwing Artificial intelligence.

For robotics application, an oracle turing machine is usally implemented as a teleoperated robot. The robot stops in front of an obstacle and asks the oracle what to do next. The oracle is the human operator who decides that the robot needs to move around the obstacle on the left pathway. This command is executed by the robot.

In contrast to a normal turing machine, an oracle turing machine doesn't process an algorithm but it communicates. Communication means to solve problem by asking someone else outside of the own system. The higher instance is better informated about the situation, a human operator is equipped with a powerful vision system and has a lot of knowledge to solve most robotics problems. Such kind of knowledge is hard to program into an algorithm, so the robot needs to ask the operator for help.

There is a detail problem available in oracle turing machines which is the communication protocol. The turing machine and the oracle need to established a shared communication protocol which allows them to receive and submit messages in a language. This language needs to be invented first.

[1] https://en.wikipedia.org/wiki/List_of_algorithms

Offloading of Artificial intelligence

 AI research in the past was mostly a failure. All the programming languages, projects, neural networks, expert systems and algorithms didn't work. Even if handbooks available like "Russel/norvig: AIMA" these books doesn't contain valuable information but they are collected wrongt theories.

To overcome all the chaos a new paradigm needed, which can be coined as Offloading of Artificial intelligence. The idea is to reduce the robot's control software to the minimum so that its only a receiver for external commands. And the intelligence, the vision system, the algorithms and so on are offloaded to an external entity which is a human operator. The human perceives the scene with its eyes, uses its domain knowledge, takes a decision and then presses a joystick. The signal is send to the robot who is moving the servo motor.

The main advantage of such a minimal robot is its simplicity. There is no need to implement advanced AI algorithms, or write complex software systems but the robot is no longer responsible for the task.

Such kind of teleoperated robot works with two important principles: a) existing theories from mathematics, computer science and psychology are no longer valid b) the only open question is how to design the human to robot communication interface.  For example the signals can be transmitted with a cable, wireless, with a joystick, with speech or with a text interface.

In classical robotics in the past, the bias was that the intelligence inside the robot. The robot consists of a microcntroller, the microcntroller runs a software, the software executes an algorithm and the algorithm consists of artificial inteliigence. In the new paradigm "offloading AI" the robot is reduced to a non thinking device similar to a RC car which receives commands from an external source, similar to a Super turing machine which recieves commands from the oracle. Such a mental short cut allows to explain what intelligence is: intelligence is a signal from the environment. Innstead of generating intelligence inside the robot, the robot needs to receive and interpret the signal.

Offloading intelligence means, that there is a physical distance between the source and the target. The source of intelligence is the human in one location, while the receiver is the robot in the other location. Between them there is a cable. Such a distributed robot system will create a new problem which is how to submit the signal from the source to the target. By answering this question its possible to get a better understanding of intelligence. It transforms a closed system into an open system. The attention gets moved away from the robot itself towards the cable between human and robot.

The failure of AI related programming language

The promise of 5th generation programming language was to formulate AI related problems on a higher abstraction level. Examples like Prolog, Domain specific language and robot control APIs were invented to simplify the programming. Unfurtunately the concept was never accepted in the reality. The reason is, that a programming language is targetted towards the internal behavior of a robot or a computer, and the internal system has no knowledge about the external world.

Let me give an example. Suppose a domain specific language for robot control is invented which consists of statements like:

robot.move()
robot.stop()
robot.chargebattery()
robot.robotpickup()

In theory this DSL sounds logical the problem is to parse such a language with a computer program. A statement like robot.move() can't be converted into low level actions. Its only a mock up without executable programming code. The reason has to do with the difference between internal structure of a system and external environment. The statement "robot.move()" makes only sense if there is a simulation in which the robot can move, rotate and stop. In a normal robot program written from scratch there is no such simulation available, but the memory aka the RAM of a computer program is empty.

Programming language for high level robot control doesn't work, because a programming language is the wrong tool for such a purpose. Programming language like C, Java, Rust or Python are great for technical implementation of ideas but they can't generate artificial intelligence. What is needed is not a programming language but a communication protocol similar to GUI interface. Typical examples for such an interface are the Maniac Mansion verbs shown on the bottom or the vocabulary of a text adventure. These interfaces are not realized as programming language but they are widgets on the screen created for human to machine interaction.

Of course, there is a need to write a computer program which checks if the user is moving the mouse over a verb and presses the button. But such kind of program can be formulated in classical programming language like C/C++ or Python, Because the task for the program is very low level and has to do with recognizing the mouse position and display text on the screen. These tasks have to do with computer programming the core sense because the program defines how to blit pixels to the screen and which sort of game loop is reacting to the user input.

Closed systems without symbol grounding

Before the advent of human to machine communication there was a different paradigm avaialble which is a closed sytem. A robot was imagined as a self-sufficient system which never receives or submits information to the environment but operates by its own logic realized in software and hardware. Typical questions for such a closed system are:

- how fast is the microcontroller in terms of RAM and Mhz
- which programming languages was used, e.g. Lisp, C/C++
- Is the microcntroller running with 5 Volt or 12 Volt
- how many lines of code has the robot control system
- which mathematical algorithm was implemented in the software
- what is the CPU consumption and the runtime of the algorithm
- is the robot using an inverse kinematics solver
- was a genetic algorithm used

These questions are asked from a classical computer science perspective which includes a mathematical, physical and computer based understanding of robotics. Its about the internal structure of a robot and ignores the environment of the system. Instead of analyzing the task e.g. a warehouse logistics problem or a kitchen cooking problem, the focus is put on the machine itself and their hard- and software.

The main property of a closed system is its inability to communicate with the environment. Its assumed that no information, energy or matter can pass between the robot and the outside world. Possible interaction like teleoperation are ignored or reframed as anti-pattern. For example a typical assumption was, that teleoperation is the opposite of automation and therefor its not needed in robotics.

Even if the robot is working by technical meaning the robot can't solve a certain complex problem because closed systems are only able to manage repeating tasks but fail in more complex applications. Artificial intelligence problems like robot control are exclusively complex task which requires a huge amount of communication from a system with its environment.