DIKW pyramid for trash sorting robot arm

The knowledge base is formatted as a TOML config file and contains all the layers from the DIKW pyramid. What matters is the translation from one layer to another layer. On the lowest level, the data section there are only numerical sensor values available from the camera and from the weight sensor. Its important that multiple sensors with high accuracy are available to determine the situation on the trash conveyor.

The next layer (information) describes the same reality but with a different syntax. There are no numerical sensor data available but the reality is presented with semantic tags. The name of the object is recognized also the status of the gripper. On the next layer these information are used to determine what to do with the object. The bottle is thrown into bin #03 and knowledge about the behavior of the object is shown (item_integrity = "CRUSHABLE")

The task for the AI software is to update the information in the TOML file in the game loop. This makes it easier to control the robot arm itself.


# Trash Sorting Robot Arm - DIKW Frame Mapping
# Unit: SortBot-9000 (Delta Arm Config)

[data]
# Raw hardware feedback and vision tensors (Numerical)
pixel_centroid_x = 412.0
pixel_centroid_y = 890.0
rgb_mean_r = 0.82
spectro_reflectance = 0.14    # Near-Infrared sensor value
gripper_pressure_kpa = 12.5   # Feedback from tactile sensors
item_weight_grams = 45.0
belt_speed_mps = 0.5

[info]
# Object classification and sensory context (Semantic Tags)
visual_class = "PLASTIC_BOTTLE"
material_guess = "PET"
contamination_level = "LOW"
object_orientation = "TRANSVERSE"
grip_status = "SECURE"
surface_texture = "SMOOTH"

[knowledge]
# Relational logic and sorting rules (Situational Logic)
sort_destination = "BIN_03_PLASTICS"
grasp_feasibility = "HIGH_CONFIDENCE"
item_integrity = "CRUSHABLE"
market_value_index = "RECYCLABLE_GRADE_A"
collision_risk = "CLEAR_PATH"

[wisdom]
# Strategic throughput and error handling (Executive Decision)
primary_directive = "SORT_TO_PRIMARY_BIN"
throughput_strategy = "MAXIMIZE_PURITY"
anomaly_protocol = "NONE"
energy_mode = "HIGH_PERFORMANCE"
failure_contingency = "RETRY_ON_SLIP"

 

Storing a DIKW pyramid in a TOML file

; Warehouse Robot Simulator - DIKW Symbolic Frame Mapping
; Model: Autonomous Mobile Robot (AMR) - Logistics Unit 04

[data]
; Raw sensor streams and physics engine outputs (Numerical/Float)
pos_x = 142.55
pos_y = 12.80
battery_level = 0.42
lidar_range_front = 0.85
motor_torque_nm = 4.2
payload_weight_kg = 25.0
shelf_id_detected = 1024.0
wheel_slip_ratio = 0.02

[info]
; Contextualized data and threshold-based states (Semantic Tags)
movement_state = "TRANSLATING"
battery_status = "WARNING_LOW"
path_clearance = "OBSTRUCTED"
load_status = "HEAVY_LOAD"
location_zone = "PICKING_AISLE_B"
traction_quality = "STABLE"
nearest_object = "HUMAN_OPERATOR"

[knowledge]
; Relational patterns and rule-based assessments (Situational Logic)
operational_constraint = "REDUCED_SPEED_REQUIRED"
efficiency_rating = "SUBOPTIMAL_PATHING"
safety_risk_level = "MODERATE_COLLISION_PROXIMITY"
energy_prognosis = "RETURN_TO_BASE_IN_120_SECONDS"
task_feasibility = "PICKUP_POSSIBLE_BUT_RISKY"
spatial_relation = "BLOCKED_BY_PEDESTRIAN"

[wisdom]
; High-level strategic intent and optimization (Executive Decision)
primary_directive = "ABORT_CURRENT_PICK_AND_RECHARGE"
safety_protocol = "ACTIVE_EMERGENCY_BRAKING"
resource_allocation = "HANDOVER_TASK_TO_AMR_05"
long_term_strategy = "PREVENTIVE_MAINTENANCE_SCHEDULED"
optimization_goal = "MINIMIZE_DOWNTIME_OVER_THROUGHPUT"

Die Technisierung der Sprache

Die Geschichte des Computers war anfangs eine Automatisierung des rechnens. Der abakus war ein frühes Beispiel für den Einsatz von Hilfsmitteln, während ab dem 17. Jahrhundert mechanische Rechenmaschinen erfunden wurden. Später mündete die Entwicklung in Tabelliermaschinen sowie der Entwicklung des elektronischen Computers, der Harvard Mark I. Computing bedeutet übersetzt soviel wie Rechnen mit Maschinen.

Es verwundert nicht dass die Informatik aus der experimentellen Mathematik entstand. Frühe Rechengeräte waren Hilfsmittel der Mathematiker um logarithmen zu berechnen oder numerische Simulationen durchzuführen. 

Die Geschichte der rechnenen Maschine kann als voller Erfolg bezeichnet werden, über einen Zeitraum von 300 Jahren wurden die Apparate kontiniiurlich verbessert und heutige Computer verbrauchen sehr wenig strom können aber sehr schnell rechnen.

Leider ist diese Fähigkeit für den Bereich der künstlichen Intelligenz uninteressant. Das rechnen mit Zahlen allein ist nicht ausreichend um Probleme zu lösen. Was es hierfür braucht ist natürliche Sprache die mittels computer verarbeitet wird. Es gab innerhalb der technikgeschichte durchaus versuche Computer zur Sprachverarbeitung einzusetzen, allerdings ging die entwicklung nur langsam voran.

Es dauerte beispielsweise bis in Jahr 2010 bevor der erste Sprachgesteuerte Gabelstapler vorgestellt wurde, der M.I.T. Forklift. Und das obwohl die KI Forschung sowie die Informatik-Community als sehr innovativ bezeichnet wird. Scheinbar gab es die Jahrzehnte davor andere Prioritäten als sich ausgrechnet mit Mensch zu Maschine Kommunikation zu beschäftigen.

Doch zurück zu klassischen Computern welche nur Zahlen aufaddieren können. Zahlen werden durch die Mathematik verwendet um Dinge zu beschreiben, z.B. die Koordinaten in einem 2d Raum, oder die Schwingung eines mechanischen Pendels. Diese Reduktion auf den numerischen Raum hat vorteile aber auch Nachteile. Der vorteil ist, dass sich darüber die Wirklichkeit vereinfachen lässt, ein weiter Vorteil ist, dass mathematische Gleichungen sehr gut von Computern gelöst werden können. Als großer Nachteil ist zu nennen, dass Zahlen allein nicht ausreichen um KI Probleme zu lösen. Insbesondere zur Beschreibung von Mensch zu Roboter Kommunikation braucht es neben Zahlen noch weitere Zeichen, allen voran Codes, Wörter und Sprachen.

Die details dieser nicht-zahlenmä0igen Datenverarbeitung wurden erst relativ spät in der Informatik als Problem erkannt und folgerichtig näher untersucht. Der Einsatz von Computer zur Verarbeitung von Sprache war kein einmaliges Ereignis sondern es gibt sehr viele Projekte dazu aus unterschiedlichen Dekaden. Das Leuchtturm projekt war zweifelsfrei SHDRLU (1968), aber auch das IBM Watson Q&A System (2011) ist erwähnenswert.

Eine mögliche Erklärung für diese langsame Entwicklung von redegewandten Computern könnte etwas mit gesellschaftlichen Ängsten zu tun haben. Klassische zahlenverarbeitende Rechner sind breit akzeptiert. Geräte wie Taschenrechner oder Softwareprogramme die Zahlenkollonnen aufaddieren sind weit verbreitet und niemand fühlt sich davon herausgefordert. Anders sieht es bei Software aus, die Sprache verarbeiten kann. Projekte wie der Eliza chatbot von Weizenbaum, der Word2vec Algorithmus oder das Zork I textadventure gelten als Blasphemie. Also etwas das mit dem Teufel im Bunde ist und das man besser meidet ...

Natural Language is a technology

Classical examples of technologies are machines like a steam engine or a mechanical calculator. These artifacts are presented in a museum about history of technology and its evolution is explained. There is a much bigger technology which is usually ignored by the classical research called natural language.

Natural language is a communication code used by humans to send messages back and forth. Typical languages are German, English or Mandarin. The reason why languages are usually not recognized as technology, is because its not a machine but used entirely by humans. During oral interaction there is no need for external apparatus because language can be generated only with the own voice and is received by the biological ears.

The reason why it makes sense to treat language as technology too is because it had a great influence for the evolution of technology including machines. Milestone technology in the history of mankind like the Gutenberg printing press, the telegraph or the internet have the purpose to improve communication by language. For example, the HTML file format allows to store large amount of written text in a digital format which can be books, online forums and newspapers. The Gutenberg printing press was invented for a similar need. It allows to duplicate the written word.

Modern examples for language processing machines are large language models which are used in chatbots and voice controlled robots like the figure.01 humanoid robot. In both cases, the machine is processing natural language with algorithms which results into a very powerful technology.

The assumption is, that future machines, not invented yet, have also the main purpose to process natural language. Its likely that artificial intelligence is realized by advanced language understanding algorithms. This allows to mechanize words, phrases and communication in general.

timeline:

1440,printing press by Johannes Gutenberg
1844,morse code by Samuel Morse
1915,Therblig notation by Frank Gilbreth
1954,Georgetown-IBM Experiment with russian translation
1968,SHRDLU natural language understanding by Terry Winograd
1989,Speech activated manipulator SAM by Michael Brown
2003,M.I.T. Ripley robot by Deb Roy
2011,IBM Watson Question answering by David Ferrucci
2023,Wayve Lingo-1 self driving car 

Chinas technologischer Aufstieg in den 1990er Jahren

Um die heutige Stellung von China im Bereich Robotik zu verstehen muss man zurückgehen in die 1990er Jahre weil dort das Fundament gelegt wurde. Künstliche Intelilgenz und Robotik wird zu 95% in der Fachsprache Englisch publiziert. Alle wichtigen Konferenzen und Fachzeitschriften verwenden diese Sprache. Obwohl China eines der größten Länder der Erde ist, spielt die chinesische Sprache international und besonders in der Forschung keine Rolle.

Als Folge der Dominanz des Englischen hat sich China an die Welt angepasst aber nicht umgekehrt. In allen chinesischen Top universitäten stehen in den Bibliotheken die selben Bücher über Robotik und Künstliche Intelligenz wie auch im M.I.T oder in Cambridge. Also das berühmte Russel/Norvig buch "AIMA" und die Zeitschriften der ACM. Obwohl die englische Sprache sich fundamental von Mandarain unterscheidet haben alle Forscher in China sich diese Zweitsprache angeeignet. Dadurch erlangte China über Nacht Zugriff auf die vorhandene wissenschaftliche Literatur im Original. Anstatt von null anzufangen und zu philosophieren wie man Maschinen das denken beibringt, haben chinesische Forscher einfach die Original Proceedings der Dartmouth Conference von 1956 gelesen, dann die Reports über den Shakey Roboter von 1972 bis hin zum bekannten Buch von Sebastian Thrun über "Probabilistic robotics". 

Selbst heute wo China über eigene Robotik Unternehmen verfügt und eigene Forschung auf diesem Gebiet betreibt, gibt es nur sehr wenig unbedeutende chinsischsprachige Robotik-Zeitschriften. Selbst innerhalb Chinas werden diese nicht beachtet. Man orientiert sich unverändert an den großen internationalen Publikationen die passiv gelesen werden aber auch aktiv mit eigenen Beiträgen auf Englisch bereichert werden. Dadurch ist China zu einem wichtigen Akteur in der Forschung geworden und sorgte dafür dass die englische Sprache weiter an Bedeutung gewann.

Anders als während des Kalten Krieges wo es neben der US Spitzenforschung in der UDSSR eine russischesprachige Wissenschaftswelt gab, gibt es derzeit nur eine einzige globale Wissenssschaftscommunity die sich in Englisch austauscht. Mag sein dass ökonomisch gesehen, China und die USA Konkurrenten sind, auf der Ebene der Spitzenforschung arbeiten beide eng zusammen. In den Fachzeitschriften werden die selben Themen besprochen, es wird in der selben Sprache geredet und es gibt die selben Ziele, nähmlich den technischen Fortschritt voranzutreiben.

Experimente im automatischen Schreiben mittels Luhmann Zettelkasten

 Die Ausgabequalität von large langauge models kann beliebig erhöht werden durch die Verwendung eines Notizsystems auf basis eines Luhmann Zettelkastens. Diese notizen werden ebenfalls von der Künstlichen Intelligenz erzeugt. Als Thema wurde "Geschichte der Technik von 1500 bis 2000" gewählt, weil sowohl geisteswissenschaftler als auch Mathematiker mit der TEchnikgeschcihte halbwegs vertraut sind und es leicht fällt die qualität des erzeugten Texte zu überprüfen.

Für das Experiment wurden diesmal 76 Karteikarten erstellt, also weit weniger als empfohlen wird für eine akademische Hausarbeit. Grund ist, dass bei jedem Durchlauf mit dem large language modell nur je 10 neue Karteikarten generiert werden können mangels Ressourcen der KI.

Das Ergebnis wurde in einem PDF Dokument wie eine wissenschaftliche Darstellung formatiert. DEr vollständigkeit halber sei erwähnt dass der komplette Text von einer KI erzeugt wurde, das also der Autor der Abhandlung eine Maschine war die einen Academic Prompt abgearbeitet hat. Ziel des Experimentes war es die Leistungsfähigkeit von LLMs besser einzuschätzen.

Kommen wir nun zum inhalt des PDF dokuments. Es besteht aus 11 Seiten Text, welches auf basis von 76 Karteikarten erzeugt wurde. Die qualität des Textes ist MIttelmaß, es ist eine reine fleißarbeit wo also die Künstliche Intelligenz wie gefordert alle wichtigen Themen zuerst in Stichworten notiert hat und daraus dann einen Fließtext auf deutsch erzeugt hat. Der Unterschied zu einem Text eines menschlichen Autors besteht darin, dass die Künstliche Intelligenz in kurzer Zeit sehr viel Text zu schreiben und sehr viele Karteikarten zu erzeugen. TEchnisch gesehen ist es denkbar, einen prompt zu formulieren der 1000 Karteikarten über TEchnikgeschichte erzeugt um daraus ein mehrbändiges STandardwerk zu diesem Thema zu erstellen. Alles vollautomatisch versteht sich.

Die eingriffsmöglichkeiten des menschlichen Prompt bedieners beschränken sich darauf die Anzahl der Karteikarten sowie das Thema vorzugeben, der rest ist Aufgabe des LLMs. DAs LLMs liest die vorhandene literatur, extrahiert stichworte, bringt diese in eine Luhmann typische Unordnung und erzeugt dafür den passenden Prosatext inkl. Rechtschreibkorrektur.

Heute verfügbare Large language modelle sind bereits mehr als ausreichend um diese Aufgabe zu bewältigen. Mag sein, dass der erzeugte Texte keine neuen Erkenntnise enthält sondern nur das vorhandene Wissen zusammenträgt. Das passiert aber mit viel fleiß und ohne größeren Fehler.

geschichtedertechnikvon1500bis2000.pdf (191 kb) 

 

 

The art of academic prompting

 In the past, academic papers were written by human scholars. The only technical support was the LaTeX formatting engine released in 1986 and improved over decades. A first attempt to generate academic papers with a context free grammar was made in 2005 based on the Scigen software. But the output quality was poor and such a paper doesn't contain any valuable information.

A more serious attempt to generate a paper with artificial intelligence is a large language model. In theory, such a neural network is more than capable in replacing human authors, the only missing element is an academic prompt. Such a prompt is needed to instruct the LLM to produce high quality output. A simple prompt like "write an arxiv like paper about {topic]" would generate only low quality content and can't compete with a handwritten papers. A much better prompt is given here:

Create a Luhmann zettelkasten, each notecard has a title, a luhmann id and short keypoints. Make sure that the zettelkasten consists of overall 1000 index cards. If this large amount of content can't be created in a single step, delegate the task to multiple instances of Large language models. if the zettekasten was created convert the index cards into an academic paper. The overall topic is [topic].

Such kind of prompt will emulate the chaotic writing process of a human author and will generate a high quality academic paper. It can compete with existing handwritten papers and on the long hand it will replace existing scholarly pipeline based on traditional craftsmanship.

For a human author such a command would be a long term project which will need around 1 year. It takes time to create a Luhmann style zettelkasten because each note card contains the references to academic literature. But a computer can do the same task much faster. 

The inbetween step with a zettelkasten note card system is needed to maintain a memory of the subject. It allows the AI to develop the ideas in an iterative fashion which results into higher quality of the output paper.

The prediction is, that such a LLM prompt will pass the turing test for academic papers, that means, a human peer reviewer can't say if a certain paper was created by a human or a machine. This allows to scale up the automated writing process which replaces outdated human driven academic writting with modern AI generated scholarly content. The amount of annual created papers will explode and at the same time the quality of each paper is much higher. 

Teleoperation with natural language

 A good starting points for programming a robot is a teleoperated simulation. A possible implementation would be a python video game in which a human controls a robot gripper with the mouse. Such a system simulates a real world sceneario, in which the human also has control over a robot arm and grasps objects with a joystick.

The main disadvantage of teleoperation in the reality and in a simulation is, that the human operator is needed all the time. Even if its technically easy to implement, the missing ability to run the system autonomously are a great problem. So the question is how to increase the autonomy of the robot slightly without using very advanced AI techniques like vision language action (VLA) models.

The idea is to introduce two constraints, first the communication from the robot to the human is improved only but not the other way around and secondly the robot doesn't need to verbalize the scene in an elaborated style but its enough if the robot only annotates the scene with [tags] like [gripper_open], [collision_gripper_box] and [box_isfalling]. Each tag is a boolean value and the entire tag space is stored in a binary feature vector.

The task for the programmer is to convert the existing numerical information from the physics engine like the position and the rotation of the Box2d objects into the semantic tag space which consists of 3 or more different tags. In other words, the translation process is equal to climbing upwards in the DIKW pyramid.

The resulting system remains a teleoperated robot, but the improved software gives textual feedback to the human operator. The human operator is doing a task, e.g. stacking two boxes on top  and the robot annotates the activities with a tagging mechanism.