Automatic Reasoning and Tool-use (ART)
Ein Framework, das Chain-of-Thought-Prompting mit externem Tool-Einsatz kombiniert und es LLMs ermöglicht, automatisch Zwischenschritte im Denkprozess zu generieren und Tools als Programm aufzurufen.
Was ist ART?
Die Kombination von Chain-of-Thought (CoT) Prompting und Tool-Nutzung hat sich als starker und robuster Ansatz erwiesen, um viele Aufgaben mit LLMs zu bewältigen. Diese Ansätze erfordern typischerweise handgefertigte aufgabenspezifische Demonstrationen und sorgfältig geskriptete Verschachtelung von Modellgenerierungen mit Tool-Nutzung.
Automatic Reasoning and Tool-use (ART) schlägt ein neues Framework vor, das ein eingefrorenes LLM verwendet, um automatisch Zwischenschritte im Denkprozess als Programm zu generieren. ART geht über traditionelles Prompting hinaus, indem es dem Modell erlaubt zu entscheiden, wann und wie externe Tools während seines Denkprozesses eingesetzt werden.
ART wurde von Paranjape et al. (2023) eingeführt und stellt einen wichtigen Schritt in Richtung autonomeren KI-Denkens dar. Es baut auf früheren Arbeiten zu Chain-of-Thought-Prompting und tool-erweiterten Sprachmodellen auf.
Wie ART funktioniert
ART folgt einem strukturierten Prozess, der Aufgabenauswahl, Programmgenerierung und Tool-Integration kombiniert:
Beispiele aus einer Aufgabenbibliothek auswählen
Bei einer neuen Aufgabe wählt ART Demonstrationen für mehrstufiges Denken und Tool-Nutzung aus einer vorgefertigten Aufgabenbibliothek aus. Diese Beispiele dienen als Vorlagen, die dem Modell zeigen, wie ähnliche Probleme zerlegt werden.
Programm mit einem eingefrorenen LLM ausführen
Zur Testzeit generiert das Modell ein Denkprogramm. Es pausiert die Generierung, wann immer externe Tools aufgerufen werden (wie Suchmaschinen, Code-Interpreter oder Taschenrechner), integriert deren Ergebnis und setzt dann die Generierung fort.
Fehler korrigieren (Optional)
ART ist erweiterbar. Menschen können Fehler in den Denkschritten korrigieren oder neue Tools hinzufügen, indem sie einfach die Aufgaben- und Tool-Bibliotheken aktualisieren. Dies macht kontinuierliche Verbesserung unkompliziert.
Wichtige Vorteile
- Zero-Shot-Generalisierung: ART ermutigt das Modell, aus Demonstrationen zu generalisieren, um eine neue Aufgabe zu zerlegen und Tools an geeigneten Stellen einzusetzen, ohne aufgabenspezifisches Training.
- Menschliche Erweiterbarkeit: Wenn das Modell Fehler macht, können Menschen die Denkschritte korrigieren oder neue Tools zur Bibliothek hinzufügen. Dies schafft eine Feedbackschleife für kontinuierliche Verbesserung.
- Tool-Integration: ART verwebt nahtlos externe Tool-Aufrufe (Suche, Code-Ausführung, Berechnungen) in die Denkkette und erzeugt so präzisere und fundiertere Ergebnisse.
- Eingefrorenes LLM: Kein Fine-Tuning erforderlich. ART funktioniert mit dem Modell wie es ist, was bedeutet, dass es auf jedes leistungsfähige LLM ohne Neutraining angewendet werden kann.
ART in der Praxis
Hier ist ein vereinfachtes Beispiel, wie ein ART-ähnlicher Prompt für eine Rechercheaufgabe aussehen könnte:
TaskFind the population of Canada and France, then calculate the difference. Step 1: Search[SEARCH] “Population of Canada 2025” → Result: 40.1 million Step 2: Search[SEARCH] “Population of France 2025” → Result: 68.2 million Step 3: Calculate[CALC] 68.2 - 40.1 → Result: 28.1 million AnswerFrance has approximately 28.1 million more people than Canada.
Auch wenn Sie ART nie direkt implementieren, hilft Ihnen das Verständnis dieser Technik, bessere Prompts zu schreiben. Die Kernerkenntnis: Aufgaben in Schritte zerlegen und wissen, wann man externe Tools einsetzt, ist ein Prinzip, das Sie heute auf jede KI-Interaktion anwenden können.
Wann ART einsetzen
- Aufgaben, die mehrere Denkschritte in Kombination mit Faktenrecherche erfordern
- Workflows, bei denen Genauigkeit wichtig ist und das Modell Informationen extern verifizieren muss
- Situationen, in denen Sie reproduzierbares, strukturiertes Denken benötigen, das Menschen prüfen und korrigieren können
- Aufbau von KI-Agentensystemen, die autonom entscheiden müssen, wann Tools aufgerufen werden
Weiterführende Lektüre
Für einen tieferen Einblick in ART und verwandte Techniken erkunden Sie diese Ressourcen:
- Prompt Engineering Guide: ART (Originalreferenz)
- Chain-of-Thought Prompting (grundlegende Technik)
- ReAct: Reasoning + Acting (verwandter Ansatz)