Automatic Reasoning and Tool-use (ART)
Un framework che combina il prompting chain-of-thought con l'uso di strumenti esterni, consentendo agli LLM di generare automaticamente passaggi di ragionamento intermedi e richiamare strumenti come un programma.
Cos'è ART?
Combinare il prompting Chain-of-Thought (CoT) e l'uso di strumenti si è dimostrato un approccio solido e robusto per affrontare molte attività con gli LLM. Questi approcci richiedono tipicamente la creazione manuale di dimostrazioni specifiche per il compito e un'attenta integrazione tra le generazioni del modello e l'uso degli strumenti.
Automatic Reasoning and Tool-use (ART) propone un nuovo framework che utilizza un LLM congelato per generare automaticamente passaggi di ragionamento intermedi come un programma. ART va oltre il prompting tradizionale lasciando che il modello decida quando e come utilizzare strumenti esterni durante il suo processo di ragionamento.
ART è stato introdotto da Paranjape et al. (2023) e rappresenta un passo importante verso un ragionamento IA più autonomo. Si basa su lavori precedenti nel prompting chain-of-thought e nei modelli linguistici potenziati con strumenti.
Come funziona ART
ART segue un processo strutturato che combina selezione dei compiti, generazione del programma e integrazione degli strumenti:
Seleziona esempi da una libreria di compiti
Dato un nuovo compito, ART seleziona dimostrazioni di ragionamento multi-step e uso degli strumenti da una libreria di compiti precostruita. Questi esempi fungono da modelli che mostrano al modello come scomporre problemi simili.
Esegui il programma con un LLM congelato
Al momento del test, il modello genera un programma di ragionamento. Mette in pausa la generazione ogni volta che vengono richiamati strumenti esterni (come motori di ricerca, interpreti di codice o calcolatrici), integra il loro output e poi riprende la generazione.
Correggi gli errori (opzionale)
ART è estensibile. Gli esseri umani possono correggere errori nei passaggi di ragionamento o aggiungere nuovi strumenti semplicemente aggiornando le librerie di compiti e strumenti. Questo rende il miglioramento continuo semplice e diretto.
Vantaggi principali
- Generalizzazione zero-shot: ART incoraggia il modello a generalizzare dalle dimostrazioni per scomporre un nuovo compito e utilizzare gli strumenti nei punti appropriati, senza addestramento specifico per il compito.
- Estensibilità umana: Quando il modello commette errori, gli esseri umani possono correggere i passaggi di ragionamento o aggiungere nuovi strumenti alla libreria. Questo crea un ciclo di feedback per il miglioramento continuo.
- Integrazione degli strumenti: ART integra senza soluzione di continuità le chiamate a strumenti esterni (ricerca, esecuzione di codice, calcoli) nella catena di ragionamento, producendo risultati più accurati e fondati.
- LLM congelato: Non è necessario il fine-tuning. ART funziona con il modello così com'è, il che significa che può essere applicato a qualsiasi LLM capace senza riaddestramento.
ART nella pratica
Ecco un esempio semplificato di come potrebbe apparire un prompt in stile ART per un compito di ricerca:
CompitoFind the population of Canada and France, then calculate the difference. Passo 1: Ricerca[SEARCH] “Population of Canada 2025” → Result: 40.1 million Passo 2: Ricerca[SEARCH] “Population of France 2025” → Result: 68.2 million Passo 3: Calcolo[CALC] 68.2 - 40.1 → Result: 28.1 million RispostaFrance has approximately 28.1 million more people than Canada.
Anche se non implementerai mai ART direttamente, comprendere questa tecnica ti aiuta a scrivere prompt migliori. Il concetto chiave: scomporre le attività in passaggi e sapere quando usare strumenti esterni, è un principio che puoi applicare a qualsiasi interazione con l'IA oggi.
Quando usare ART
- Attività che richiedono più passaggi di ragionamento combinati con ricerche fattuali
- Flussi di lavoro in cui l'accuratezza conta e il modello deve verificare le informazioni esternamente
- Situazioni in cui serve un ragionamento strutturato e riproducibile che gli esseri umani possano verificare e correggere
- Costruzione di sistemi di agenti IA che devono decidere autonomamente quando richiamare strumenti
Approfondimenti
Per un approfondimento su ART e tecniche correlate, esplora queste risorse:
- Prompt Engineering Guide: ART (riferimento originale)
- Chain-of-Thought Prompting (tecnica fondamentale)
- ReAct: Reasoning + Acting (approccio correlato)