Automatic Reasoning and Tool-use (ART)
Un marco que combina prompting de cadena de pensamiento con el uso de herramientas externas, permitiendo a los LLMs generar automáticamente pasos de razonamiento intermedios y llamar herramientas como un programa.
¿Qué es ART?
Combinar prompting de cadena de pensamiento (CoT) y el uso de herramientas ha demostrado ser un enfoque fuerte y robusto para abordar muchas tareas con LLMs. Estos enfoques típicamente requieren crear demostraciones específicas de la tarea a mano y intercalar cuidadosamente las generaciones del modelo con el uso de herramientas.
Automatic Reasoning and Tool-use (ART) propone un nuevo marco que usa un LLM congelado para generar automáticamente pasos de razonamiento intermedios como un programa. ART va más allá del prompting tradicional al permitir que el modelo decida cuándo y cómo usar herramientas externas durante su proceso de razonamiento.
ART fue introducido por Paranjape et al. (2023) y representa un paso importante hacia un razonamiento de IA más autónomo. Se basa en trabajos anteriores sobre prompting de cadena de pensamiento y modelos de lenguaje aumentados con herramientas.
Cómo funciona ART
ART sigue un proceso estructurado que combina selección de tareas, generación de programas e integración de herramientas:
Seleccionar ejemplos de una biblioteca de tareas
Dada una nueva tarea, ART selecciona demostraciones de razonamiento multi-paso y uso de herramientas de una biblioteca de tareas preconstruida. Estos ejemplos sirven como plantillas que muestran al modelo cómo descomponer problemas similares.
Ejecutar programa con un LLM congelado
En tiempo de prueba, el modelo genera un programa de razonamiento. Pausa la generación cada vez que se llaman herramientas externas (como motores de búsqueda, intérpretes de código o calculadoras), integra su resultado y luego reanuda la generación.
Corregir errores (Opcional)
ART es extensible. Los humanos pueden corregir errores en los pasos de razonamiento o agregar nuevas herramientas simplemente actualizando las bibliotecas de tareas y herramientas. Esto hace que la mejora continua sea sencilla.
Ventajas clave
- Generalización zero-shot: ART alienta al modelo a generalizar desde demostraciones para descomponer una nueva tarea y usar herramientas en los lugares apropiados, sin entrenamiento específico de la tarea.
- Extensibilidad humana: Cuando el modelo comete errores, los humanos pueden corregir los pasos de razonamiento o agregar nuevas herramientas a la biblioteca. Esto crea un ciclo de retroalimentación para mejora continua.
- Integración de herramientas: ART integra sin problemas llamadas a herramientas externas (búsqueda, ejecución de código, cálculos) en la cadena de razonamiento, produciendo resultados más precisos y fundamentados.
- LLM congelado: No se requiere fine-tuning. ART funciona con el modelo tal cual, lo que significa que puede aplicarse a cualquier LLM capaz sin reentrenamiento.
ART en la práctica
Aquí hay un ejemplo simplificado de cómo podría verse un prompt estilo ART para una tarea de investigación:
TareaEncontrar la población de Canadá y Francia, luego calcular la diferencia. Paso 1: Buscar[SEARCH] “Población de Canadá 2025” → Resultado: 40.1 millones Paso 2: Buscar[SEARCH] “Población de Francia 2025” → Resultado: 68.2 millones Paso 3: Calcular[CALC] 68.2 - 40.1 → Resultado: 28.1 millones RespuestaFrancia tiene aproximadamente 28.1 millones más de personas que Canadá.
Incluso si nunca implementas ART directamente, entender esta técnica te ayuda a escribir mejores prompts. La idea central: dividir tareas en pasos y saber cuándo usar herramientas externas, es un principio que puedes aplicar a cualquier interacción con IA hoy.
Cuándo usar ART
- Tareas que requieren múltiples pasos de razonamiento combinados con búsquedas factuales
- Flujos de trabajo donde la precisión importa y el modelo necesita verificar información externamente
- Situaciones donde necesitas razonamiento reproducible y estructurado que los humanos puedan auditar y corregir
- Construir sistemas de agentes de IA que necesiten decidir autónomamente cuándo llamar herramientas
Lectura adicional
Para profundizar en ART y técnicas relacionadas, explora estos recursos:
- Prompt Engineering Guide: ART (referencia original)
- Prompting de cadena de pensamiento (técnica fundamental)
- ReAct: Razonamiento + Acción (enfoque relacionado)