La destilación de agentes LLM mejora al separar el origen del historial y del prefijo de acción

Hallazgos del estudio

Según arXiv · cs.AI, el trabajo introduce un marco jerárquico de destilación de agentes que formaliza dos niveles de on-policiness y permite controlar su emparejamiento, proporciones de mezcla y calendario de entrenamiento. En un estudio controlado de tres etapas con tres modelos y cuatro entornos interactivos, los historiales inducidos por el estudiante emparejados con prefijos de acción generados por el profesor proporcionan generalmente la señal de entrenamiento independiente más fuerte, mientras que seguir al estudiante en ambos niveles suele rendir peor. Los datos totalmente on-policy resultan beneficiosos al incorporarse en una mezcla con otras configuraciones.