Los 'modelos transformer', desarrollados en su momento por la división de investigación de Google, han sido la arquitectura clave en el ámbito de la inteligencia artificial en los últimos años en múltiples campos, desde la generación de texto (todos los chatbots actuales se basan en ellos) hasta el análisis de imágenes.

Sin embargo, su desempeño se ve limitado cuando se trata de dirigir contextos de larga duración.