A pesar de tener sólo 3 mil millones de parámetros, Ferret-UI Lite iguala o supera el rendimiento de referencia de modelos hasta 24 veces más grandes. Aquí están los detalles.
Un poco de historia sobre Ferret
En diciembre de 2023, un equipo de 9 investigadores publicó un estudio llamado «FERRET: Referir y conectar a tierra cualquier cosa en cualquier lugar y con cualquier granularidad». En él, presentaron un gran modelo de lenguaje multimodal (MLLM) que era capaz de comprender referencias en lenguaje natural a partes específicas de una imagen:
Desde entonces, Apple ha publicado una serie de documentos de seguimiento que amplían la familia de modelos Ferret, incluidos Ferretv2, Ferret-UI y Ferret-UI 2.
Específicamente, Hurón-UI Las variantes ampliaron las capacidades originales de FERRET y fueron entrenadas para superar lo que los investigadores definieron como una falta de MLLM de dominio general.
Del artículo original de Ferret-UI:
Los avances recientes en grandes modelos de lenguaje multimodal (MLLM) han sido dignos de mención; sin embargo, estos MLLM de dominio general a menudo no alcanzan su capacidad para comprender e interactuar de manera efectiva con las pantallas de la interfaz de usuario (UI). En este artículo, presentamos Ferret-UI, un nuevo MLLM especialmente diseñado para mejorar la comprensión de las pantallas de UI móviles, equipado con capacidades de referencia, conexión a tierra y razonamiento. Debido a que las pantallas de interfaz de usuario generalmente muestran una relación de aspecto más alargada y contienen objetos de interés más pequeños (por ejemplo, íconos, textos) que las imágenes naturales, incorporamos «cualquier resolución» en la parte superior de Ferret para magnificar los detalles y aprovechar características visuales mejoradas.
Hace unos días, Apple amplió aún más la familia de modelos Ferret-UI, con un estudio llamado Ferret-UI Lite: Lessons from Building Small GUI Agents on a Device.
Ferret-UI se creó sobre un modelo de parámetros 13B, que se centró principalmente en comprender la interfaz de usuario móvil y las capturas de pantalla de resolución fija. Mientras tanto, Ferret-UI 2 amplió el sistema para admitir múltiples plataformas y una percepción de mayor resolución.
Por el contrario, Ferret-UI Lite es un modelo mucho más ligero, diseñado para ejecutarse en dispositivos, sin dejar de ser competitivo con agentes GUI mucho más grandes.
Hurón-UI Lite
Según los investigadores del nuevo artículo, «la mayoría de los métodos existentes de agentes GUI (…) se centran en modelos de base grandes». Esto se debe a que «las poderosas capacidades de razonamiento y planificación de los modelos grandes en el lado del servidor permiten que estos sistemas de agentes alcancen capacidades impresionantes en diversas tareas de navegación GUI».
Señalan que, si bien ha habido muchos avances en los sistemas GUI de múltiples agentes y de extremo a extremo, que adoptan diferentes enfoques para simplificar las muchas tareas que implican la interacción del agente con las GUI («terreno de GUI de bajo nivel, comprensión de la pantalla, planificación de múltiples etapas y autorreflexión»), son básicamente demasiado grandes y están hambrientos para funcionar bien en el medio.
Por lo tanto, comenzaron a desarrollar Ferret-UI Lite, una variante de Ferret-UI de 3 mil millones de parámetros, que «está construida con varios componentes clave, guiados por el conocimiento sobre el entrenamiento de modelos de lenguaje a pequeña escala».
Palanca Ferret-UI Lite:
- Datos de entrenamiento reales y sintéticos de múltiples dominios GUI;
- Técnicas de recorte y zoom sobre la marcha (o tiempo de inferencia) para comprender mejor segmentos específicos de la GUI;
- Técnicas de aprendizaje supervisado de sintonización y refuerzo.
El resultado es un modelo que se acerca mucho o incluso supera a los modelos de agentes GUI de la competencia que son hasta 24 veces su número de parámetros.
Si bien toda la arquitectura (que se detalla minuciosamente en el estudio) es interesante, las técnicas de recorte y zoom en tiempo real son particularmente dignas de mención.
El modelo hace una predicción inicial, emerge a su alrededor y luego vuelve a predecir en esa región recortada. Esto ayuda a que un modelo tan pequeño compense su capacidad limitada para procesar una gran cantidad de tokens de imágenes.
Otra contribución notable del artículo es cómo Ferret-UI Lite básicamente genera sus propios datos de entrenamiento. Los investigadores construyeron un sistema multiagente que interactúa directamente con plataformas GUI en vivo para producir ejemplos de entrenamiento sintéticos a escala.
Hay un generador de tareas curriculares que propone metas de dificultad creciente, un agente de planificación las descompone en pasos, un agente de base las ejecuta en pantalla y un modelo crítico evalúa los resultados.
Con este proceso, el sistema de capacitación captura la confusión de la interacción del mundo real (como errores, estados inesperados y estrategias de recuperación), algo que sería mucho más difícil de lograr si se dependiera de datos limpios y anotados por humanos.
Curiosamente, mientras Ferret-UI y Ferret-UI 2 utilizaron capturas de pantalla de iPhone y otras interfaces de Apple en sus evaluaciones, Ferret-UI Lite fue entrenado y evaluado en entornos GUI de Android, web y de escritorio, utilizando puntos de referencia como AndroidWorld y OSWorld.
Los investigadores no señalan explícitamente por qué eligieron esta ruta para Ferret-UI Lite, pero probablemente refleja dónde están disponibles hoy en día los bancos de pruebas de agentes GUI reproducibles y a gran escala.
Sea como fuere, los investigadores descubrieron que, si bien Ferret-UI Lite funcionó bien en tareas de bajo nivel y de horizonte corto, no funcionó tan bien en interacciones más complicadas y de varios pasos, una compensación que se esperaría en gran medida, dadas las limitaciones de un modelo pequeño en el dispositivo.
Por otro lado, Ferret-UI Lite ofrece un agente local y, por extensión, privado (ya que no es necesario que los datos vayan a la nube y se procesen en servidores remotos) que interactúa de forma autónoma con las interfaces de las aplicaciones en función de las solicitudes de los usuarios, lo cual, según todas las cuentas, es bastante bueno.
Para obtener más información sobre el estudio, incluidos análisis y resultados comparativos, siga este enlace.
Ofertas en accesorios en Amazon
FTC: utilizamos enlaces de afiliados automáticos que generan ingresos. Más.
