Revolut ha convertido GLM, un modelo de pesos abiertos de la empresa china Z.ai, en el asistente de programación predeterminado para unos 2.000 ingenieros. David Abitbol, responsable de operaciones e infraestructura de IA de la compañía, dijo que la fintech ahora reserva las herramientas de Anthropic y OpenAI para sus tareas más difíciles.

En el evento GTC de Nvidia en Berlín, Abitbol dijo que Revolut paga aproximadamente una décima parte del coste de modelos punteros comparables. La empresa ejecuta GLM en sus propios servidores, que dan servicio a los ingenieros con alrededor de 56 GPU de Nvidia. Situó el coste combinado en unos 30 centavos por millón de tokens, con una factura fija en lugar de una que aumente con cada solicitud.

Abitbol informó que el cambio redujo el tiempo de programación alrededor de un 60% y el tiempo transcurrido entre asignar una incidencia y desplegarla aproximadamente un 70%. También describió los pasos anteriores de Revolut: Gemini, de Google, incorporado en enero, mejoró el tiempo de entrega alrededor de un 10% y el tiempo de programación un 20%, según él. Más adelante, la empresa ofreció Claude Code con una asignación mensual de 300 dólares por ingeniero, pero Abitbol dijo que las mejoras de productividad fueron pequeñas porque la asignación no duraba todo el mes. El modelo alojado en sus propios servidores, incorporado este año, llegó con tokens ilimitados.

Al dejar de estar vinculados los costes de los tokens a las solicitudes individuales, los ingenieros también utilizaron el sistema para tareas relacionadas con la programación, como buscar en Confluence, gestionar incidencias de Jira y encontrar elementos en Slack. Abitbol dijo que esto puso de relieve cuánto trabajo del equipo consistía en tareas ajenas a escribir código.

El despliegue requirió ajustes. Abitbol dijo que, en junio, los tiempos de respuesta superaban los 10 segundos con cuatro solicitudes por segundo. Tras realizar ajustes y mantener el mismo número de GPU, el sistema gestionó más de ocho solicitudes por segundo con una latencia inferior a 1,8 segundos. Entre sus recomendaciones se incluían limitar la ventana de contexto a 256.000 tokens, utilizar FP4 de menor precisión en lugar de FP8 para ahorrar alrededor del 40% de la capacidad de GPU y supervisar las tasas de aciertos de caché en vez de añadir hardware cada vez que aumenta el tráfico.

Al abordar el uso de un modelo chino en una empresa financiera regulada, Abitbol dijo que Revolut utiliza únicamente los pesos del modelo y los aloja en su propia infraestructura o con un proveedor de la UE o EE. UU. Dijo que no se envían datos a un servicio chino. Los agentes se ejecutan en un entorno aislado seguro que permite algunos comandos y bloquea otros, con una persona supervisando el proceso. GLM solo trabaja con texto, así que Revolut deriva las tareas con imágenes a un modelo más barato, como Gemini Flash.

Fuentes: Xataka.