Revolut a fait de GLM, un modèle à poids ouverts de la société chinoise Z.ai, l’assistant de programmation par défaut d’environ 2 000 ingénieurs. David Abitbol, responsable des opérations et de l’infrastructure d’IA de l’entreprise, a déclaré que la fintech réserve désormais les outils d’Anthropic et d’OpenAI à ses tâches les plus difficiles.

Lors de l’événement GTC de Nvidia à Berlin, Abitbol a déclaré que Revolut paie environ un dixième du coût de modèles frontières comparables. L’entreprise exécute GLM sur ses propres serveurs et le met à la disposition des ingénieurs au moyen d’environ 56 GPU Nvidia. Il a évalué le coût total à environ 30 cents par million de jetons, avec une facture fixe qui n’augmente pas à chaque requête.

Abitbol a indiqué que ce changement avait réduit le temps de programmation d’environ 60 % et le délai entre l’attribution d’un problème et son déploiement d’environ 70 %. Il a également détaillé les étapes précédentes de Revolut : Gemini de Google, introduit en janvier, a amélioré le délai de livraison d’environ 10 % et réduit le temps de programmation de 20 %, selon lui. L’entreprise a ensuite proposé Claude Code avec une enveloppe mensuelle de 300 $ par ingénieur, mais Abitbol a déclaré que les gains de productivité étaient faibles, car l’enveloppe ne couvrait pas le mois entier. Le modèle hébergé en interne, introduit cette année, était assorti d’un nombre illimité de jetons.

Comme le coût des jetons n’était plus lié à chaque requête, les ingénieurs ont également utilisé le système pour des tâches connexes à la programmation, notamment la recherche dans Confluence, le traitement de tickets Jira et la recherche d’éléments dans Slack. Abitbol a déclaré que cela mettait en évidence la part importante de la charge de travail de l’équipe consacrée à des tâches autres que l’écriture de code.

Le déploiement a nécessité des réglages. Abitbol a déclaré qu’en juin, les temps de réponse dépassaient 10 secondes à quatre requêtes par seconde. Après des ajustements effectués avec le même nombre de GPU, le système a traité plus de huit requêtes par seconde avec une latence inférieure à 1,8 seconde. Parmi ses recommandations figuraient la limitation de la fenêtre de contexte à 256 000 jetons, l’utilisation du format FP4, de précision inférieure, plutôt que du FP8 afin d’économiser environ 40 % de la capacité GPU, ainsi que la surveillance du taux de réussite du cache plutôt que l’ajout de matériel à chaque hausse du trafic.

Interrogé sur l’utilisation d’un modèle chinois au sein d’une entreprise financière réglementée, Abitbol a déclaré que Revolut n’utilisait que les poids du modèle et les hébergeait sur sa propre infrastructure ou auprès d’un fournisseur dans l’UE ou aux États-Unis. Il a affirmé qu’aucune donnée n’était envoyée à un service chinois. Les agents fonctionnent dans un bac à sable sécurisé qui autorise certaines commandes et en bloque d’autres, sous la supervision d’une personne. GLM étant uniquement textuel, Revolut redirige les tâches impliquant des images vers un modèle moins coûteux, tel que Gemini Flash.

Sources: Xataka.