Revolut hat GLM, ein Open-Weights-Modell des chinesischen Unternehmens Z.ai, zum Standard-Coding-Assistenten für rund 2.000 Ingenieure gemacht. David Abitbol, der bei dem Unternehmen für KI-Betrieb und Infrastruktur zuständig ist, sagte, das Fintech reserviere Tools von Anthropic und OpenAI nun für seine schwierigsten Aufgaben.

Bei der GTC-Veranstaltung von Nvidia in Berlin sagte Abitbol, Revolut zahle ungefähr ein Zehntel der Kosten vergleichbarer Spitzenmodelle. Das Unternehmen betreibt GLM auf eigenen Servern und stellt es den Ingenieuren mit rund 56 Nvidia-GPUs bereit. Die Gesamtkosten bezifferte er auf etwa 30 Cent pro Million Tokens – bei einer festen Rechnung, die nicht mit jeder Anfrage steigt.

Abitbol berichtete, dass die Umstellung die Coding-Zeit um rund 60 Prozent und die Zeit von der Zuweisung eines Vorgangs bis zu dessen Bereitstellung um etwa 70 Prozent verringert habe. Außerdem schilderte er Revoluts frühere Schritte: Google Gemini, das im Januar eingeführt wurde, habe die Auslieferungszeit um etwa 10 Prozent und die Coding-Zeit um 20 Prozent verbessert, so Abitbol. Später stellte das Unternehmen Claude Code mit einem monatlichen Kontingent von 300 US-Dollar pro Ingenieur bereit. Abitbol sagte jedoch, die Produktivitätssteigerungen seien gering gewesen, weil das Kontingent nicht den ganzen Monat ausgereicht habe. Das dieses Jahr eingeführte, selbst gehostete Modell kam mit unbegrenzten Tokens.

Da die Token-Kosten nicht mehr an einzelne Anfragen gekoppelt waren, nutzten die Ingenieure das System auch für Arbeiten rund ums Coding, darunter die Suche in Confluence, die Bearbeitung von Jira-Vorgängen und die Suche nach Einträgen in Slack. Laut Abitbol machte dies deutlich, wie viele Aufgaben des Teams über das Schreiben von Code hinausgingen.

Der Einsatz erforderte eine Feinabstimmung. Abitbol sagte, die Antwortzeiten hätten im Juni bei vier Anfragen pro Sekunde mehr als 10 Sekunden betragen. Nach Anpassungen mit derselben Anzahl an GPUs bewältigte das System mehr als acht Anfragen pro Sekunde bei einer Latenz von unter 1,8 Sekunden. Zu seinen Empfehlungen gehörten, das Kontextfenster auf 256.000 Tokens zu begrenzen, die niedrigere Präzision FP4 statt FP8 zu verwenden, um rund 40 Prozent GPU-Kapazität einzusparen, und die Cache-Trefferraten zu überwachen, statt bei steigendem Datenverkehr zusätzliche Hardware hinzuzufügen.

Zur Nutzung eines chinesischen Modells in einem regulierten Finanzunternehmen sagte Abitbol, Revolut verwende ausschließlich die Modellgewichte und hoste sie auf der eigenen Infrastruktur oder bei einem Anbieter in der EU oder den USA. Es würden keine Daten an einen chinesischen Dienst gesendet. Die Agenten laufen in einer sicheren Sandbox, die bestimmte Befehle zulässt und andere blockiert; ein Mensch bleibt dabei in den Prozess eingebunden. GLM kann nur Text verarbeiten, daher leitet Revolut Aufgaben mit Bildern an ein günstigeres Modell wie Gemini Flash weiter.

Quellen: Xataka.