Revolut ha scelto GLM, un modello open-weights della cinese Z.ai, come assistente di programmazione predefinito per circa 2.000 ingegneri. David Abitbol, responsabile delle operazioni e dell’infrastruttura di IA dell’azienda, ha dichiarato che ora la fintech riserva gli strumenti di Anthropic e OpenAI ai compiti più difficili.

Intervenendo all’evento GTC di Nvidia a Berlino, Abitbol ha detto che Revolut paga all’incirca un decimo del costo di modelli frontier comparabili. L’azienda esegue GLM sui propri server, mettendolo a disposizione degli ingegneri tramite circa 56 GPU Nvidia. Ha quantificato il costo complessivo in circa 30 centesimi per milione di token, con una spesa fissa che non aumenta a ogni richiesta.

Abitbol ha riferito che il cambiamento ha ridotto i tempi di programmazione di circa il 60% e il tempo che intercorre tra l’assegnazione di un problema e la sua distribuzione di circa il 70%. Ha inoltre ripercorso i passaggi precedenti di Revolut: secondo lui, Gemini di Google, introdotto a gennaio, ha migliorato i tempi di consegna di circa il 10% e ridotto i tempi di programmazione del 20%. In seguito, l’azienda ha offerto Claude Code con un budget mensile di 300 dollari per ingegnere, ma Abitbol ha detto che i miglioramenti di produttività sono stati limitati perché il budget non bastava per l’intero mese. Il modello ospitato internamente, introdotto quest’anno, offriva invece token illimitati.

Poiché i costi dei token non erano più legati alle singole richieste, gli ingegneri hanno usato il sistema anche per attività correlate alla programmazione, tra cui cercare su Confluence, gestire problemi su Jira e trovare contenuti su Slack. Abitbol ha detto che ciò ha messo in luce quanto del carico di lavoro del team riguardasse attività diverse dalla scrittura di codice.

La distribuzione ha richiesto una fase di ottimizzazione. Abitbol ha detto che a giugno i tempi di risposta superavano i 10 secondi con quattro richieste al secondo. Dopo alcune modifiche, usando lo stesso numero di GPU, il sistema è riuscito a gestire più di otto richieste al secondo con una latenza inferiore a 1,8 secondi. Tra i suoi consigli figuravano limitare la finestra di contesto a 256.000 token, usare la precisione inferiore FP4 anziché FP8 per risparmiare circa il 40% della capacità GPU e monitorare i tassi di cache hit invece di aggiungere hardware ogni volta che il traffico aumenta.

Rispondendo alle domande sull’uso di un modello cinese in una società finanziaria regolamentata, Abitbol ha detto che Revolut utilizza soltanto i pesi del modello e li ospita sulla propria infrastruttura o presso un fornitore nell’UE o negli Stati Uniti. Ha affermato che nessun dato viene inviato a un servizio cinese. Gli agenti operano in una sandbox sicura che consente alcuni comandi e ne blocca altri, con una persona sempre coinvolta nel processo. GLM è un modello solo testuale, quindi Revolut indirizza le attività che richiedono immagini a un modello meno costoso, come Gemini Flash.

Fonti: Xataka.