A Revolut tornou o GLM, um modelo de pesos abertos da chinesa Z.ai, o assistente de programação padrão para cerca de 2.000 engenheiros. David Abitbol, chefe de operações e infraestrutura de IA da empresa, disse que agora a fintech reserva as ferramentas da Anthropic e da OpenAI para seus trabalhos mais difíceis.

Falando no evento GTC da Nvidia, em Berlim, Abitbol disse que a Revolut paga cerca de um décimo do custo de modelos de fronteira comparáveis. A empresa executa o GLM em seus próprios servidores, atendendo aos engenheiros com cerca de 56 GPUs da Nvidia. Ele estimou o custo total em cerca de 30 centavos por milhão de tokens, com uma fatura fixa, em vez de uma que aumenta a cada solicitação.

Abitbol relatou que a mudança reduziu o tempo de programação em cerca de 60% e o tempo entre a atribuição de uma tarefa e sua implantação em aproximadamente 70%. Ele também descreveu as etapas anteriores da Revolut: o Gemini, do Google, introduzido em janeiro, melhorou o tempo de entrega em cerca de 10% e o tempo de programação em 20%, segundo ele. Mais tarde, a empresa disponibilizou o Claude Code com uma cota mensal de US$ 300 por engenheiro, mas Abitbol disse que os ganhos de produtividade foram pequenos porque a cota não durava o mês inteiro. O modelo hospedado pela própria empresa, introduzido este ano, veio com tokens ilimitados.

Como os custos dos tokens deixaram de estar vinculados a solicitações individuais, os engenheiros também usaram o sistema em tarefas relacionadas à programação, incluindo pesquisas no Confluence, tratamento de tarefas no Jira e localização de itens no Slack. Abitbol disse que isso destacou quanto do trabalho da equipe envolvia tarefas além de escrever código.

A implantação exigiu ajustes. Abitbol disse que, em junho, os tempos de resposta ultrapassavam 10 segundos com quatro solicitações por segundo. Após ajustes feitos com o mesmo número de GPUs, o sistema passou a processar mais de oito solicitações por segundo, com latência inferior a 1,8 segundo. Suas recomendações incluíram limitar a janela de contexto a 256.000 tokens, usar a FP4, de menor precisão, em vez da FP8 para economizar cerca de 40% da capacidade das GPUs, e monitorar as taxas de acerto do cache em vez de adicionar hardware sempre que o tráfego aumenta.

Ao abordar o uso de um modelo chinês em uma empresa financeira regulamentada, Abitbol disse que a Revolut usa apenas os pesos do modelo e o hospeda em sua própria infraestrutura ou com um provedor na UE ou nos EUA. Ele afirmou que nenhum dado é enviado a um serviço chinês. Os agentes são executados em uma área restrita segura que permite alguns comandos e bloqueia outros, mantendo uma pessoa no circuito. O GLM trabalha somente com texto, então a Revolut encaminha tarefas com imagens para um modelo mais barato, como o Gemini Flash.

Fontes: Xataka.