O revisor de código com IA usado internamente pela Cloudflare custava em média US$ 1,19 por revisão em abril. No fim de agosto, o valor tinha subido para cerca de US$ 2,46 — sem nenhuma mudança grande de arquitetura.
Em meados de setembro, a equipe colocou os próprios agentes para descobrir para onde iam os tokens. O resultado: a revisão média, no nível de esforço alto, passou a custar US$ 0,77, uma queda de 68%. E a revisão mediana caiu de 4min09s para 1min32s.
De onde veio a economia
- Cerca de 40% veio de mudanças e otimizações no código do próprio revisor.
- O restante veio de testar quais modelos usar em cada etapa e quanto esforço pedir a cada um.
- Entre as técnicas citadas estão cache de prompt e roteamento inteligente de modelos.
Lição para quem usa LLM em produção
O custo por execução tende a subir sozinho conforme o sistema cresce. Medir tokens por etapa e escolher o modelo certo para cada tarefa costuma render mais do que trocar de fornecedor.
Fonte: Cutting our inference bill by 68% by being obsessive about optimization — Cloudflare. Resumo e tradução livre da redação do Lotm Kernel; leia o anúncio original para todos os detalhes.