O Nubank detalhou como construiu o Alexandria, plataforma interna que hoje recebe mais de 1 trilhão de linhas de log por dia, o equivalente a cerca de 1 petabyte de dados brutos. O relato foi publicado no blog da AWS Brasil por engenheiros do banco e da Amazon.
A mudança veio do crescimento acelerado. Em 2021, o banco já processava cerca de 55 TB de logs por dia, volume que crescia quase 100% ao ano, e dependia de um fornecedor externo de logging. Segundo o artigo, mais de 40% dos logs se perdiam no caminho, os custos eram imprevisíveis e trocar de fornecedor exigiria reescrever integrações em milhares de microsserviços.
A nova arquitetura recebe os logs em pequenos lotes usando Amazon S3 e Amazon SQS sobre o Kubernetes gerenciado da AWS (EKS), com ferramentas abertas como Fluent Bit e Karpenter. Os dados são convertidos para o formato Apache Parquet, que comprime cerca de 95%, e consultados em SQL pelo motor Trino, a partir de uma interface montada no Grafana.
Em uso desde meados de 2024, a plataforma reduziu em 50% os custos com logs, suporta picos de 55 GB por segundo e mantém 45 PB pesquisáveis, com retenção de 45 dias. Os engenheiros fazem cerca de 14 mil buscas por dia, e a latência de ingestão fica abaixo de um minuto.
Os próximos passos incluem levar o Alexandria a novas regiões da AWS, com regras de retenção adaptadas a cada país, e usar IA na investigação de incidentes, cruzando logs, métricas e traces.
Fonte: Blog da AWS Brasil