A IBM concluiu o plano anunciado com a PyTorch Foundation em outubro de 2025 e passou a tratar o Spyre, seu acelerador de inferência de IA, como um backend de primeira classe do PyTorch. O conjunto inclui o torch-spyre, um plugin para o vLLM, melhorias no compilador e testes contínuos de compatibilidade.
O Spyre é um chip de arquitetura dataflow, que dispara o cálculo à medida que os dados chegam às unidades de processamento, diferente das GPUs convencionais. Ele foi projetado para empresas que rodam IA junto de aplicações e dados nos sistemas IBM Z, LinuxONE e Power. A ideia é que esses clientes baixem modelos de repositórios como o Hugging Face e usem praticamente o mesmo fluxo que usariam com GPUs NVIDIA.
Ao adotar o backend Inductor do PyTorch, a equipe reduziu o próprio compilador a cerca de um sétimo do tamanho do sistema anterior, o que facilita incorporar melhorias do projeto principal. Em uma demonstração com o modelo Granite 3.3 8B, otimizações no caminho de dados e de cálculo deixaram a etapa de prefill 1,7 vez mais rápida e a de decodificação 2,4 vezes mais rápida.
No vLLM, a comunidade trabalha em camadas independentes de hardware para manter a portabilidade dos modelos. O caminho foi validado no Spyre com Gemma 4, Qwen3 e Granite 4.2, e, em GPUs H100, essas camadas ficaram a 3,4% do desempenho da implementação nativa. Como o llm-d, sistema de inferência distribuída, se apoia no vLLM, o Spyre também passa a poder receber cargas agendadas por ele.
O trabalho envolveu IBM, Red Hat e outros membros da PyTorch Foundation, como Meta e Hugging Face, e inclui testes de ponta a ponta com modelos reais para detectar quando mudanças no PyTorch quebram o suporte ao hardware.
Fonte: IBM Research