Infraestrutura de IA

O que você vai aprender

1. Aula 1. Inferência por API ou modelo local

   35 min

   A primeira decisão de infraestrutura: alugar inteligência por token (API) ou por hora (máquina própria com modelo aberto). Os cinco critérios, a conta de custo com preços conferidos hoje, e por que a resposta certa costuma ser uma combinação.

   • Explicar a diferença entre inferência por API (paga por token) e modelo local (paga por hora de máquina ou pelo próprio computador).
   • Avaliar os cinco critérios de decisão: custo, privacidade, latência, qualidade e operação.
   • Fazer a conta de custo mensal para um volume estimado usando preços datados da fonte oficial.
   • Montar uma combinação: API para a maioria dos usos, local onde privacidade ou volume justificam, degrau gratuito como última rede.

   Aula completa, exemplos e exercícios dentro da plataforma

2. Aula 2. APIs de provedores e cascata com fallback e timeout

   40 min

   Como falar com um provedor de IA sem depender dele: anatomia de uma chamada, o formato compatível com OpenAI como língua comum, tempo limite por tentativa, cascata de provedores com regra de descida, e o registro de cada tentativa.

   • Descrever a anatomia de uma chamada de chat a um provedor (modelo, mensagens, limite de tokens, temperatura) e o formato compatível com OpenAI.
   • Implementar tempo limite por tentativa com AbortController e tratar cada classe de erro.
   • Montar uma cascata de provedores com regra explícita de quais erros descem de degrau e quais não.
   • Usar roteamento com fallback oferecido por intermediários (OpenRouter, AI Gateway) sabendo o que eles fazem e o que não fazem.

   Aula completa, exemplos e exercícios dentro da plataforma

3. Aula 3. Modelos locais: Ollama, vLLM e GPU

   40 min

   Rodar um modelo aberto na sua máquina com o Ollama em minutos, entender quando o vLLM faz sentido (muitas pessoas ao mesmo tempo), e o que de fato importa numa GPU: memória primeiro, custo por hora depois. Versões e preços conferidos hoje.

   • Instalar e rodar um modelo aberto com o Ollama e chamá-lo pela API local compatível com OpenAI.
   • Escolher o tamanho do modelo pela memória disponível, usando tamanhos reais de download como referência.
   • Explicar o que o vLLM faz de diferente (PagedAttention, continuous batching) e quando ele substitui o Ollama.
   • Ler uma tabela de GPU pelos dois números que importam: memória e custo por hora, e estimar o custo mensal.

   Aula completa, exemplos e exercícios dentro da plataforma

4. Aula 4. Observabilidade e otimização de custos

   40 min

   Não se otimiza o que não se mede: registro de cada chamada (tokens, latência, erro, custo estimado), os indicadores que importam e os alertas. Depois, as alavancas de custo com números oficiais: cache de prompt, modelo menor para tarefa simples, lote para o que não é urgente e limites por usuária.

   • Definir o registro de cada chamada ao modelo: campos obrigatórios, o que nunca entra no log, índices para consulta.
   • Escolher os indicadores de operação (latência p95, taxa de erro, taxa de fallback, tokens por chamada, custo por usuária) e definir alertas com limiar.
   • Aplicar o cache de prompt corretamente (prefixo estável, mínimo de tokens, multiplicadores de preço) e medir o acerto.
   • Reduzir custo com modelo menor para tarefa simples, lote para o que não é urgente e limites por usuária, com estimativa antes e depois.

   Aula completa, exemplos e exercícios dentro da plataforma

Termos que você vai dominar

• Inferência
• Token
• Modelo aberto (open weights)
• Modelo local
• Custo por hora
• Degrau sem chave
• Cascata (fallback chain)
• Tempo limite (timeout)
• AbortController
• Formato compatível com OpenAI
• Chave de API
• Intermediário de roteamento
• Ollama
• vLLM
• Parâmetros (b)
• Quantização
• VRAM
• PagedAttention
• Continuous batching
• Observabilidade
• Latência p95
• Taxa de fallback
• Cache de prompt (prompt caching)
• Prefixo
• Lote (Batch API)
• Custo estimado