Foto: panumas nikhomkhai / Pexels
Kog GPU inference: 30x mais rápido em GPUs que você já tem
Startup francesa Kog promete 30x mais inferência em GPUs padrão como H200 e MI300X. Conheça a tecnologia, limitações e roadmap para agentic AI.
Kog GPU inference: a startup que quer extrair 30x mais das suas GPUs
A Kog é uma startup francesa nascida da convicção de que o hardware de inferência já instalado nos datacenters está subaproveitado. O fundador, Gaël Delalleau, traz bagagem de física do estado sólido na École Polytechnique e experiência em segurança ofensiva antes de apostar que o gargalo não era silício, mas software. O motor proprietário KIE (Kog Inference Engine) promete inferência de LLM “30x mais rápida” sem trocar uma única GPU — basta instalar a camada de otimização por cima do stack existente.
A tese central desafia o consenso de que GPUs são mal adaptadas a workflows agentic. Delalleau argumenta que as GPUs modernas já possuem largura de banda de memória suficiente; o que falta é um runtime que a destrave. O kog gpu inference ataca exatamente esse ponto: recompilação de kernels, gestão de memória unificada e escalonamento de operações que eliminam ociosidade de SMs. Em testes internos, a empresa relata que modelos de 70B parâmetros saltam de 2–3 tokens/segundo para 60–90 tokens/segundo em H100 padrão, sem quantização agressiva.
Por que agora? Custo e latência de inferência viraram o freio de mão da IA generativa em produção. O IPO da Cerebras, previsto para 2026, sinaliza apetite de mercado por hardware dedicado, mas a Kog aposta no oposto: velocidade no iron que as empresas já compraram e depreciam. A Anthropic já cobra prémio pelo Claude Fast Mode, provando que tokens/segundo têm valor direto. Para equipas que rodam agentes autónomos, RAG de alta frequência ou fine-tuning contínuo, o kog gpu inference transforma capex ocioso em throughput imediato — sem RFP, sem provisionamento, sem surpresa na fatura da cloud.
3.000 tokens por segundo: o preview que virou manchete na Hacker News
Em maio de 2026 a Kog soltou um tech preview que explodiu na primeira página da Hacker News: o motor KIE a debitar cerca de 3.000 tokens por segundo GPU num único request, correndo em AMD MI300X e Nvidia H200 de prateleira. O demo não foi só teatro — o CEO confirma cerca de 200 leads comerciais nas semanas seguintes. O perfil surpreendeu: engenheiros de software que hoje esperam horas pelo output do Claude Code e veem na latência reduzida a diferença entre iterar dez vezes por dia ou uma.
Parceiros de design já estão a gerar jogos e apps completos a partir de prompts; para eles, cada segundo poupado traduz-se em receita direta. O feedback forçou uma guinada estratégica: ninguém quer afinar modelos pequenos, querem modelos grandes a correr depressa. Por isso o roadmap aponta para setembro de 2026 — primeiro modelo grande a 10× a velocidade actual — antes da Série A, com suporte de Scaleway, Bpifrance e French Tech 2030. O momentum é real: a promessa de 3.000 tokens por segundo GPU deixou de ser benchmark de laboratório para virar métrica de fecho de negócio.
Kog vs Cerebras vs ZML: por que a aposta em software muda o jogo
A Kog vs Cerebras inferência ilustra duas filosofias opostas: a Cerebras, após captar 5,5 mil milhões no IPO previsto para 2026, vende chips dedicados que exigem novo capex; a Kog aposta em software que desbloqueia as GPUs já instaladas, transformando hardware commodity em motor de inferência sem compra de silício especializado. A ZML, também francesa, oferece camada agnóstica que contorna o CUDA para escalar throughput distribuído; a Kog aproxima-se mais do laboratório Hazy Research (Stanford), com foco cirúrgico na aceleração profunda de GPU única. Na prática, a ZML optimiza para muitos pedidos em paralelo, enquanto a Kog ataca a latência extrema de um único request — o gargalo real de agentes que ficam bloqueados à espera de respostas. Para agentic AI, essa latência de request único pesa mais que batch throughput, e é aí que a Kog vs Cerebras inferência se torna game-changer. O posicionamento reforça ainda a soberania europeia: a Kog constrói capacidade de inferência no continente com apoio institucional francês, sem depender de hardware proprietário norte-americano.
Como a Kog extrai mais inferência das GPUs (e o que você precisa saber)
A abordagem da Kog não é otimização clássica de software: é engenharia reversa de nível baixo. A equipa estuda as leis físicas de cada GPU até ao assembly e ao código binário para usar o hardware para fins para os quais nunca foi projetado — mentalidade herdada da segurança ofensiva (Delalleau é quatro vezes finalista do CTF da DEFCON). Esse trabalho permite que como a Kog acelera inferência em GPU ao contornar camadas de abstração que travam o throughput.
O pré-requisito imediato são GPUs de datacenter que muitas empresas já possuem: AMD MI300X e Nvidia H200. O preview não roda em GPUs de laptop, o que decepcionou parte da comunidade. No demo público usaram o Laneformer 2B, modelo de cerca de 2 mil milhões de parâmetros agora open source no Hugging Face (kogai/laneformer-2b-it).
O custo real da abordagem aparece no calendário: para cada novo chip a equipa — atualmente com cerca de onze pessoas — dedica semanas ou meses de pesquisa de engenharia de hardware, o que limita a cobertura de modelos no curto prazo. O plano de longo prazo é transformar essa metodologia em pipelines baseados em agentes que suportem mais chips e arquiteturas automaticamente, reduzindo o esforço manual por plataforma. Enquanto isso, como a Kog acelera inferência em GPU continua a depender de especialistas a “desmontar” cada silício peça a peça.
A promessa de 30x é real? As limitações que a Kog ainda precisa provar
A promessa de 30x assenta num resultado medido num modelo de 2 B de parâmetros; nas centenas de bilhões que as empresas realmente usam, as limitações da Kog inferência ainda não têm prova pública. A equipa de 11 pessoas otimiza cada GPU artesanalmente — um processo que não escala sem automação, e os agentes prometidos continuam no papel. O pivô para modelos grandes veio porque clientes recusam fine-tunar modelos pequenos; resolver isso é tecnicamente mais arriscado e sem garantia de entrega no prazo. Marco verificável: se em setembro de 2026 a Kog mostrar 10x num modelo grande, a tese ganha peso; até lá, o demo impressiona, mas o escopo real fica restrito. Para quem avalia adotar hoje, o caso mais maduro é engenharia de software e geração de apps, onde latência alta já custa receita direta e as limitações da Kog inferência pesam menos que o ganho imediato de velocidade.
FAQ: Kog funciona em GPUs de laptop? O modelo é open source? Vale para agentes?
As perguntas mais frequentes nos fóruns técnicos têm respostas diretas. O preview atual roda apenas em GPUs de datacenter — MI300X e H200 — deixando GPUs de laptop de fora sem promessa de suporte a curto prazo. O modelo do demo, Laneformer 2B, está open source no Hugging Face, mas o motor de inferência KIE permanece proprietário. Para agentes de IA, a tese central é cortar a latência de request único, o cenário onde ferramentas como Claude Code passam horas à espera; se validado em LLMs grandes, pode mudar o jogo. As dúvidas giram assim em torno de hardware compatível, abertura do código e impacto real em fluxos agenticos.
Perguntas Frequentes
A Kog funciona em GPUs de laptop?
Não. O tech preview foi validado em GPUs de datacenter padrão, como AMD MI300X e Nvidia H200. GPUs de laptop ficaram de fora e a empresa não promete suportá-las no curto prazo.
O que a Kog tornou open source?
O modelo usado no demo, o Laneformer 2B (cerca de 2 bilhões de parâmetros), está disponível no Hugging Face em kogai/laneformer-2b-it. O motor de inferência KIE, porém, é proprietário.
A Kog é melhor que chips dedicados como os da Cerebras?
São abordagens opostas: a Cerebras constrói hardware dedicado à inferência, enquanto a Kog otimiza GPUs convencionais por software, sem novo capex. Se validado em LLMs grandes, o modelo da Kog é mais barato de adotar — mas ainda não foi provado nessa escala.