Apenas algumas semanas após a fabricante de chips Tenstorrent levantar quase US$ 700 milhões em financiamento, os desenvolvedores agora podem experimentar os aceleradores de IA da Tenstorrent na Koyeb. A Tenstorrent vende processadores de IA baseados na arquitetura de conjunto de instruções RISC-V e desenvolveu sua própria biblioteca de rede neural de código aberto, TT-NN, e um modelo de programação de baixo nível de código aberto, TT-Metalium.
A Tenstorrent faz parte de um grupo de empresas que tentam construir alternativas às GPUs da Nvidia e à biblioteca CUDA da empresa. Ela compete com Axelera, Etched, Groq e outros.
A Koyeb foi fundada por ex-executivos da Scaleway e se concentra no desenvolvimento de uma plataforma de nuvem serverless para desenvolvedores que buscam uma camada de abstração no nível da infraestrutura de nuvem. Ela compete com empresas como Fly.io, Railway e Render.
A Koyeb permite que os desenvolvedores implantem aplicativos em várias máquinas virtuais usando uma interface de linha de comando ou um git push após a integração com o repositório de código. Ela suporta contêineres Docker e muitas linguagens populares.
Uma das principais características da Koyeb é que ela pode escalar automaticamente um aplicativo para centenas de servidores, se necessário, e quando há menos tráfego, pode escalar automaticamente a infraestrutura do servidor.
Nos últimos meses, a Koyeb tem se concentrado especificamente em aplicativos de IA. Devido à natureza serverless de sua plataforma, ela pode oferecer uma experiência de baixa latência para cargas de trabalho de IA.
No lado do hardware, a Koyeb implantou placas PCIe da Tenstorrent em seus data centers. Os desenvolvedores podem acessar o SDK TT-Metalium de baixo nível da Tenstorrent para escrever programas de host e kernel.
Os desenvolvedores encontrarão dois novos tipos de instâncias na documentação e nos painéis de administração da Koyeb:
A instância TT-N300S possui 24GB de memória GDDR6, 192MB de SRAM e fornece até 466 FP8 TFLOPS. Ela é emparelhada com 64GB de RAM e 4 vCPUs.
A instância TT-Loudbox possui quatro N300S. Os desenvolvedores obtêm 96GB de GDDR6, 768MB de SRAM e até 1.864 FP8 TFLOPS. Ela apresenta 256GB de RAM e 16 vCPUs.
Com este lançamento, a Koyeb está tentando se posicionar como uma plataforma de nuvem agnóstica em relação ao hardware. “Isso nos lembra da estreia da ARM no mercado de servidores com chips de alto desempenho”, disse Yann Leger, cofundador e CEO da Koyeb, ao TechCrunch.
“Desde que introduzimos a ARM no mercado com a Scaleway nos velhos tempos, oferecendo servidores totalmente personalizados em 2013-2014, temos a experiência de implantar várias arquiteturas e operar diversos hardwares”, acrescentou.
Quanto à Tenstorrent, a fabricante de chips de IA está buscando parceiros para construir um ecossistema de desenvolvedores em torno de seu modelo de programação de código aberto. Será necessário um esforço coletivo para oferecer uma alternativa ao stack de IA da Nvidia.