Спустя всего несколько недель после того, как производитель Chip Tenstorrent собрал почти 700 миллионов долларов, разработчики теперь могут попробовать AI Accelerators Tenstorrent AI на Koyeb. Tenstorrent продает процессоры ИИ, построенные вокруг архитектуры набора инструкций RISC-V, и разработала свою собственную библиотеку нейронной сети с открытым исходным кодом, TT-NN и модель программирования с открытым исходным кодом, TT-Metalium.
Тенсторрент является частью группы компаний, пытающихся создать альтернативы NVIDIA GPU и библиотеку CUDA компании. Он конкурирует с Axelera, травлением, Groq и другими.
Koyeb был основан бывшими руководителями Scaleway и фокусируется на разработке облачной платформы без серверов для разработчиков, которые ищут уровень абстракции на уровне облачной инфраструктуры. Это конкурирует с такими, как Fly.io, Railway и рендеринг.
Koyeb позволяет разработчикам развертывать приложения на нескольких виртуальных машинах, используя интерфейс командной строки или GIT push после интеграции с репозиторием кода. Он поддерживает контейнеры Docker и множество популярных языков.
Одна из основных функций Koyeb заключается в том, что он может автоматически масштабировать приложение до сотен серверов, если это необходимо, и когда трафик меньше, он может автоматически уменьшить инфраструктуру сервера.
В последние месяцы Koyeb сосредоточился специально на приложениях ИИ. Из-за без сервера характера своей платформы он может предлагать опыт работы с низкой задержкой для рабочих нагрузок искусственного интеллекта.
На фронте аппаратного обеспечения Koyeb развернул доски PCIe Tenstorrent в своих центрах обработки данных. Разработчики могут получить доступ к низкоуровневому TT-Metalium SDK Tenstorrent, чтобы написать программы хоста и ядра.
Разработчики найдут два новых типа экземпляров в документации Koyeb и панелях администраторов:
- Экземпляр TT-N300S имеет 24 ГБ памяти GDDR6, 192 МБ SRAM, и обеспечивает до 466 FP8 TFLOPS. Он в паре с 64 ГБ оперативной памяти и 4 VCPU.
- Экземпляр TT-Loudbox имеет четыре N300. Разработчики получают 96 ГБ GDDR6, 768 МБ SRAM и до 1864 FP8 TFLOPS. Он имеет 256 ГБ оперативной памяти и 16 VCPU.
С этим выпуском Койеб пытается позиционировать себя как аппаратную облачную платформу. «Это напоминает нам о дебюте ARM на рынке серверов с высокопроизводительными чипами»,-сказал TechCrunch соучредитель и генеральный директор Koyeb Янн Легер.
«С тех пор, как мы представили ARM на рынке с Scaleway в дни, предлагая полностью индивидуальные серверы в 2013-2014 годах, у нас есть опыт развертывания различных архитектур и эксплуатации разнообразного оборудования»,-добавил он.
Что касается Tenstorrent, то производитель чипов AI ищет партнеров для создания экосистемы разработчика вокруг своей модели программирования с открытым исходным кодом. Потребуется деревня, чтобы предложить альтернативу стеку ИИ от NVIDIA.
