Traceloop Today запустила свой инструмент наблюдения для приложений на основе LLM в общую доступность, а также объявил о раунде семян в размере 6,1 млн. Долл. сша во главе с Sorenson Capital и IBEX Investors.
Одна из проблем построения на вершине крупных языковых моделей (LLMS) заключается в том, что они вероятностны. Без правильного инструмента вы не всегда можете знать, будет ли что -то, что сегодня сработало, гарантированно сработает завтра.
Это проблема соучредителя Traceloop NIR Gazit (генеральный директор) и Гал Кляйнман (CTO), с которыми сталкиваются, когда они начали свои первые эксперименты с LLMS, когда они оба были в Fiverr, где Кляйнман был лидером группы ML, а NIR-главным архитектором (после того, как руководил командой инженеров ML в Google, работавшем на BERT). В то время как в Fiverr Gazit начал использовать Opentelemetry, популярный инструмент с открытым исходным кодом для сбора метрик, журналов и трассов для другого проекта, и начал задаваться вопросом, могут ли они расширить их, чтобы обеспечить также более высокую наблюдаемость для приложений LLM.
Результатом этого была OpenllMetry.
«Opentelemetry в основном вокруг трассировки, и когда вы смотрите на выполнение агента, она похожа на следы», — сказал Газит. «Это делает один шаг, а затем следующий шаг. Так что это та же концепция. И мы поняли: хорошо, мы можем просто взять OpenElemetry и расширить ее, чтобы поддержать генеративный ИИ. Почему бы и нет? Это было так тривиально для нас, но никто не делал этого. И поэтому мы начали работать над этими обертками для Openai, подключая их к Opentelemetry и выяснили, как заработать все это.
Газит сказал мне, что когда он и Кляйнман наткнулись на эту идею в сентябре 2023 года, он подумал, что это такая основная концепция, что он подтолкнул своего соучредителя, чтобы что-то выпустить как можно скорее, прежде чем кто-то еще сделал то же самое. Они выпустили первую версию OpenllMetry через месяц, с обязательным объявлением о хакерах новостей.
По своей сути, OpenllMetry представляет собой набор расширений на вершине OpenElemetry, чтобы сосредоточиться на приложениях LLM. Это означает инструментарий для услуг LLM, таких как OpenAI, Anpropic, Cohere, Ollama, Mistral, Huggingface, AWS Bedrock и Google Gemini, а также векторные базы данных, такие как Pinecone, Weaviate, Milvus и Lancedb, а также такие кадры, как Langchain, Crewai, Litellm и Haystack. Openllm. Теперь он также поддерживает протоколы, такие как протокол контекста модели Anpropic (MCP), протокол Google Agent2agent и, скоро, поддерживаемой Cisco Agntcy Framework.
В первые дни одна из самых сложных задач для команды состояла в том, чтобы поддерживать открытую обновления при поддержке последних моделей. Газит отметил, что Amazon, Google, IBM и другие быстро начали поддерживать проект.
Но работа с LLMS также достаточно отличается от работы с другими облачными ресурсами, что инженерная работа вышла далеко за рамки «просто», расширяя OpenElemetry. «Opentelemetry — это протокол общего наблюдения.
Как и во всех инструментах мониторинга, сбор огромных объемов данных — это одно; Получение действенного значения от этого — это другое. Команды должны знать, например, когда модель галлюцинирует или когда агент предпринял неправильное действие. Команда Traceloop быстро узнала это, работая со своими самыми ранними клиентами, и решила построить то, что она называет «слоем Insights» поверх OpenllMetry.
Неудивительно, что именно здесь TraceLoop проведет грань между проектом с открытым исходным кодом и его коммерческим предложением. Его корпоративная платформа построена на вершине проекта с открытым исходным кодом, но включает этот уровень Insights среди других предприятий.
«Если вы хотите понять, где ваша модель работает хорошо, а где нет, или если есть дрейф, вам нужно что -то еще [beyond the open source tool]которая является нашей платной платформой для анализа данных для вас и дать вам этот слой Insights », — сказал Газит.
Еще одна интересная особенность платформы Traceloop заключается в том, что командам облегчает экспериментирование с моделями. Возможно, компания хочет переключиться с O3 Openai на Claud Sonnet от Anpropic 4. Что касается технической стороны, это просто другой вызов API (и большинство компаний теперь архитежируют свои системы для этого), но все подсказки должны быть настроены, и результаты будут выглядеть иначе. Благодаря новой платформе Traceloop предоставляет этим пользователям метрики для оценки того, как работают их системы с новыми моделями.
Целевой аудиторией для TraceLoop являются корпоративные компании, которые создают с генеративными продуктами искусственного интеллекта, в большей части, в приложениях, ориентированных на клиента, которые генерируют много данных.
«Если вы маленький стартап, создающий приложение Genai, вы заботитесь о качестве, но на самом деле не заботитесь о качестве. Вы заботитесь о подходящей продукции»,-сказал Газит. «Но если вы большие, есть огромная стоимость на строительство того, что дерьмовое, потому что тогда ваши клиенты не будут использовать вас и не будут использовать продукт».
До сих пор большинство пользователей Traceloop пришли из продукта с открытым исходным кодом. Учитывая, что OpenllMetry основана на OpenElemetry, которая является проектом CNCF, может быть, неудивительно, что Gazit от Traceloop отметил, что он хотел бы сходиться два проекта и, возможно, слиться в ближайшем будущем.
На данный момент компания рассчитывает на то, чтобы привлечь больше клиентов предприятия на свою платформу, которая также является одной из причин, по которой она подняла этот раунд семян в 6,1 миллиона долларов. Помимо ведущих инвесторов, Y-Combinator, Samsung Next и Grand Ventures также приняли участие в этом раунде.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Прежде чем присоединиться к новому стеку в качестве старшего редактора для ИИ, Фредерик был редактором предприятия в TechCrunch, где он освещал все, от роста облака и самых ранних дней Kubernetes до появления квантовых вычислений …. Подробнее от Frederic Lardinois
