ИИ и крупные языковые модели (LLMS), которые имеют их, имеют кучу полезных приложений, но, несмотря на все их обещание, они не очень надежны.
Никто не знает, когда эта проблема будет решена, поэтому имеет смысл, что мы видим, как стартапы находят возможность помочь предприятиям убедиться, что приложения LLM-мощности, за которые они платят, за работу в соответствии с задумами
Dub copy trading
Лондонский стартап Composo считает, что у него есть старта, пытаясь решить эту проблему благодаря своим пользовательским моделям, которые могут помочь предприятиям оценить точность и качество приложений, которые работают на LLMS.
Компания, аналогичная агенту, Freeplay, Humanloop и Langsmith, которая, как утверждает, предлагает более надежную альтернативу на основе LLM для тестирования человека, контрольных списков и существующих инструментов наблюдения. Но Composo утверждает, что это отличается, потому что он предлагает как вариант без кода, так и API. Это примечательно, потому что это расширяет объем своего потенциального рынка — вам не нужно быть разработчиком, чтобы использовать его, и эксперты и руководители домена могут оценивать приложения ИИ на предмет несоответствий, качества и точности.
На практике Composo объединяет модель вознаграждения, обученную на выводе, которые человек предпочел бы видеть из приложения ИИ с определенным набором критур, специфичных для этого приложения для создания системы, которая по существу оценивает выходы из приложения против этих критериев. Например, чат -бот с медицинской сортировкой может иметь свои клиентские настраиваемые руководящие принципы для проверки симптомов красного флага, и Composo может оценить, насколько последовательно это приложение.
Компания недавно запустила публичный API для Composo Align, модель для оценки приложений LLM по любым критериям.
Похоже, что стратегия компании приносит свои плоды: в числе её клиентов значатся такие гиганты, как Accenture, Palantir и McKinsey. Кроме того, недавно она привлекла $2 миллиона в рамках предварительного раунда финансирования. Хотя эта сумма может показаться скромной по меркам современного венчурного рынка, её стоит отметить, ведь стартапы в этой сфере обычно не испытывают недостатка в инвестициях.
Однако, как поясняет соучредитель и генеральный директор Composo Себастьян Фокс, относительно небольшая сумма объясняется тем, что их бизнес-модель не требует значительных капиталовложений.
«По крайней мере, в течение следующих трех лет мы не предвидим, что выращиваем сотни миллионов, потому что есть много людей, строящих модели фонда и делают это очень эффективно, и это не наш USP», — сказал Фокс, бывший консультант McKinsey. «Вместо этого, каждое утро, если я просыпаюсь и увижу новостную статью, которую Openai сделал огромным авансом в своих моделях, это хорошо для моего бизнеса».
Благодаря Fresh Cash, Composo планирует расширить свою инженерную команду (возглавляемая соучредителем и техническим директором Люком Маркхэмом, бывшим инженером по машинному обучению в GraphCore), приобретает больше клиентов и поддерживает свои усилия по исследованиям и разработкам. «Основное внимание в этом году — гораздо больше на масштабирование технологии, которые у нас сейчас есть в этих компаниях», — сказал Фокс.
Британский фонд British AI Pre-Seed Twin Path Ventures возглавлял Seed Round, который также увидел участие JVH Ventures и Ewor (последний поддержал стартап в рамках своей программы ускорителя). «Composo обращается к критическому узкому месту в принятии AI Enterprise», — заявил в своем заявлении представитель Twin Path.
По словам Фокса, это узкое место является большой проблемой для общего движения ИИ, особенно в сегменте предприятия. «Люди переживают ажиотаж и теперь думают:« Ну, на самом деле, действительно ли это что -то меняет в моем бизнесе в его нынешнем виде? Потому что это недостаточно надежно, и это не достаточно последовательно. И даже если это так, вы не можете доказать мне, сколько это стоит », — сказал он.Это узкое место может сделать композицию более ценным для компаний, которые хотят реализовать ИИ, но могут понести репутационный риск от этого. Фокс говорит, что именно поэтому его компания решила быть агностическим, но все еще имеет резонанс в соответствии с требованиями, юридическими, здравоохранением и безопасности.
Что касается своего конкурентного рва, Фокс считает, что исследования и разработки, необходимые для того, чтобы добраться сюда, не тривиально. «Существует как архитектура модели, так и данные, которые мы использовали для ее обучения», — сказал он, объяснив, что Composo Align был обучен «большому набору данных экспертных оценок».
Все еще есть вопрос о том, что могли бы сделать технические гиганты, если бы они просто постучали на свои огромные военные сундуки, чтобы войти в эту проблему, но Composo считает, что у него есть преимущество первого двигателя. «Другой [thing] Это данные, которые мы начисляем со временем », — сказал Фокс, ссылаясь на то, как Composo создал предпочтения оценки.
Поскольку он оценивает приложения по гибкому набору критериев, Composo также считает себя лучше подходящим для роста агентского ИИ, чем конкурентов, которые используют более ограниченный подход. «На мой взгляд, мы определенно не на стадии, где агенты работают хорошо, и это на самом деле то, что мы пытаемся помочь решить», — сказал Фокс.
