Наблюдение и мониторинг являются наиболее цитируемой проблемой при перемещении моделей ML в производство. Институт этического AI и машинного обучения провел опрос по состоянию производства ML в четвертом квартале 2024 года. Другое ключевое вынос заключается в том, что настраиваемые инструменты доминируют в дорожных картах пользователей, поскольку немногие инструменты поставщиков приобрели значительную тягу.
В целом, 44% из 170 опрошенных практикующих были инженеры по машинному обучению с таким же количеством, что идентифицировало ученый для данных или инженер MLOPS. Многие из респондентов являются подписчиками в информационном бюллетене Alejandro Saucedo The ML Engineer.
Только 7% говорят, что безопасность ML является одной из трех лучших проблем, и только 17% говорят то же самое о рисках управления и домена. Этот вывод значительно отличается от того, что мы видели в других исследованиях, где безопасность и управление ИИ называются одними из самых больших препятствий на пути к увеличению усыновления. Мы считаем, что практикующие считают безопасность ML, относящуюся только к способности взломать модель, в то время как другие лица, принимающие решения, больше беспокоятся о общем доступе к корпоративным и личным данным.
Кажется, что каждое предприятие, по крайней мере, экспериментирует с генеративными агентами ИИ и ИИ, которые полагаются на крупные языковые модели (LLMS). В то же время, принятие прогнозной аналитики и компьютерного зрения продолжает расти. По мере того, как эти приложения увеличиваются, разработчикам требуются инженеры данных, SRES и другие, чтобы справиться с проблемами 1 и 2 дня. Рассматривая вызов, MLOPS стал настоящей дисциплиной, за которой следуют LLMOPS и Genaiops.
Независимо от используемой терминологии, наблюдение и мониторинг LLM — это то, что необходимо решить.
Пользовательские инструменты по сравнению с поставщиками
Опрос спросил о девяти различных частях. Технологический стек, необходимый для использования ИИ и машинного обучения. Вот некоторые примечательные выводы:
- Управляемая модель или служба API LLM используется 65% использования опроса. Среди тех, кто использует этот тип обслуживания, OpenAI (38%), Azureai (20%) и Amazon Bedrock (12%) использовались чаще всего.
- Mlflow является лидером Реестр моделей и/или отслеживание экспериментовПолем Среди тех, кто принял эти инструменты, 48% чаще всего используют Mlflow. Индивидуальные инструменты (16%) и веса и смещения (12%) были следующими наиболее используемыми инструментами в этой категории. Обратите внимание, что CoreWeave, которая только что имела IPO, недавно объявила о приобретении весов и предвзятости.
- Среди пользователей ETL / Workflow Orchestrators40% используют воздушный поток чаще всего. Пользовательские инструменты (17%) и рабочие процессы Argo (11%) были следующими наиболее используемыми инструментами в этой категории.
- Среди пользователей модель в реальном времени46% используют Fastapi/Flask Purpper чаще всего. Ученые по данным с большей вероятностью будут использовать этот инструмент (70%). Пользовательские инструменты (16%) и AWS SageMaker (12%) были следующими наиболее используемыми инструментами в этой категории.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Лоуренс генерировал действенные идеи и отчеты о рынках рынков B2B и технологий в области корпоративных ИТ и технологий. Он регулярно работает с клиентами для разработки и анализа исследований об экосистемах с открытым исходным кодом. В дополнение к его консалтинговой работе … Подробнее от Лоуренса Э Хехта
