Современные Mac, отчасти из-за объединенной архитектуры памяти современной платформы Apple на чипе, являются фаворитом среди разработчиков, которые хотят использовать крупные языковые модели (LLMS) на локальном масштабе. Это здорово в процессе разработки — а также просто весело попробовать — но очень немногие компании используют свои модели на Apple Silicon. Некоторое время Webai сосредоточился на том, чтобы доставить машинное обучение и небольшие генеративные модели ИИ на устройства Apple, как телефоны, так и настольные компьютеры.
Теперь компания делает этот шаг еще дальше благодаря партнерству с Mac Hosting Service Macstadium, который позволит предприятиям развернуть свои модели ИИ на Apple Silicon в облаке Macstadium.
Как сказал мне соучредитель и генеральный директор Webai Дэвид Стаут, когда он основал компанию в 2019 году, его тезис заключался в том, что для того, чтобы действительно сделать ИИ значимым, он должен был жить в карманах пользователей. «Он должен принадлежать пользователю, и он должен быть гиперконтекстуальным. Это не было ничего, что действительно не поддерживало это, и именно здесь родился Webai»,-сказал он. Поскольку вся отрасль все еще находилась в движении — и Generative AI был еще несколько лет от того, чтобы стать мейнстримом — команда в конечном итоге создала свой собственный двигатель выполнения и вывода.
С самого начала Webai не заинтересована в создании своих собственных моделей (это гонка в ноль, считает Stout), но предоставляя своим пользователям инструменты для обучения, тонкой настройки и развертывания моделей на своем оборудовании Apple Silicon. Поскольку в большинстве компаний нет серверных стоек, заполненных Mac в своих офисах, Webai стал творческим. Его время выполнения, по сути, позволяет предприятиям распространять нагрузку на сервер по нескольким машинах, мало чем отличается от рендеринговой фермы. Но как только они начнут, многие компании также начинают покупать Mac, посвященные управлению временем выполнения Webai.
Стойки Macs в Macstadium.
Для многих компаний сохранение их моделей ИИ и связанных с ними данных имеет первостепенное значение, поэтому они хотят разработать свои приложения ИИ без необходимости отправлять данные третьей стороне. Это позволяет им повторно использовать свои существующие аппаратные инвестиции без необходимости покупать более дорогие и жаждущие мощности карты Nvidia.
«Многие из наших партнеров, им нравится:« Подожди секунду, я могу владеть этим за довольно разумную стоимость. Давайте просто создадим нашу стек ». Если у вас есть компании с 1000 сотрудников, почему бы вам не использовать машины, которые находятся в вашей сети? Он также отметил, что на основе затрат на ток эти кластеры Mac более доступны, чем графические процессоры Nvidia.
Еще один аспект Webai заключается в том, что в дополнение к созданию сервиса для распространения этих крупных моделей на разных устройствах, этот же сервис также помогает оптимизировать эти модели. Для этого Webai использует то, что он называет взвешенным энтропийным квантованием (EWQ).
Идея здесь состоит в том, чтобы проанализировать блоки трансформатора в модели, чтобы найти те блоки, которые можно квантовать, не влияя на общую производительность модели. Те, кто имеет более низкую энтропию, то есть более предсказуемое распределение информации, часто может противостоять более агрессивному квантованию с минимальным воздействием на общую точность. В сравнительном анализе Webai и для большинства архитектур LLM этот метод снижает только точность менее чем на 0,5%, но уменьшает размер модели до 30%.
Когда дело доходит до перехода на производство, где многие предприятия сейчас работают с рабочими нагрузками искусственного интеллекта, это новое партнерство с Macstadium предлагает новую альтернативу другим хостинг -провайдерам.
«Это партнерство позволяет предприятиям развернуть практическое искусственное интеллект для решения реальных бизнес-проблем по сравнению с большим количеством искусственного искусства, сосредоточенного на общих крупномасштабных моделях»,-сказал генеральный директор Macstadium Кен Таселли. «Комбинация уникального аппаратного и программного обеспечения, ориентированного на AI, позволяет нам предоставлять решения для рынка за счет стоимости и мощности, а масштабируемость нашего решения ИИ может выходить далеко за рамки того, что люди обычно ассоциируют с Mac. Возможности этих устройств обеспечивают все от распознавания изображений до сложных выводов и автоматизации системы».
Стаут описал эти усилия с Macstadium как предложение частного облака своим клиентам. «Это более приватно, чем любое другое решение. Как Webai создала свою сеть-облегченную инфраструктурой Macstadium-является одной из самых безопасных систем для частной обработки за пределами площадки. И это будет AI-местным решением, а не то, что мы модернизировали, чтобы вписать ИИ в историю».
Что касается оборудования, две компании еще не делятся деталями, но Стаут отметил, что это будет многоуровневым решением. В конце концов, каждая рабочая нагрузка должна работать на Mac Studios с 512 ГБ оперативной памяти.
«То, что мы обнаружили правдой, — это лучше всего забегает Apple Silicon, особенно в нашем собственном времени выполнения. Если бы мы использовали Pytorch или Tensorflow, это может быть неверным. Мы не являемся. Мы используем свою собственную библиотеку, и мы приводим эти модели на устройство. И мы обнаружили, что их силикон, вероятно, является одними из лучших для ИИ», — сказал Стоут.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Прежде чем присоединиться к новому стеку в качестве старшего редактора для ИИ, Фредерик был редактором предприятия в TechCrunch, где он освещал все, от роста облака и самых ранних дней Kubernetes до появления квантовых вычислений …. Подробнее от Frederic Lardinois
