Разработчики имеют новый способ экспериментировать с разработкой приложений ИИ для устройств iOS после выпуска на этой неделе небольшой модели с открытым исходным кодом из Аллена Института ИИ (AI2) и контекстного ИИ.
Новая языковая модель, называемая Olmoe, работает на iPhone 15 Pro или Newer (из-за ограничений на оборудование, она не будет работать на более ранних версиях), а также на iPad и Mac серии M. Небольшие модели будут доступны на настольных компьютерах и других версиях Apple телефонов в ближайшие недели, добавила компания.
ИИ может использоваться для тестирования моделей локально и интеграции модели OLMOE в другие приложения для iOS. Или вы можете просто поиграть с этим.
В этом выпуске есть две части. Во -первых, в лицензии Apache 2.0 доступно приложение с открытым исходным кодом и доступно в Apple App Store; Он был построен AI2 и Genui. Во -вторых, есть модель языка Olmoe, которая позволяет разработчикам экспериментировать с ИИ на устройстве iOS.
«Чтобы построить это приложение, мы объединили наши лучшие полностью открытые рецепты», — написал AI2 в посте, объявляющем приложение Olmoe. «Отправной точкой является Olmoe, наша самая эффективная, полностью открытая языковая модель».
К частному
OLMOE-это модель смеси экспертов (MOE), которая представляет собой метод машинного обучения, которая объединяет несколько специализированных подмоделей, называемых «экспертами», для решения сложной проблемы.
Взаимодействие является частным, потому что они никогда не покидают устройство, и каждое взаимодействие удаляется после начала нового разговора, добавил AI2. ИИ не отслеживает данные и не отправляет их в облако, если только пользователь не позволяет отправлять данные в целях исследования.
«Разработчики могут выбрать полностью локальные модели ИИ, которые не подключены к облаку для конфиденциальности, контекста устройства и производительности», — сказал ученый AI2 Исследователь Лука Солдайни. «Конфиденциальность является основным фактором при обработке конфиденциальных пользовательских данных, такими как текстовые сообщения, финансовая информация или другой личный контент-сохраняя все на грани и никогда не нужно подключаться к облаку, гарантирует, что эти данные безопасны и безопасны».
Создание небольшой модели
Olmoe может обрабатывать текст со скоростью более 40 токенов в секунду. AI2 объяснил, как он создал новую версию Allenai/Olmoe-1B-7B-0125-конструкция, используя смесь Dolmino, представленную в Olmo 2-Olmo-это семейство моделей полностью открытого языка-для средних тренировок и Tülu 3 рецепт после тренировки.
Он имеет 7 миллиардов (b) параметров, но использует только 1b на входной токен, согласно исследовательской статье по модели. Он был обучен на 5 триллионов жетонов и дополнительно адаптировано для создания OLMOE-1B-7B-объекта.
«Olmoe — это редкая модель Moe с 1 миллиардом активных и 7 миллиардов общих параметров, позволяющих легко работать на устройствах Common Edge (например, последний iPhone), достигая схожих или лучших производительности MMLU по сравнению с гораздо более крупными моделями», — написал AI. Исследователь Никлас Мененгофф для контекстуального ИИ.
MMLU означает массовое многозадачное понимание языка и оценивает способность модели выполнять несколько задач по различным предметам.
Диаграмма через блог AI2.
Результатом является 4-битная квантовая версия, оптимизированная для мобильной производительности. Квантование — это метод машинного обучения, чтобы снизить точность чисел, используемых для представления весов модели (параметры). Это сделано, чтобы сделать модель меньше и быстрее работать. Четырехбитовая квантование означает, что каждое число теперь представлено с использованием только 4 бит, что резко уменьшает размер и вычислительные потребности модели.
Устройство как контекст
Soldaini добавил, что контекст устройства является еще одним важным фактором для модели.
«Некоторые приложения полагаются на данные, которые доступны только локально, такие как фотоальбом пользователя или личные файлы», — сказал Soldaini. «Если разработчик создает приложение, которое использует извлечение дополненного поколения (RAG) на данных, хранящихся на устройстве, было бы не практично отправлять эти GBS в облако для обработки».
Вместо этого разработчики могут использовать приложение Olmoe в качестве отправной точки, чтобы сделать все это там, где данные уже хранятся, добавили они.
Задержка и доступность играют решающую роль в пользовательском опыте.
«Модели на грани, которые не подключены к облаку, могут работать без задержек, вызванных сетевой связи, и оставаться функциональными даже в средах с плохой или без подключения»,-сказали они. «Для многих более простых задач AI, избегание поездки туда и обработки в облако может значительно улучшить отзывчивость и надежность».
Модель может работать в автономном режиме, позволяя разработчикам получить доступ к ИИ в любое время, пояснила компания. Пользователи могут обмениваться данными с AI2 в исследовательских целях, но не нужно.
«По мере того, как интеллектуальные системы становятся более широко принятыми, исследователи и разработчики могут интегрировать OLMOE в другие приложения для iOS, или они могут использоваться для испытания реальных задач, к которым способны современные задачи, которые могут Ай2 заявил. «Его также можно использовать для улучшения эффективных локальных моделей ИИ или тестирования собственной модели локально с использованием кодовой базы открытого исходного кода AI2».
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Loraine Lawson — ветеран -репортер, который в течение 25 лет освещал технологические проблемы от интеграции данных до безопасности. Прежде чем присоединиться к новому стеку, она работала редактором Banking Technology Site Bank Automation News. Она … читайте больше от Лорейн Лоусон
