Нет ни одного приложения единорога, который делает все, так почему должна быть одна большая языковая модель (LLM) для всех потребностей?
Не должно было быть, утверждал Тушар Катарки, старший директор по модельной платформам Foundation Foundation в Red Hat. Популярные LLMS может быть излишним для большинства организаций, даже предприятий, сказал он новому стеку.
«Если у вас есть одна большая модель, конечно, она очень способна, но также и много вещей», — сказал Катарки. «[An] Enterprise не нуждается в ни одной модели, которая может делать все в мире. На самом деле, во всяком случае, им нужны модели, которые они могут настроить и использовать для своих вариантов использования ».
Он отметил, что крупные языковые модели, лежащие в основе решений популярного поколения искусственного интеллекта, таких как CHATGPT, чтобы обслуживать миллионы клиентов, с разнообразными языковыми потребностями и знаниями, но ИИ предприятия могут быть более сфокусированными.
«У предприятий другая проблема», — сказал он. «У них на самом деле много разных случаев использования».
Почему разработчики должны использовать меньшие модели
Есть две основные причины, по которым организации хотят меньше LLMS. Во-первых, более мелкие модели более экономически эффективны для работы и управления, сказал он. Во -вторых, предприятия хотят иметь возможность получить доступ к своим частным данным из ИИ.
«Угадай, что? Любая большая модель, особенно то, что они получают [with] CHATGPT или кто -либо еще, у него нет личных данных вашего предприятия », — сказал Катарки.
Но для разработчиков есть еще одна, третья причина для использования более мелких моделей и агентов искусственного интеллекта: их можно использовать в качестве «строительных блоков» в рабочем процессе, так же, как разработчики используют микросервисы для обработки различных функций в рамках нескольких приложений, добавил Катарки.
«Агенты искусственного интеллекта-это не что иное, как эти небольшие, приспособленные системы искусственного интеллекта, и все требуются более мелкие модели, которые можно настроить для предприятий»,-сказал он. «Как только вы разработаете агента,… вы можете смешивать и сочетать разные вещи и создать другую конечную систему».
Кости небольшой модели
Конечно, малые языковые модели не обязательно маленькие — они просто меньше по сравнению с другими моделями. Например, Llama имеет модель параметров 405 миллиардов (самая большая модель сегодня), но есть также модель параметров 70 миллиардов, модель параметров 8 миллиардов и модель параметров 3 миллиарда.
«Мы просто говорим, что 8 миллиардов и 3 миллиарда, возможно, являются более меньшими языковыми моделями», — сказал Катарки. «Там нет формальных определений этого. Но это идея. В противном случае они все модели ламы ».
По его словам, малые языковые модели также должны быть получены из моделей трансформаторов, архитектуры нейронной сети. Модели трансформаторов включают:
- Семейство GPT (генеративное предварительно обученное трансформатор GPT (Generative Pres Transformer);
- Google Bert (двунаправленные представления энкодера от трансформаторов) и T5 (трансформатор передачи текста в текст);
- Meta’s Llama (большая языковая модель Meta AI) и Роберта (надежно оптимизированный подход Bert Pretristing); и
- Гранитные модели IBM.
«Когда мы говорим меньшие модели, они не новы — они все еще основаны на этом трансформаторе [paradigm]поэтому им определенно нужно иметь основные языковые возможности, включая код и так далее », — сказал Катарки
Создание малых языковых моделей
Есть несколько вариантов создания более мелких моделей. Наиболее известным является поколение поиска (RAG), которое привлекло большое внимание в качестве инструмента для уточнения моделей с проприетарными наборами данных.
«Рэг… позволяет вам принести свой собственный набор данных, и вы векторизуете его и вкладываете в векторную базу данных», — сказал Катарки. «Когда приходит запрос, вы смотрите на векторную базу данных и видите, что является наиболее важной частью документа, связанного с этим запросом, и вы отправляете это в качестве подсказки для модели большого языка, говоря, что вы используете это в качестве подсказки для вопроса».
Но у Рэг тоже есть недостатки, добавил он. Во -первых, это может страдать от извлечения проблем, сказал он. Во -вторых, это требует создания еще одной базы данных, «которая имеет свои проблемы с собственными масштабами по мере увеличения количества набора данных», — добавил он.
В то время как RAG действительно повышает точность, есть ограничения, он продолжил.
«Если вы хотите продолжать повышать точность вашей системы ИИ, то вам нужно точно настроить эти знания прямо в модель», — сказал он.
Вот где могут помочь инструменты Red Hat для создания небольших моделей, добавил он.
Как инструктал генерирует небольшие модели
Instructlab — это проект с открытым исходным кодом для улучшения LLMS, используемых в приложениях Gen AI. Созданный IBM и Red Hat, инструктирование означает «настройка инструкций», который является отраслевым термином. Лабораторный обозначение означает крупномасштабное выравнивание для чат-ботов, которое взято из связанной исследовательской работы IBM.
Instructlab использует контролируемую тонкую настройку, также известную как выравнивание инструкций. Этот подход в основном обучает ИИ маркировкой. Например, для модели компьютерного зрения, тренер настаивал на ИИ, что одна картина — это собака, а другая — кошка, пока он не узнает разницу.
«Я собираюсь сказать вам, что такое следующее слово и каково правильное следующее слово, поэтому, если вы предсказываете что -то, что не так, вы должны забить свой прогноз очень низкий. Если вы предсказываете точный, который я вам говорю, то вы можете дать себе высокий балл », — объяснил он, — это в основном повторяется как миллионы раз в этом контролируемом прекрасном обучении, так что данные маркировки — это то, что вам нужно».
«[An] Enterprise не нуждается в ни одной модели, которая может делать все в мире. На самом деле, во всяком случае, им нужны модели, которые они могут настроить и использовать для своих вариантов использования ».
— Тушар Катарки, Red Hat
С учетом инструкций процесс можно сделать с помощью «нескольких команд CLI», сказал Катарки.
«Если вы попросите кого -нибудь выполнить точное обучение, это довольно утомительный процесс. Вам нужны ученые для данных, чтобы сделать это », — сказал он. «Мы сделали это очень простым и доступным для не дата-ученых или, возможно,« гражданских ученых данных ».
Данные маркировки тоже могут быть дорогими. Таким образом, инструкторы принимают набор данных, усиливает его с помощью синтетического генерации данных, а затем использует синтетические данные для дальнейшего обучения модели.
Катарки предложил пример. Банк может захотеть подготовить модель о том, как одобрить увеличение кредитной линии, когда потребитель звонит. Чтобы сделать это, банку нужно будет создать представительные вопросы и ответы с различными вопросами, которые может создать сценарий, например, кто является клиентом, каков их кредитный рейтинг, были ли они с банком в течение достаточно длительного периода времени.
«Генерация синтетических данных займет эти репрезентативные вопросы, и это применит эти вопросы в 1000 различных способов, которыми их можно задать», — сказал он. «Это происходит с использованием генеративного ИИ, а затем имеет корпус данных, которые вы уже предоставили, потому что это ответы. Теперь у него очень большой набор данных ».
Модель изучает гораздо больше перестановки того, как можно сделать этот вопрос и ответ, и это делает его более эффективным для ответа на вопросы.
Платформа также поддерживает Pytorch для полностью общей параллели данных (FSDP), который является методом, используемым для распределенного обучения LLMS, добавил он.
Почему открытый исходный код в ИИ
Также очень важно, чтобы организации выбирали открытый исходный код, особенно с ИИ, утверждал Катарки. Хотя инструктаж может обучить любой LLM, Катарки указал на гранит IBM Research как вариант с открытым исходным кодом.
Это предлагает два преимущества. Во -первых, это создает возмещение за любые требования интеллектуальной собственности, которые могут возникнуть, сказал он. Во -вторых, он предлагает лицензионные преимущества.
«Если я компания, особенно если я компания, которой необходимо отправить эти модели, то мне не нужно возвращаться к вам, если это лицензия Apache 2.0», — сказал он. «Допустим, мы используем, например, Llama, которая не является лицензией Apache 2.0… вы не хотите выяснять, что — 700 миллионов пользователей спустя, и теперь я очень успешный бизнес — я должен вернуться назад [to Meta] Для моего 701 -го миллионов пользователей ».
Red Hat также недавно добавила сервер вывода, который необходим для запуска любого LLM. Red Hat приобрела нейронную магию, которая владеет популярным сервером с открытым исходным кодом VLLM, в январе.
«Все эти большие языковые модели нуждаются в выполнении времени для их запуска, а VLLM — это фактическое время выполнения», — сказал он.
Инструктирул доступен для Red Hat Linux или OpenShift. Это позволяет ИИ работать либо в локальном центре обработки данных, либо в общественном или частном облаке.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Loraine Lawson — ветеран -репортер, который в течение 25 лет освещал технологические проблемы от интеграции данных до безопасности. Прежде чем присоединиться к новому стеку, она работала редактором Banking Technology Site Bank Automation News. Она … читайте больше от Лорейн Лоусон
