PGEDGE спонсировал этот пост.
Будь то для обучения или для вывода, данные являются основой приложений ИИ. Сегодня рабочие нагрузки вывода получают наибольшее количество шума благодаря взрыву интереса к чат-ботам, но вывод также важен для принятия решений в режиме реального времени в устройствах Интернета вещей (IoT), мобильных приложений, интеллектуальных датчиков и многого другого.
Выработка современных рабочих нагрузок ИИ-это немалый подвиг, требующий сверхнизкой задержки, высокой доступности и обработки данных в реальном времени и синхронизации. То, что уже является высоким заказом, сделано еще более сложным в распределенных средах, где поддержание моделей в области географии требует бесшовной репликации данных и разрешения конфликтов.
Вот где традиционный централизованный облачный вывод искусственного интеллекта не терпит неудачу.
Отправка данных в централизованную систему потребляет огромные объемы полосы пропускания. Он также вводит задержку, замедляя ответы, которые влияют на все, от поиска до аналитики в реальном времени. В распределенном мире, где вычисления и данные физически разделены, централизованный вывод является узким местом. И для заявок, требующих немедленных ответов (например, автономные транспортные средства, здравоохранение, коммунальные услуги), даже небольшие задержки имеют значение.
Но вывод не должен быть централизованным. Многие из этих проблем могут быть решены путем перемещения вывода ИИ на край. Подключив как модель и вычислить ближе к источнику данных и распределяя рабочие нагрузки искусственного интеллекта по вашим краевым узлам, вы можете значительно снизить задержку, улучшить конфиденциальность данных, облегчить затраты на пропускную способность и повысить эффективность системы.
Однако есть улов: вывод ИИ на краю работает только в том случае, если архитектура внизу может поддержать его.
Архитирование для распределенного вывода
Энтони Пегг, директор по управлению продуктами в Pgedge, объяснил в интервью: «Весь смысл края заключается в том, что вы распространяете рабочую нагрузку, чтобы быть как можно ближе к тому, где вам нужна работа. Это означает, что сам вычислитель должен быть перемещен туда».
Вы не можете выполнить вывод на грани, если ваши данные и операции записи тоже нет. Это требует перехода от централизованной архитектуры к мультимастерной активной архитектуре.
Пегг объяснил разницу: «С традиционной архитектурой у вас есть один узел, который принимает все записи, и тогда у вас есть копии, которые получают обновления, но они только для чтения-до тех пор, пока основной узел не пойдет не так… и затем один из двух других узлов, которые должны быть прозвучены, чтобы стать писательским узлом и взять на себя».
Multi-Master Active-Active является наоборот-«децентрализован по дизайну», как называет Пегг. Операции для чтения и записи могут происходить в любом узле, а изменения автоматически реплицируются по всей сети — не требуется единоличного первичного. Эта настройка позволяет локальному локальному звенам чтения и записи, обеспечивая синхронизированные данные во всех узлах, даже среди проблем с подключением.
Таким образом, мульти-мастер-активная активность гарантирует высокую доступность, более быстрое время отклика и бесшовную репликацию и синхронизацию данных-ключевые ингредиенты для поддержания целостности моделей ИИ и их выводов.
Тем не менее, у некоторых организаций есть оговорки о том, чтобы отказаться от централизованного статус -кво для распределенного подхода.
Заблуждения задерживаются по поводу Edge AI
Несмотря на четкие преимущества перемещения вывода искусственного интеллекта на град с многомастерной активной архитектурой, общие заблуждения заставляют некоторые организации нерешиться, чтобы попасть на борт:
Заблуждение #1: Экромное оборудование не может справиться с рабочими нагрузками ИИ
Некоторые люди думают, что устройства Edge просто не могут справиться с требованиями рабочих нагрузок искусственного интеллекта. В частности, требования к оборудованию, в частности, кажутся подвесными: «Так много людей все еще предполагают, что Edge Adware просто слишком слаба [and doesn’t have] Способность распространять обновления в самих базовых моделях », — сказал Пегг.
Но на самом деле современные чипы уже способны эффективно использовать сложные модели, даже в квантованных или дистиллированных версиях — и Пегг сказал, что это не должно быть сюрпризом: «В течение десятилетий мы были в геометрическом прогрессировании растущих способностей и миниатюризации… это все о сокращении эффективности».
Заблуждение № 2:
Другая устаревшая идея состоит в том, что крайний вывод полезен только для низких ставок или нишевых вариантов использования. Опять же, Пегг ловко развеял это понятие, указав на развертывание в реальном мире: «Он уже используется для критически важных систем, таких как здравоохранение, производство, защита, автономные транспортные средства. Многие из этих вещей были в работе, я могу сказать, буквально десятилетиями».
Один из примеров: поставщики телекоммуникаций уже используют распределенные выводы с совместными агентами искусственного интеллекта по краям, региональным и облачным уровням для питания приложений в реальном времени, таких как сетевая оптимизация и мониторинг интеллектуальной инфраструктуры.
Заблуждение № 3: Вам все еще нужен один источник истины
Возможно, самым большим умственным препятствием для принятия вывода ИИ на краю является постоянное убеждение, что вам все еще нужен один источник истины.
Пегг считает, что это самое сложное мышление, чтобы встряхнуть, так как нас учили верить, что облако означает «нам нужен единственный источник истины. И шаблон реализации, который исходит из этого, является единственным местом для написания всего».
До сих пор, по его словам, большинство организаций пришли, чтобы принять концепцию распределенного чтения — но это только пол битвы. Теперь людям нужно понять, что «письменность и фактический вычислитель должны быть оттолчены от центральной архитектуры, что означает, что ваша архитектура должна быть модульной, компактной и воспроизводимой».
И это именно то, что позволяет мультимастерская активная архитектура.
На самом деле, как только команды преодолевают умственное препятствие, отсутствие единого источника истины становится преимуществом: «Когда у вас нет единого источника истины», — сказал Пегг, — у вас нет единого источника неудачи ».
Поскольку каждый узел активен, система непреклонна. Если один регион временно остается в автономном режиме, другие продолжают работать; Когда автономный регион возвращается в Интернете, другие узлы могут немедленно догнать его, обеспечивая непрерывную доступность данных даже во время неожиданных перебоев-критическое требование для приложений искусственного интеллекта, которое требует непрерывного доступа к данным для обработки и принятия решений в реальном времени.
Заблуждение № 4: Вычислительный вычислитель должен оставаться централизованным
Подобно привязанности к одному источнику истины, многие организации застряли в идее, что вам нужен централизованный стек для вычисления, будь то для обучения или вывода.
Пегг настаивает на том, что мышление нужно изменить: «Вам нужно разделить два [training and inference]а затем повторно архитезирует вашу систему, чтобы расстаться и распространять этот вывод, а затем поверьте, что сам этот вывод может координироваться из нескольких мест для создания общей согласованности ».
Для Пегга это не техническая проблема; Это проблема доверия: «Это все шаги доверия и изменений, которые необходимо преодолеть — верить, что это не только можно сделать, но и поверьте, что это уже делается».
Почему этот сдвиг теперь имеет значение
Как это часто бывает с точками технологического перегиба, теперь он адаптируется или остается позади.
Команды, которые придерживаются распределенного вывода, будут способствовать более низкой задержке, более быстрым временем до понимания, более высокой надежностью, более низкими затратами, более высоким происхождением и суверенитетом.
Во многих отношениях все сводится к скорости. Как сказал Пегг: «Скорость — это король. Все, что вы можете сделать, чтобы сократить задержку, улучшает практически любую метрику, по которой вы измеряете свой бизнес». Для рабочих нагрузок Edge AI, «чем ближе к вам, тем быстрее вы можете вычислить, и дать вам информацию о принятии решений, которая вам нужна прямо сейчас».
Та же логика применяется к стоимости. С централизованными системами приходят огромные полосы пропускания, оборудование и облачные расходы — но у эксплуатационного вывода снижается затраты: «Чем меньше вы должны отправить, и тем короче вы должны отправить [IT]чем дешевле ваши расходы. И чем меньше аппаратное обеспечение и инфраструктуру вам необходимо использовать для его запуска, тем дешевле ваши расходы ».
Это не небольшое соображение. Чрезмерные расходы на облако являются устойчивой проблемой для многих организаций, причем 84% пытаются эффективно управлять им. А поскольку McKinsey, предсказавший вычислительный спрос, достигнет 7 триллионов долларов к 2030 году (в значительной степени обусловленным рабочим нагрузок ИИ и пропускной способности), это никогда не было более своевременным-или срочным-переосмыслить архитектуру.
Распределенный вывод также помогает в продлении данных и суверенитете. Когда вы можете сегментировать, какие данные остаются локальными, а какие обмениваются, легче соблюдать различные правила, такие как GDPR и Закон о конфиденциальности потребителей Калифорнии (CCPA).
Распространен PostgreSQL для AI на краю
Все преимущества производительности, скорости и устойчивости уступают сильным случаям для перемещения вывода искусственного интеллекта на край — но только в том случае, если уровень данных может не отставать.
Вот почему многие компании, использующие PostgreSQL, обращаются к распределению PostgreSQL с многоотражающей активной архитектурой, чтобы уменьшить задержку, обеспечить согласованность данных и устранить отдельные точки отказа-и именно здесь выделяется PGGEGE.
Inkire AI является одним из таких примеров того, как компания ставит мультимастерную архитектуру в действие.
Infure AI — это цифровая экспертная сеть, которая интегрирует ИИ и человеческий интеллект. Его международная клиентская база означает, что компания сталкивается с трудными данными и требованиями к времени отклика — а высокая задержка — это сложная задача, которая способствует чрезмерному времени отклика применения и ухудшает качество обслуживания клиентов. Хотя компания уже использовала службу реляционной базы данных AWS (RDS), она решила перейти на Pggedge Cloud вместо AWS Aurora, развернув двухклетный кластер в регионах сша и Мумбаи. Теперь, с распределенной базой данных, созданной в двух регионах, запросить ИИ может рассчитывать на более высокую доступность, более низкую задержку и более простое соблюдение резидентуры данных.
PGEDGE обеспечивает распределенную PostgreSQL Architecture, построенный для края. Его мульти-мастерская активная настройка позволяет каждому узлу обрабатывать чтения и записи, автоматически реплицируя изменения по всей сети. Это означает отсутствие первичной и нет единой точки отказа — просто последовательные данные.
Для рабочих нагрузок ИИ эта близость данных — это все. «Если вы все еще централизуете вывод, — объяснил Пегг, — тогда вы вдвое сократили выгоду». В то время как активная репликация обеспечивает согласованность, вывод по -прежнему нуждается в данных для действия. «Без этого вам не хватает того, что нужно вычислить», — объяснил Пегг. Хранив данные локально, PGEDGE позволяет системам искусственного интеллекта немедленно действовать для вывода или для принятия решений. «Без нас, — добавил Пегг, — вы не можете действительно распространять вычислитель, потому что вычислитель нуждается в том, чтобы данные с ним».
По словам Пегга, эта мультимастерная активная концепция-это то, что отличает PGEDGE. «Мы поддерживаем весь сдвиг парадигмы, который он распределяется, миниатюрирован, сокращается и сделана для работы на местном уровне, а затем имея эту общую истину распределенную, устойчивую к неисправности и низкая задержка. Плюс, мы полностью открытый исходный код и полностью стандартный PostgreSQL».
Эта комбинация означает более быстрые обновления, более низкую задержку, более низкие затраты на пропускную способность и более быстрое принятие решений-основание для построения масштабируемых, интеллектуальных систем на краю.
Узнайте больше о том, как полностью открытый, полностью стандартный подход к нескольким распределенным Postgres может решить высокую доступность и проблемы с низкой задержкой для вывода искусственного интеллекта на грани в разных отраслях.
PGEDGE Distributed PostgreSQL облегчает развертывание высокой доступности, приложения с низкой задержкой распределенной базы данных. Только PGEDGE-это мульти-мастер, мультирегион и мультифуд, в то время как полностью основан на стандартных Postgres и на 100% открытый. Узнайте больше последних из Pggege Trending Stories youtube.com/thenewstack Tech Moving быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом.
