Было показано, что поиски Rag (поиск по поиску-аугментированию) предлагает впечатляющие результаты запроса. В то же время, однако, существует также распространенность очень плохих, а иногда и неловких результатов поиска, связанных с ними. Это в дополнение к безудержным галлюцинациям и плохим результатам, которые агенты ИИ продолжают служить.
Эта проблема была подчеркнута во время основного доклада, указанной на недавней конференции OpenSearchCon Europe Foundation Foundation. Там Эрик Пью, основатель OpenSource Connections, обсудил, как Open Source OpenSearch с предстоящим выпуском 3.0, как ожидается, будет иметь большое значение для изменения распространенности векторных результатов по отношению к тем, которые являются звездными и очень полезными, сказал он.
Но OpenSearch — это больше, чем просто векторный поиск, и с версией 3.0 также ожидается, что он увидит больше функций для аналитики и безопасности. По словам Пью во время разговора, OpenSearch также находится в проекте, и во время его выступления в ходе его выступления стало много улучшений.
«OpenSearch уникально расположен среди поисковых систем с открытым исходным кодом для предотвращения таких катастрофических результатов», — сказал Пью.
Плохой поиск
В статье 2023 года в Guardian была поисковая команда в Новой Зеландии, работающая в компании супермаркета, которая предлагала онлайн -покупки. По словам Пью, команда имела доступ к истории покупок клиентов и разработала решение RAG с AI, чтобы рекомендовать и генерировать рецепты на основе предметов, найденных в шкафах клиентов.
К сожалению, несколько рецептов, произведенных системой, были очень проблематичными, сказал Пью. Примеры включали «легкий, без запаха коктейль», который был на самом деле рецептом для газа хлора, ядовитых сэндвичей для хлеба и рецептом жареного картофеля на основе комаров. Последний поднял вопросы о том, пытался ли кто -нибудь на самом деле применить репеллент комаров к еде. По словам Пью, эти результаты были примерами неудачных выходов, которые повредили доверие пользователей и привлекли негативное освещение в СМИ, которое в данном случае находилось в Guardian.
По словам Пью, в версии 3.1 будет представлена рабочая сумка для поиска — централизованная платформа для измерения качества поиска и оценки спектра между нерелевантными и высокими результатами, сказал Пью. Это включает в себя возможность собирать и анализировать пользовательские запросы, определять намерения пользователя и определить, что пользователи на самом деле ищут, отслеживая взаимодействие с пользователями, такие как клики. По словам Пью, эти данные обеспечивают более глубокое понимание намерений за пределами типизированных запросов и позволяют оценить эффективность результатов поиска (например, возвращали ли «обзоры шлема» соответствующий контент или нет).
По словам Пьюга, чтобы стимулировать постоянное улучшение, был разработан гибридный оптимизатор. Эта система оценивает поведение пользователей с течением времени, чтобы определить идеальный баланс между лексическими и семантическими (основанными на ключевых словах) подходах поиска. Гибридный оптимизатор динамически регулирует — ежедневно, еженедельно или ежегодно — без требуния выделенного проекта. Эта функциональность включена в версию 3.1, сказал Пью.
По словам Пьюга, с внедрением более сложных структур данных анализ производительности запросов стал важным. Такие инструменты, как Insights Insights, обеспечивают видимость в обработке запросов, позволяя оптимизировать новые функции и понимать их вычислительные затраты.
По словам Пьюга, строительство богатых, интеллектуальных интерфейсов требует простоты. Такие инструменты, как Flow AI Builder, упрощают разработку расширенного поиска, оптимизируя сборку различных компонентов. Заглядывая в будущее, измерение эффективности нового пользовательского опыта одинаково важно. По словам Пьюга, предстоящее добавление A/B-тестирования и интерреирование непосредственно в Opensearch позволит оценить изменения в пользовательском опыте-устранить необходимость в многонедельных экспериментах.
По словам Пью, комбинирование семантики разговора с показателями оценки позволит большей части результатов поиска двигаться к «удивительно точному» концу качественного спектра. По словам Пью, OpenSearch 3.x станет значительно улучшенной платформой для создания богатых, иммерсивных поисковых впечатлений. «Технически, решение очень способно», — сказал он.
Однако только технических достижений недостаточно, сказал Пью. Остается человеческая проблема: улучшение сотрудничества между учеными данных и поисковыми инженерами. Эти сообщества часто работают в изоляции, что затрудняет интеграцию.
Python Help
По словам Пью, чтобы преодолеть этот пробел, необходимо принять больше питона — основного языка науки о данных. Одна многообещающая идея — заменить безболезненную на Python в службах сценариев. По словам Пью, многие ученые из данных уже используют Python и несут ответственность за написание сложной логики, которую обычно поддерживает безболезненная.
По словам Пью, еще одна перспективная идея включает в себя тетради Юпитера. В качестве основной среды для науки о данных, интеграция ноутбуков Jupyter, непосредственно в Dashboards OpenSearch, создаст гостеприимное, нативное пространство для ученых -ученых для работы в экосистеме OpenSearch. По словам Пьюга, эти концепции находятся в активном обсуждении в RFC. Взаимодействие с этими усилиями и участие в событиях поможет сформировать более инклюзивное и совместное будущее для OpenSearch.
По словам Пью, Apensearch стремится удалить разрыв между поисковой техникой и наукой о данных путем создания инструментов и опыта, которые являются знакомыми и продуктивными для обоих сообществ. «Эти усилия являются не просто техническими обновлениями — они представляют собой культурный сдвиг в направлении интеграции, сотрудничества и доступности», — сказал Пью.
Принимая Python, внедряя рабочие процессы на основе ноутбуков, интегрируя аналитику поведения пользователей и предоставление мощных инструментов, таких как рабочее место для поиска и гибридный оптимизатор, OpenSearch позиционирует себя не только в поисковой системе, но и современной платформе для инноваций на пересечении науки о данных и поиска, сказал Пуг.
По словам Пью, предстоящая строка 3.x представляет собой новую главу для OpenSearch: одна из них сосредоточена на намерениях пользователя, актуальности, доверии и интеллектуальном взаимодействии. «Благодаря продолжающемуся сотрудничеству сообщества, вдумчивой разработке функций и инклюзивному дизайну OpenSearch готовы обеспечить следующее поколение поисковых приложений»,-сказал Пью.
Большой 3.0
Ряд новых функций был описан для OpenSearch 3.0. Эти функции направлены на улучшение не только результатов поиска, но и копаться в аналитике посредством наблюдения и безопасности. Новые функции, которые участники Opensearch готовит к выпуску 3.0, были описаны и описаны Дагни Брауном, главным менеджером по продуктам в Amazon Web Services (AWS) во время основной доклад. По словам Брауна, бета-релиз подтвердил улучшение производительности на 20% в совокупности в рамках высокоэффективных операций. По словам Брауна, по сравнению с OpenSearch 1.3, OpenSearch 3.0 тестирует более чем в 9,5 раза быстрее по типам ключевых запросов.
По словам Брауна, для приложений с вектором с внедрением векторного поиска, интенсивного GPU, «пользователи теперь могут развернуть графические процессоры для значительного повышения производительности» на рабочих нагрузках, таких как Vector Search и Generative AI. По словам Брауна, преимущества включают в 9,3 раза быстрее индексные сборки, в два раза выше пропускной способности и в три раза снижение затрат.
«Одна из самых больших эволюций в OpenSearch 3.0 — это то, как он проглатывает, транспортирует и управляет данными», — сказал Браун. «Есть десятки новых функций, способствующих этому сдвигу».
Как описал Браун, GRPC является структурой с открытым исходным кодом для вызовов удаленных процедур. Он вводит новый подход к транспортировке данных в OpenSearch-между клиентами и серверами, а также узел в узле. «Благодаря поддержке формата кроссплатформенного данных Protobuf, GRPC обеспечивает более быстрый и более эффективный транспорт и обработку данных»,-сказал Браун.
По словам Брауна, проглатывание на основе тяги дает OpenSearch больше контроля над потоком данных и при получении данных. С практической точки зрения это позволяет отделить источники данных (например, приложения, генерирующие операции индекса) от потребителей данных (например, сервер Opensearch). Браун сказал.
Для наблюдения, 3,0 Поддержка Apache Calcite в качестве нового двигателя запросов «приносит большую гибкость и производительность для запросов SQL и PPL», сказал Браун.
Разве мы не можем просто ладить?
По Он также включает в себя возможности аналитики логарифмической аналитики для наблюдения и аналитики безопасности, а также функции безопасности, обнаружение аномалий, оповещение, наблюдение и другие варианты использования, согласно документации проекта.
Генезис Opensearch не был без споров. После изменения лицензии MongoDB в SSPL в 2018 году Elastic решила сделать большую часть своего проприетарного кода Elasticsearch и Kibana, начиная с версии 7.11 (выпущена в феврале 2021 года) и запустила корпоративную версию. В ответ Amazon развела Elasticsearch и Kibana в версии 7.10.2, вызвав критику со стороны Elastic. Некоторые наблюдатели сказали, что ход AWS был необходим для противодействия более ограничительной модели коммерческого лицензирования Elastic.
AWS представил проект Opensearch, который был вилкой Elasticsearch и Kibana 7.10.2 (объявлено в апреле 2021 года), и сделал его доступным по лицензии Liberal Apache 2.0.
AWS юридически способен взять кодекс, созданный из лет преданности для проектов с открытым исходным кодом, переименовать инструменты с открытым исходным кодом и предложить платные услуги для поддержки и управления кодом (в зависимости от лицензий). Тем не менее, некоторые наблюдатели говорят, что риски облачного гиганта воспринимаются как предающие своих клиентов и участников.
Затем, в январе 2025 года, Elastic объявила, что изменяет лицензию на Elasticsearch и Kibana с Apache 2.0, начиная с версии 7.11, предлагая пользователям выбор использования либо по более ограничительной общественной лицензии на стороне сервера (SSPL), либо с упругой лицензией. Это изменение лицензии было ключевым фактором, мотивирующим вилку OpenSearch и вызвало текущие дебаты среди тех, кто предпочитает постоянное использование OpenSearch менее ограничивающей лицензии Apache 2.0.
Несмотря на лицензионные споры, как упругие, так и AWS остаются основными участниками с открытым исходным кодом в сообществе. Elasticsearch и Opensearch также создали то, что, вероятно, станет грозной конкуренцией между двумя проектами, что редко бывает плохо для сообщества пользователей в этой динамической конвергенции поиска, наблюдаемости и функциональности безопасности.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. BC Gain является основателем и главным аналитиком Revecom Media. Его одержимость компьютерами началась, когда он взломал консоль космических захватчиков, чтобы играть весь день за 25 центов в местной видеокаде в начале 1980 -х годов. Затем он … читайте больше от B. Cameron Gain
