Как раз к весне (если вы живете в северном полушарии), датчаторика с открытым исходным кодом Valkey теперь поддерживает новый тип данных, Bloom Filters.
Недавно выпущенный модуль Valkey-Bloom может работать на Valkey версии 8 и позже. (Самая последняя версия Store Data, V8.1, была выпущена в прошлом месяце.)
Тип вероятностного поиска, фильтры Bloom предлагают очень эффективный способ определения того, является ли данное значение членом набора данных. Он не обязательно определит все случаи определенного значения в беспорядке данных, но он даст вам знать очень эффективно, если присутствует хотя бы один экземпляр этого значения.
Фильтр цветения не так точен, как полный поиск в базе данных — он может сообщать о ложных положительных результатах, но не ложных отрицательных — но этот подход может сократить требования к памяти более чем на 93%.
Фильтр цветения в действии (Википедия).
Другими словами, когда данных нет, фильтр цветов может сообщить вам, не проходя через много дорогих операций ввода -вывода.
Большое количество членов
В правильных обстоятельствах разработчики могут найти эту функцию чрезвычайно полезной, отметил, что соавтор проекта Valkey Madelyn Olson сказала в посте LinkedIn.
Например, фильтр цветов может быть использован для предотвращения показа рекламы онлайн для одного и того же пользователя дважды. Он также может быть использован для предотвращения посещения вредоносных URL -адресов или помогать банкам идентифицировать мошеннические операции с кредитными картами.
«Эти варианты использования могли быть реализованы с помощью растровых изображений или наборов, но этот новый дат данных делает его намного проще и эффективно для реализации и использования в вашем приложении», — написал Олсон.
Модуль, написанный в Rust и выпущенный по лицензии BSD-2 с открытым исходным кодом, включает в себя команды для создания, вставки и запросов фильтров цветов.
Событие дедупликации
В качестве проекта с открытым исходным кодом, Вальки был запущен в 2023 году в качестве вилки магазина Key-Value Redis после того, как компания, стоящая за Redis, переключила лицензию на магазин данных от лицензии с открытым исходным кодом, сославшись на конкурентные давления от облачных сервисов.
В интервью с TNS основатели проекта с открытым исходным кодом рассказали о продвижении развития проекта более быстрыми темпами, чем сам Redis.
В этом случае, однако, у Редиса был свой собственный фильтр цветов с 2022 года.
Другие системы баз данных, которые поддерживают тип данных, включают PostgreSQL, Apache Cassandra и Rocksdb. Он также может быть реализован в библиотеках на стороне клиента, хотя этот подход, как правило, не является таким же исполнительным.
Плагин Valkey-Bloom «предлагает эффективное решение для тестирования в больших объемах с помощью фильтров Bloom, обеспечивая значительную экономию использования памяти по сравнению с традиционными типами данных»,-пишет Antorator Valkey и разработчик программного обеспечения Amazon Web Services Karthik Subbarao, в сообщении в блоге, объясняя эту технологию более подробно.
В одном наборе образцов фильтр цветов может 448 миллионов пунктов в пределах относительно разреженного предела 512 МБ, показал суббарао.
«Это расширяет возможность Valkey обрабатывать различные рабочие нагрузки, включая крупномасштабную рекламу / дедупликацию событий, обнаружение мошенничества и более эффективное снижение поиска дисков / бэкэнд»,-написал он.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Joab Jackson является старшим редактором нового стека, охватывающего облачные нативные вычисления и системы системы. Он сообщил об инфраструктуре и развитии IT более 25 лет, в том числе в IDG и государственных компьютерных новостях. До этого он … читал больше от Джоаба Джексона
