В сценариях корпоративного поиска и аналитики, open-source OpenSearch, несмотря на свои мощные возможности, часто не справляется с требованиями, такими как поиск по десяткам миллионов векторов высокой размерности, управление хранилищем данных масштаба PB, обработка исключений out-of-memory (OOM), вызванных большими запросами, и поддержание стабильности во время пиковых нагрузок. Чтобы преодолеть эти проблемы, CSS предлагает ряд улучшений по сравнению с open-source OpenSearch, включая разъединённое хранение и вычисления, изоляцию больших запросов и повышенную производительность загрузки данных. Эти улучшения выходят за рамки производительности. Они также повышают стабильность в производственной среде. Благодаря простым конфигурациям ваш кластер может поддерживать высокую конкурентность и экономичное хранение массивных наборов данных, позволяя сосредоточиться на основных приложениях.
Категория | Функция | Описание | Поддерживаемая версия | Подробности |
|---|---|---|---|---|
Оптимизация затрат | Разъединение хранения и вычислений | При разъединённом хранении и вычислениях горячие данные, к которым часто обращаются, сохраняются на высокопроизводительных носителях, тогда как холодные данные, к которым обращаются редко, перемещаются в недорогие носители — Object Storage Service (OBS). Это обеспечивает производительность запросов в реальном времени для горячих данных и одновременно снижает долгосрочные затраты на хранение. | 1.3.6, 2.19.0, 3.4.0 | |
Переключение между уровнями горячего и холодного хранилища | Данные распределяются по узлам с различными уровнями производительности в зависимости от температуры данных (то есть частоты доступа к данным). Цель — достичь оптимальных затрат на хранение и производительности запросов. | Все версии, поддерживающие узлы холодных данных | ||
Повышенная стабильность | Разделение чтения/записи | Эта функция опирается на взаимодействие между кластерами‑лидерами и кластерами‑фолловерами. Записи направляются в лидер, а запросы — в фолловер, обеспечивая оптимальную производительность записи при поддержке высоко‑конкурентных, масштабируемых запросов. Конкуренция за ресурсы исчезает, а пиковые нагрузки снижаются. | 2.19.0 | Настройка разделения чтения/записи между лидером и фолловером |
Управление потоком | Эта функция защищает кластеры от перегрузки с помощью политик управления потоком, таких как ограничение запросов клиентов, обратное давление при индексации шарда и анализ шаблонов трафика, обеспечивая надлежащее распределение ресурсов и стабильность кластера. | 2.19.0 | ||
Изоляция трафика запросов | Вы можете настроить отдельные узлы как узлы низкого приоритета или изолированные узлы и определить белый список индексов для исключений. Для запросов к шардам индексов, не включённых в этот белый список, система предпочтительно или полностью обходит эти узлы, гарантируя, что неисправные узлы не влияют на сервисы. | 2.19.0 | ||
Изоляция крупных запросов | Изоляцию крупных запросов можно настроить для управления запросами, требующими большого объёма памяти или длительного выполнения. Это помогает повысить стабильность кластеров OpenSearch и предотвратить исключения out-of-memory (OOM). | 2.19.0 | ||
Повышенная производительность | Повышенная производительность загрузки данных | CSS предоставляет несколько способов повышения производительности загрузки: bulk routing, bulk aggregation, text indexing acceleration и merge optimization. Они могут помочь снизить нагрузку на производительность и значительно улучшить стабильность записи и пропускную способность в сценариях с высокой нагрузкой. | 2.19.0 | |
Повышенная производительность агрегации | CSS повышает производительность агрегации при больших объёмах данных, используя векторизацию и оптимизированные методы кластеризации, что обеспечивает более быструю аналитику и принятие решений в сложных ситуациях. | 2.19.0 | ||
Повышенные операции | Index recycle bin | Чтобы предотвратить потерю данных из‑за случайного удаления, CSS предоставляет index recycle bin. Когда он включён, удалённые индексы временно сохраняются в index recycle bin, что позволяет восстановить их до окончательного удаления. Эта функция повышает надёжность данных и безопасность эксплуатации. | 2.19.0 | |
Query resource tracker | Сотрудники O&M могут вызвать API для получения запросов с наибольшей задержкой, использованием CPU или потреблением памяти, отфильтровать запросы по диапазону времени и быстро выявить проблемные запросы. Это может значительно повысить эффективность и точность устранения неполадок. | 2.19.0 |