В сценариях поиска и аналитики корпоративного уровня open-source Elasticsearch, несмотря на свои мощные возможности, часто не справляется с требованиями, такими как поиск по десяткам миллионов векторных данных высокой размерности, управление хранилищем данных масштаба петабайт, обработка исключений out-of-memory (OOM), вызванных большими запросами, и поддержание стабильности во время пиковых нагрузок. Чтобы преодолеть эти проблемы, CSS предлагает ряд улучшений по сравнению с open-source Elasticsearch, включая разъединённое хранение и вычисления, изоляцию крупных запросов и повышенную производительность ingest‑процессов. Эти улучшения выходят за рамки производительности. Они также повышают стабильность в производственной среде. При простых конфигурациях ваш кластер может поддерживать высокую конкурентность и экономичное хранение массивных наборов данных, позволяя сосредоточиться на основных приложениях.
Категория | Функция | Описание | Поддерживаемая версия | Подробности |
|---|---|---|---|---|
Оптимизация затрат | Разъединение хранения и вычислений | При разъединённом хранении и вычислениях горячие данные, к которым часто обращаются, сохраняются на высокопроизводительных носителях, тогда как холодные данные, к которым обращаются редко, перемещаются на недорогие носители — Object Storage Service (OBS). Это обеспечивает производительность запросов в режиме реального времени для горячих данных при одновременном снижении долгосрочных расходов на хранение. | 7.6.2, 7.10.2 | |
Переключение между уровнями горячего и холодного хранилища | Данные распределяются по узлам с различными уровнями производительности в зависимости от температуры данных (то есть частоты доступа к данным). Цель — достичь оптимальных расходов на хранение и производительность запросов. | Все версии, поддерживающие узлы холодных данных | ||
Повышенная стабильность | Разделение чтения/записи | Эта функция опирается на взаимодействие между кластерами‑лидером и кластерами‑репликой. Записи направляются к лидеру, а запросы — к реплике, обеспечивая оптимальную производительность записи при поддержке высоко‑конкурентных, масштабируемых запросов. Конкуренция за ресурсы исчезает, а пиковые нагрузки снижаются. | 7.6.2, 7.10.2 | |
Управление потоком | Эта функция защищает кластеры от перегрузки с помощью политик управления потоком, таких как ограничение запросов клиентов, обратное давление при индексации шарда и анализ шаблонов трафика, обеспечивая правильное распределение ресурсов и стабильность кластера. ПРИМЕЧАНИЕ: Кластеры Elasticsearch 7.6.2 и 7.10.2, созданные после февраля 2023 г., поддерживают только Flow Control 2.0, тогда как кластеры, созданные ранее, поддерживают только Flow Control 1.0. | 7.6.2, 7.10.2 | ||
Изоляция трафика запросов | Вы можете настроить отдельные узлы как узлы низкого приоритета или изолированные узлы и определить белый список индексов для исключений. Для запросов к шардам, направляемых к индексам, не включённым в этот белый список, система предпочтительно или полностью обходит такие узлы, гарантируя, что неисправные узлы не влияют на сервисы. | 7.10.2 | ||
Изоляция крупных запросов | Large query isolation можно настроить для управления запросами, которые используют много памяти или занимают слишком много времени для выполнения. Это помогает повысить стабильность Elasticsearch clusters и предотвратить исключения out-of-memory (OOM). | 7.6.2, 7.10.2 | ||
Улучшенная производительность | Улучшенная производительность загрузки данных | CSS предоставляет несколько способов повышения производительности загрузки: bulk routing, bulk aggregation, text indexing acceleration и merge optimization. Они могут помочь снизить накладные расходы и значительно улучшить стабильность записи и пропускную способность в сценариях высокой нагрузки. | 7.6.2, 7.10.2 | |
Улучшенная производительность агрегации | CSS повышает производительность агрегации при больших объёмах данных, используя векторизацию и оптимизированные методы кластеризации, что позволяет проводить более быстрый анализ и принимать решения в сложных ситуациях. | 7.10.2 | ||
Улучшенные операции | Index recycle bin | Чтобы предотвратить потерю данных из‑за случайного удаления, CSS предоставляет index recycle bin. Когда он включён, удалённые индексы временно сохраняются в recycle bin, что позволяет восстановить их до окончательного удаления. Эта функция повышает надёжность данных и безопасность операций. | 7.10.2 | |
Query resource tracker | Сотрудники O&M могут вызвать API для получения top queries с наибольшей задержкой, использованием CPU или потреблением памяти, отфильтровать запросы по time range и быстро определить проблемные запросы. Это может значительно повысить эффективность и точность устранения неполадок. | 7.10.2 |