В этом документе

Документация MRS
Обзор
- Что такое MRS?
- Что нового
- Преимущества MRS по сравнению с собственными кластерами Hadoop
- Сценарии применения
- Список версий компонентов MRS
- Компоненты
- Functions
- Ограничения
- Управление разрешениями
- Связанные сервисы
- Описание квоты
- Общие понятия
Подготовка пользователя
- Создание пользователя MRS
- Creating a Custom Policy
- Синхронизация IAM Users в MRS
Начало работы
- Создание и использование кластера MRS
- Установка и использование Cluster Client
- Использование кластеров с включенной аутентификацией Kerberos
- Использование Hadoop с нуля
- Использование Kafka с нуля
- Использование HBase с нуля
- Изменение конфигураций MRS
- Настройка Auto Scaling для кластера MRS
- Настройка Hive с разъединённым хранением и вычислениями
- Отправка задач Spark на новые узлы задач
- Настройка порогов для Alarms
Настройка Cluster
- Как Buy MRS Cluster
- Быстрая конфигурация
  - Быстрая покупка кластера Doris
  - Быстрая покупка кластера Hadoop Analysis
  - Быстрая покупка HBase Query Cluster
  - Быстрая покупка Kafka Streaming Cluster
  - Быстрая покупка ClickHouse кластера
  - Быстрая покупка Real-time Analysis Cluster
- Создание пользовательского кластера
- Настройка пользовательской топологии
- Добавление Тега к Кластеру/Node
- Авторизация безопасности связи
- Настройка Auto Scaling Rules
- Управление подключениями данных
  - Настройка подключений данных
  - Настройка соединения данных RDS
- Установка стороннего программного обеспечения с помощью Bootstrap Actions
- Просмотр неудачных задач MRS
- Просмотр информации исторического кластера
Управление Кластерами
- Вход в кластер
- Cluster Обзор
- Просмотр и настройка метрик мониторинга кластера
- Cluster O&M
- Управление узлами
- Управление Джобой
- Component Management
- Alarm Management
- Патч Управление
- Управление Тенантом
- Bootstrap Actions
Использование клиента MRS
- Установка клиента
  - Установка клиента (MRS 3.x или позже)
  - Установка клиента (версии ранее 3.x)
- Обновление клиента
  - Обновление клиента (Version 3.x or Later)
  - Обновление клиента (версии ранее 3.x)
- Использование клиента каждого компонента
Настройка кластера с раздельным хранением и вычислениями
- MRS Разделение хранилища и вычислений
- Подключение к OBS с использованием механизма Cluster Agency Mechanism
- Подключение к OBS с помощью Guardian Service
Доступ к веб-страницам компонентов с открытым исходным кодом, управляемым в кластерах MRS
- Web UI открытых компонентов
- Общие порты компонентов
- Доступ через Direct Connect
- Доступ на основе EIP
- Доступ с помощью Windows ECS
- Создание SSH‑канала для подключения к кластеру MRS и настройки браузера
Доступ к Manager
- Доступ к FusionInsight Manager (MRS 3.x или позже)
- Доступ к MRS Manager (MRS 2.x или более ранних)
FusionInsight Manager Руководство по эксплуатации (Доступно для 3.x)
- Homepage
- Кластер
- Hosts
- O&M
- Аудит
  - Обзор
  - Настройка Audit Log Dumping
- Ресурсы Тенанта
- Система
- Cluster Management
- Управление журналами
- Управление Бэкапом и восстановлением
- SQL Inspector
- Управление безопасностью
MRS Manager Руководство по эксплуатации (Доступно для 2.x и более ранних версий)
- Введение в MRS Manager
- Проверка выполняющихся задач
- Управление мониторингом
- Управление алармами
- Справочник тревог (Применимо к MRS 2.x и более ранним версиям)
- Управление объектами
- Управление журналами
- Управление проверкой работоспособности
- Управление статическим пулом сервисов
  - Просмотр статуса статического пула сервисов
  - Настройка статического пула сервисов
- Управление Тенантом
- Бэкап и восстановление
- Управление безопасностью
- Permissions Management
- MRS Многопользовательское управление разрешениями
- Патч Руководство по операции
  - Руководство по операциям Patch для версий
  - Поддержка скользящих патчей
- Восстановление патчей для изолированных хостов
- Rolling Restart
Справочник тревог (Доступно для MRS 3.x)
- ALM-12001 Audit Log Dumping Failure
- ALM-12004 OLdap Resource Abnormal
- ALM-12005 OKerberos Resource Abnormal
- ALM-12006 Ошибка узла
- ALM-12007 Process Fault
- ALM-12010 Manager Heartbeat Interruption Between the Active and Standby Nodes
- ALM-12011 Manager Исключение синхронизации данных между активным и резервным узлами
- ALM-12012 NTP Service аномальна
- ALM-12014 Partition Lost
- ALM-12015 Partition Filesystem Readonly
- ALM-12016 CPU Usage Exceeds the Threshold
- ALM-12017 Insufficient Disk Capacity
- ALM-12018 Memory Usage Exceeds the Threshold
- ALM-12027 Использование PID хоста превышает порог
- ALM-12028 Количество процессов в состоянии D и Z на хосте превышает порог
- ALM-12033 Slow Disk Fault
- ALM-12034 Ошибка периодического Бэкапа
- ALM-12035 Unknown Data Status After Recovery Task Failure
- ALM-12037 NTP Server Abnormal
- ALM-12038 Monitoring Indicator Dumping Failure
- ALM-12039 Базы данных OMS в режиме Active/Standby не синхронизированы
- ALM-12040 Insufficient System Entropy
- ALM-12041 Incorrect Permission on Key Files
- ALM-12042 Неправильная конфигурация ключевых файлов
- ALM-12043 DNS Parsing Duration Exceeds the Threshold
- ALM-12045 Read Packet Dropped Rate Exceeds the Threshold
- ALM-12046 Write Packet Dropped Rate Exceeds the Threshold
- ALM-12047 Read Packet Error Rate Exceeds the Threshold
- ALM-12048 Write Packet Error Rate Exceeds the Threshold
- ALM-12049 Network Read Throughput Rate Exceeds the Threshold
- ALM-12050 Network Write Throughput Rate Exceeds the Threshold
- ALM-12051 Disk Inode Usage Exceeds the Threshold
- ALM-12052 TCP Temporary Port Usage Exceeds the Threshold
- ALM-12053 Host File Handle Usage Exceeds the Threshold
- ALM-12054 Invalid Certificate File
- ALM-12055 Certificate File Is About to Expire
- ALM-12057 Метаданные не настроены для задачи периодического резервного копирования данных на сторонний сервер
- ALM-12061 Process Usage Exceeds the Threshold
- ALM-12062 OMS Parameter Configurations Mismatch with the Cluster Scale
- ALM-12063 Unavailable Disk
- ALM-12064 Host Random Port Range Conflicts with Cluster Used Port
- ALM-12066 Доверительные отношения между узлами становятся недействительными
- ALM-12067 Tomcat Resource Is Abnormal
- ALM-12068 ACS Resource Exception
- ALM-12069 AOS Resource Exception
- ALM-12070 Controller Resource Is Abnormal
- ALM-12071 Httpd Resource Is Abnormal
- ALM-12072 FloatIP Resource Is Abnormal
- ALM-12073 CEP Resource Is Abnormal
- ALM-12074 FMS Resource Is Abnormal
- ALM-12075 PMS Resource Is Abnormal
- ALM-12076 GaussDB Resource Is Abnormal
- ALM-12077 User omm Expired
- ALM-12078 Password of User omm Expired
- ALM-12079 User omm Is About to Expire
- ALM-12080 Password of User omm Is About to Expire
- ALM-12081 User ommdba Expired
- ALM-12082 Пользователь ommdba скоро истекает
- ALM-12083 Password of User ommdba Is About to Expire
- ALM-12084 Password of User ommdba Expired
- ALM-12085 Service Audit Log Dump Failure
- ALM-12087 System Is in the Upgrade Observation Period
- ALM-12089 Inter-Node Network Is Abnormal
- ALM-12091 Аномальные ресурсы катастрофы
- ALM-12101 AZ Unhealthy
- ALM-12102 AZ HA Component Is Not Deployed Based on DR Requirements
- ALM-12103 Executor Resource Exception
- ALM-12104 Аномальные ресурсы Knox
- ALM-12110 Не удалось получить временный AK/SK ECS
- ALM-12172 Failed to Report Metrics to Cloud Eye
- ALM-12180 Suspended Disk I/O
- ALM-12186 CGroup Task Usage Exceeds the Threshold
- ALM-12187 Failed to Expand Disk Partition Capacity
- ALM-12188 diskmgt Недоступен мониторинг диска
- ALM-12190 Количество соединений Knox превышает порог
- ALM-12191 Disk I/O Usage превышает порог
- ALM-12192 нагрузка хоста превышает порог
- ALM-12200 Пароль скоро истечет
- ALM-12201 Использование CPU процесса превышает порог
- ALM-12202 Использование памяти процесса превышает порог
- ALM-12203 Process Full GC Duration Exceeds the Threshold
- ALM-12204 Wait Duration of a Disk Read Exceeds the Threshold
- ALM-12205 Длительность ожидания записи на диск превышает порог
- ALM-12206 Password Has Expired
- ALM-12207 Slow Disk Processing Timeout
- ALM-12208 Слишком много полных GC для процесса NodeAgent
- ALM-12209 Too Many Full GCs for OMS Processes
- ALM-12210 Host Semaphore Set Usage превышает порог
- ALM-12217 Cluster User Conflict
- ALM-13011 Количество превышений порога fsync ZooKeeper превышает порог
- ALM-13000 ZooKeeper Service Unavailable
- ALM-13001 Available ZooKeeper Connections Are Insufficient
- ALM-13002 ZooKeeper Direct Memory Usage Exceeds the Threshold
- ALM-13003 GC Duration of the ZooKeeper Process Exceeds the Threshold
- ALM-13004 ZooKeeper Heap Memory Usage Exceeds the Threshold
- ALM-13005 Failed to Set the Quota of Top Directories of ZooKeeper Components
- ALM-13006 Число Znode или ёмкость превышает порог
- ALM-13007 Available ZooKeeper Client Connections Are Insufficient
- ALM-13008 ZooKeeper Znode Usage Exceeds the Threshold
- ALM-13009 ZooKeeper Znode Capacity Usage превышает порог
- ALM-13010 Znode Usage of a Directory with Quota Configured Exceeds the Threshold
- ALM-14000 HDFS Service Unavailable
- ALM-14001 HDFS Disk Usage Exceeds the Threshold
- ALM-14002 DataNode Disk Usage Exceeds the Threshold
- ALM-14003 Number of Lost HDFS Blocks Exceeds the Threshold
- ALM-14006 Number of HDFS Files Exceeds the Threshold
- ALM-14007 NameNode Heap Memory Usage превышает порог
- ALM-14008 DataNode Heap Memory Usage превышает порог
- ALM-14009 Number of Dead DataNodes Exceeds the Threshold
- ALM-14010 NameService Service Is Abnormal
- ALM-14011 DataNode Data Directory настроен неправильно
- ALM-14012 JournalNode Is Out of Synchronization
- ALM-14013 Failed to Update the NameNode FsImage File
- ALM-14014 NameNode GC Time Exceeds the Threshold
- ALM-14015 DataNode GC Time Exceeds the Threshold
- ALM-14016 DataNode Direct Memory Usage превышает порог
- ALM-14017 NameNode Direct Memory Usage Exceeds the Threshold
- ALM-14018 Использование памяти вне кучи NameNode превышает порог
- ALM-14019 DataNode Non-heap Memory Usage Exceeds the Threshold
- ALM-14020 Число записей в каталоге HDFS превышает порог
- ALM-14021 NameNode Среднее время обработки RPC превышает порог
- ALM-14022 NameNode Average RPC Queuing Time Exceeds the Threshold
- ALM-14023 Процент общего зарезервированного дискового пространства для реплик превышает порог
- ALM-14024 Tenant Space Usage Exceeds the Threshold
- ALM-14025 Превышение порога использования файловых объектов тенантом
- ALM-14026 Blocks on DataNode Exceed the Threshold
- ALM-14027 DataNode Disk Fault
- ALM-14028 Number of Blocks to Be Supplemented Exceeds the Threshold
- ALM-14029 Number of Blocks in a Replica Exceeds the Threshold
- ALM-14030 HDFS Allows Write of Single-Replica Data
- ALM-14031 Процесс DataNode находится в аномальном состоянии
- ALM-14032 Процесс JournalNode аномален
- ALM-14033 ZKFC Process Is Abnormal
- ALM-14034 Router Process ненормален
- ALM-14035 процесс HttpFS находится в аномальном состоянии
- ALM-14036 NameNode находится в безопасном режиме
- ALM-14037 DataNodes Outside the Cluster
- ALM-14038 Router Heap Memory Usage Exceeds the Threshold
- ALM-14039 Slow DataNodes Exist in the Cluster
- ALM-14040 Number of Slow SyncWriterOsCache on HDFS DataNodes Per Second Exceeds the Threshold
- ALM-14041 Количество медленных операций WriteDataToDisk на HDFS DataNodes в секунду превышает порог
- ALM-14042 Среднее время обработки RPC маршрутизатором превышает порог
- ALM-14043 Среднее время очереди RPC роутера превышает порог
- ALM-14044 XceiverCount Value Exceeds the Threshold
- ALM-14045 Среднее время операции ReadBlock превышает порог
- ALM-14046 Среднее время операции WriteBlock превышает порог
- ALM-16000 Процент сеансов, подключенных к HiveServer, к максимальному разрешенному количеству, превышает порог
- ALM-16001 Использование пространства Hive Warehouse превышает порог
- ALM-16002 Hive SQL Execution Success Rate Is Lower Than the Threshold
- ALM-16003 Использование фонового потока превышает порог
- ALM-16004 Hive Service Unavailable
- ALM-16005 The Heap Memory Usage of the Hive Process Exceeds the Threshold
- ALM-16006 The Direct Memory Usage of the Hive Process Exceeds the Threshold
- ALM-16007 Hive GC Time превышает порог
- ALM-16008 Non-Heap Memory Usage of the Hive Process Exceeds the Threshold
- ALM-16009 Map Number Exceeds the Threshold
- ALM-16045 Hive Data Warehouse Is Deleted
- ALM-16046 Разрешение Hive Data Warehouse изменено
- ALM-16047 HiveServer был удалён из ZooKeeper
- ALM-16048 Tez or Spark Library Path Does Not Exist
- ALM-16051 Процент сеансов, подключенных к MetaStore, превышает порог
- ALM-16052 Задержка MetaStore при доступе к Meta Database во время создания таблицы превышает порог
- ALM-16053 Среднее время отправки HQL в Hive за последние 5 минут превышает порог
- ALM-16054 HiveServer Connection Is Rate Limited
- ALM-16055 Hive не удалось получить доступ к каталогу хранилища данных
- ALM-17003 Oozie Service Unavailable
- ALM-17004 Oozie использование памяти кучи превышает порог
- ALM-17005 Oozie использование памяти вне кучи превышает порог
- ALM-17006 Oozie Прямое использование памяти превышает порог
- ALM-17007 Время сборки мусора (GC) процесса Oozie превышает порог
- ALM-17008 Аномальное соединение между Oozie и ZooKeeper
- ALM-17009 Аномальное соединение между Oozie и DBService
- ALM-17010 Аномальное соединение между Oozie и HDFS
- ALM-17011 Аномальное соединение между Oozie и Yarn
- ALM-18000 Yarn Service Unavailable
- ALM-18002 NodeManager Heartbeat Lost
- ALM-18003 NodeManager Unhealthy
- ALM-18008 Использование кучи памяти ResourceManager превышает порог
- ALM-18009 Использование кучи памяти JobHistoryServer превышает порог
- ALM-18010 ResourceManager GC Time превышает порог
- ALM-18011 NodeManager GC Time Exceeds the Threshold
- ALM-18012 JobHistoryServer GC Time Exceeds the Threshold
- ALM-18013 ResourceManager Прямое использование памяти превышает порог
- ALM-18014 NodeManager Прямое использование памяти превышает порог
- ALM-18015 JobHistoryServer Direct Memory Usage превышает порог
- ALM-18016 Non Heap Memory Usage of ResourceManager Exceeds the Threshold
- ALM-18017 Non Heap Memory Usage of NodeManager Exceeds the Threshold
- ALM-18018 NodeManager Heap Memory Usage Exceeds the Threshold
- ALM-18019 Non Heap Memory Usage of JobHistoryServer Exceeds the Threshold
- ALM-18020 Yarn Task Execution Timeout
- ALM-18021 Mapreduce Service Недоступен
- ALM-18022 Insufficient Yarn Queue Resources
- ALM-18023 Число ожидающих задач Yarn превышает порог
- ALM-18024 Ожидаемое использование памяти Yarn превышает порог
- ALM-18025 Число завершённых задач Yarn превышает порог
- ALM-18026 Number of Failed Yarn Tasks Exceeds the Threshold
- ALM-18027 JobHistoryServer Process Is Abnormal
- ALM-18028 TimeLineServer Process Is Abnormal
- ALM-18029 Общий размер файлов в каталоге Yarn-nm-state NodeManager превышает порог
- ALM-18030 Container's Failure Ratio на NodeManager превышает порог
- ALM-18031 Ошибка повышения активного узла TimelineServer
- ALM-18032 JobHistoryServer Active Node Promotion Failed
- ALM-19000 HBase Service Unavailable
- ALM-19006 HBase Replication Sync Failed
- ALM-19007 HBase GC Time Exceeds the Threshold
- ALM-19008 Использование кучи памяти процесса HBase превышает порог
- ALM-19009 Прямое использование памяти процесса HBase превышает порог
- ALM-19011 RegionServer Region Number Exceeds the Threshold
- ALM-19012 HBase System Table Directory or File Lost
- ALM-19013 Duration of Regions in transaction State Exceeds the Threshold
- ALM-19014 Capacity Quota Usage on ZooKeeper Exceeds the Threshold Severely
- ALM-19015 Quantity Quota Usage on ZooKeeper Exceeds the Threshold
- ALM-19016 Quantity Quota Usage on ZooKeeper Exceeds the Threshold Severely
- ALM-19017 Использование квоты емкости в ZooKeeper превышает порог
- ALM-19018 HBase Compaction Queue Size превышает порог
- ALM-19019 Number of HBase HFiles to Be Synchronized Exceeds the Threshold
- ALM-19020 Число файлов WAL HBase, подлежащих синхронизации, превышает порог
- ALM-19021 Использование обработчиков RegionServer превышает порог
- ALM-19022 HBase Hotspot Detection недоступен
- ALM-19023 Ограничение трафика региона для HBase
- ALM-19024 RPC‑запросы P99‑задержка на RegionServer превышает порог
- ALM-19025 Damaged StoreFile in HBase
- ALM-19026 Повреждённые WAL Files в HBase
- ALM-19030 задержка P99 запросов RPC RegionServer превышает порог
- ALM-19031 Number of RegionServer RPC Connections Exceeds the Threshold
- ALM-19032 Количество задач в очереди записи RPC RegionServer превышает порог
- ALM-19033 Number of Tasks in the RegionServer RPC Read Queue Exceeds the Threshold
- ALM-19034 Number of RegionServer WAL Write Timesouts Exceeds the Threshold
- ALM-19035 Размер очереди вызовов RegionServer превышает порог
- ALM-19036 Bad Blocks Exist in HBase Key Directory Data
- ALM-19037 Количество открытых соединений превышает порог
- ALM-19038 RegionServer Contains Regions with Heavy Write Workload
- ALM-19039 Среднее количество StoreFiles на Store в RegionServer превышает порог
- ALM-19040 Аномальные регионы в HBase
- ALM-20002 Hue Service Unavailable
- ALM-23001 Loader Service Unavailable
- ALM-23003 Loader Task Execution Failure
- ALM-23004 Loader Heap Memory Usage Exceeds the Threshold
- ALM-23005 Loader Non-Heap Memory Usage Exceeds the Threshold
- ALM-23006 Loader Direct Memory Usage превышает порог
- ALM-23007 Время сборки мусора (GC) процесса Loader превышает порог
- ALM-24000 Flume Service Unavailable
- ALM-24001 Flume Agent Exception
- ALM-24003 Flume Client Connection Interrupted
- ALM-24004 Exception Occurs When Flume Reads Data
- ALM-24005 Исключение возникает при передаче данных Flume
- ALM-24006 Использование кучи памяти Flume Server превышает порог
- ALM-24007 Прямое использование памяти Flume Server превышает порог
- ALM-24008 Flume Server использование памяти вне кучи превышает порог
- ALM-24009 Flume Server Garbage Collection (GC) Time Exceeds the Threshold
- ALM-24010 Flume Certificate File Is Invalid or Damaged
- ALM-24011 Flume Certificate File Is About to Expire
- ALM-24012 Flume Certificate File Has Expired
- ALM-24013 Flume MonitorServer Certificate File Is Invalid or Damaged
- ALM-24014 Flume MonitorServer Certificate скоро истечёт
- ALM-24015 Flume MonitorServer Certificate File Has Expired
- ALM-25000 LdapServer Service Unavailable
- ALM-25004 Ненормальная синхронизация данных LdapServer
- ALM-25005 nscd Service Exception
- ALM-25006 Sssd Service Exception
- ALM-25007 Number of SlapdServer Connections Exceeds the Threshold
- ALM-25008 SlapdServer использование CPU превышает порог
- ALM-25500 KrbServer Service недоступен
- ALM-25501 Too Many KerberosServer Requests
- ALM-26051 Storm Service Unavailable
- ALM-26052 Number of Available Supervisors of the Storm Service Is Less Than the Threshold
- ALM-26053 Использование слотов Storm превышает порог
- ALM-26054 Nimbus Heap Memory Usage Exceeds the Threshold
- ALM-27001 DBService Service Unavailable
- ALM-27003 DBService Прерывание сигнала Heartbeat между активным и резервным узлами
- ALM-27004 Несоответствие данных между активным и резервным DBService
- ALM-27005 Использование соединений с базой данных превышает порог
- ALM-27006 Использование дискового пространства каталога данных превышает порог
- ALM-27007 Database Enters the Read-Only Mode
- ALM-27008 Total Number of Long Transactions in DBService Exceeds the Threshold
- ALM-27009 Средняя продолжительность выполнения SQL превышает порог
- ALM-27010 DBService Превышение порога использования файловых дескрипторов базы данных
- ALM-27011 Number of DBService Database Deadlocks Exceeds the Threshold
- ALM-27012 Время отклика 80% запросов SQL в базе данных превышает порог
- ALM-27013 Response Time of 95% SQL Queries in the Database Exceeds the Threshold
- ALM-29000 Impala Service Unavailable
- ALM-29004 Использование памяти процесса Impalad превышает порог
- ALM-29005 Количество JDBC‑соединений с Impalad превышает порог
- ALM-29006 Число ODBC‑соединений с Impalad превышает порог
- ALM-29007 Impalad Process Memory Usage Exceeds the Threshold
- ALM-29008 Число ODBC‑соединений с Impalad превышает порог
- ALM-29010 Число запросов, отправляемых Impalad, превышает порог
- ALM-29011 Number of Queries Being Executed by Impalad Exceeds the Threshold
- ALM-29012 Количество запросов, ожидающих выполнения в Impalad, превышает порог
- ALM-29013 Impalad Время FGC превышает порог
- ALM-29014 Catalog FGC Time превышает порог
- ALM-29015 Catalog Process Memory Usage Exceeds the Threshold
- ALM-29016 Impalad Instance в Sub-healthy State
- ALM-29100 Kudu Service Unavailable
- ALM-29104 Использование памяти процесса Tserver превышает порог
- ALM-29106 Использование CPU процесса Tserver превышает порог
- ALM-29107 Использование памяти процесса Tserver превышает порог
- ALM-38000 Kafka Service Unavailable
- ALM-38001 Insufficient Kafka Disk Capacity
- ALM-38002 Kafka Heap Memory Usage Exceeds the Threshold
- ALM-38004 Kafka Direct Memory Usage Exceeds the Threshold
- ALM-38005 продолжительность GC процесса Broker Process превышает порог
- ALM-38006 Процент разделов Kafka, которые не полностью синхронизированы, превышает порог
- ALM-38007 Состояние пользователя Kafka по умолчанию аномально
- ALM-38008 Abnormal Kafka Data Directory Status
- ALM-38009 Busy Broker Disk I/Os
- ALM-38010 Темы с одной репликой
- ALM-38011 Использование подключений пользователя к Broker превышает порог
- ALM-38012 Количество разделов Broker превышает порог
- ALM-38013 Задержка запросов Produce в очереди запросов превышает порог
- ALM-38014 Общая задержка запросов Produce превышает порог
- ALM-38015 Fetch Request Latency in the Request Queue Exceeds the Threshold
- ALM-38016 Total Fetch Request Latency Exceeds the Threshold
- ALM-38017 Partition Reassignment Duration Exceeds the Threshold
- ALM-38018 Kafka Consumer Lag
- ALM-38019 Слишком много полных сборок мусора для процессов брокера
- ALM-38020 Аномальный трафик производства Kafka
- ALM-43001 Spark2x Service Unavailable
- ALM-43006 Использование кучи памяти процесса JobHistory2x превышает порог
- ALM-43007 Non-Heap Memory Usage of the JobHistory2x Process Exceeds the Threshold
- ALM-43008 Прямое использование памяти процесса JobHistory2x превышает порог
- ALM-43009 JobHistory2x Process время GC превышает порог
- ALM-43010 Heap Memory Usage of the JDBCServer2x Process Exceeds the Threshold
- ALM-43011 Использование памяти Non-Heap процесса JDBCServer2x превышает порог
- ALM-43012 Прямое использование кучи памяти процесса JDBCServer2x превышает порог
- ALM-43013 JDBCServer2x Process GC Time Exceeds the Threshold
- ALM-43017 JDBCServer2x Process Full GC Number превышает порог
- ALM-43018 JobHistory2x Process Full GC Number превышает порог
- ALM-43019 Heap Memory Usage of the IndexServer2x Process Exceeds the Threshold
- ALM-43020 Использование памяти вне кучи процесса IndexServer2x превышает порог
- ALM-43021 Прямое использование памяти процесса IndexServer2x превышает порог
- ALM-43022 IndexServer2x Время GC процесса превышает порог
- ALM-43023 IndexServer2x Process Full GC Number превышает порог
- ALM-43028 JDBCServer переполнение сеанса
- ALM-43029 JDBCServer Job Submission Timed Out
- ALM-44004 Presto Coordinator Resource Group Queuing Tasks Exceed the Threshold
- ALM-44005 Presto Coordinator Process GC Time Exceeds the Threshold
- ALM-44006 Presto Worker Process GC Time Exceeds the Threshold
- ALM-45000 HetuEngine Service Unavailable
- ALM-45001 Неисправные HetuEngine Compute Instances
- ALM-45003 HetuEngine QAS Disk Capacity Is Insufficient
- ALM-45004 Задачи, накопившиеся на вычислительном инстансе HetuEngine
- ALM-45005 использование CPU инстанса HetuEngine Compute превысило порог
- ALM-45006 Использование памяти HetuEngine Compute Instance превысило порог
- ALM-45007 Количество Workers у Compute Instance HetuEngine меньше порогового значения
- ALM-45008 Задержка запросов HetuEngine Compute Instances превышает порог
- ALM-45009 Уровень отказов задач у HetuEngine Compute Instances превышает порог
- ALM-45010 HSBroker GC Duration Exceeds the Threshold
- ALM-45011 HSConsole GC Duration превышает порог
- ALM-45012 HSFabric GC Duration Exceeds the Threshold
- ALM-45175 Среднее время вызова OBS Metadata APIs превышает порог
- ALM-45176 Успешность вызовов OBS Metadata APIs ниже порога
- ALM-45177 Успешность вызова API чтения данных OBS ниже порога
- ALM-45178 Уровень успешных вызовов API записи данных OBS ниже порога
- ALM-45179 Количество неудачных вызовов OBS readFully API превышает порог
- ALM-45180 Число неудачных запросов чтения OBS API превышает порог
- ALM-45181 Количество неудачных OBS write API Calls превышает порог
- ALM-45182 Количество ограниченных операций OBS превышает порог
- ALM-45275 Ranger Service Unavailable
- ALM-45276 Аномальный RangerAdmin Status
- ALM-45277 RangerAdmin Heap Memory Usage Exceeds the Threshold
- ALM-45278 RangerAdmin Прямое использование памяти превышает порог
- ALM-45279 RangerAdmin Использование памяти Non Heap превышает порог
- ALM-45280 RangerAdmin GC Duration Exceeds the Threshold
- ALM-45281 UserSync использование кучи памяти превышает порог
- ALM-45282 Прямое использование памяти UserSync превышает порог
- ALM-45283 UserSync Non Heap Memory Usage Exceeds the Threshold
- ALM-45284 Время сборки мусора (GC) процесса UserSync превышает порог
- ALM-45285 TagSync Heap Memory Usage Exceeds the Threshold
- ALM-45286 TagSync Прямое использование памяти превышает порог
- ALM-45287 TagSync Non Heap Memory Usage Exceeds the Threshold
- ALM-45288 TagSync Garbage Collection (GC) Time Exceeds the Threshold
- ALM-45289 PolicySync Heap Memory Usage превышает порог
- ALM-45290 PolicySync Прямое использование памяти превышает порог
- ALM-45291 PolicySync Non-Heap Memory Usage превышает порог
- ALM-45292 PolicySync GC Duration Exceeds the Threshold
- ALM-45293 Исключение синхронизации пользователя Ranger
- ALM-45294 Процесс RangerKMS находится в ненормальном состоянии
- ALM-45425 ClickHouse Service Unavailable
- ALM-45426 Превышение порога использования квоты количества сервиса ClickHouse в ZooKeeper
- ALM-45427 Использование квоты ёмкости сервиса ClickHouse в ZooKeeper превышает порог
- ALM-45428 ClickHouse Disk I/O Exception
- ALM-45429 Table Metadata Synchronization Failed on the Added ClickHouse Node
- ALM-45430 Синхронизация метаданных разрешений не удалась на добавленном узле ClickHouse
- ALM-45431 Неправильное распределение ClickHouse Instance для распределения топологии
- ALM-45432 Процесс синхронизации пользователей ClickHouse завершился с ошибкой
- ALM-45433 ClickHouse AZ Topology Exception
- ALM-45434 Одна реплика существует в таблице данных ClickHouse
- ALM-45435 Несоответствующие метаданные таблиц ClickHouse
- ALM-45436 Skew ClickHouse Table Data
- ALM-45437 Чрезмерное количество частей в таблице ClickHouse
- ALM-45438 Использование диска ClickHouse превышает 80%
- ALM-45439 ClickHouse Node переходит в Read-Only Mode
- ALM-45440 Несоответствие между репликами ClickHouse
- ALM-45441 Zookeeper Disconnected
- ALM-45442 Слишком много одновременных SQL‑операторов
- ALM-45443 Медленные SQL Queries в Кластере
- ALM-45444 Аномальный ClickHouse Process
- ALM-45445 Не удалось отправить файлы данных на удалённые шарды при записи ClickHouse в распределённую таблицу
- ALM-45446 Задача мутации ClickHouse не завершена длительное время
- ALM-45447 ClickHouse Таблица только для чтения
- ALM-45448 Быстрое увеличение количества Znodes, используемых ClickHouse
- ALM-45449 Число счётчика zxid, используемого ClickHouse, превышает порог
- ALM-45450 ClickHouse Не удалось получить временные учетные данные агентства
- ALM-45451 ClickHouse не удалось получить доступ к OBS
- ALM-45452 Локальное дисковое пространство ClickHouse ниже порога разделения холодного и горячего
- ALM-45453 Keeper Disconnected
- ALM-45454 ClickHouse имеет таблицы с слишком частыми записями данных
- ALM-45455 Неравномерная нагрузка среди ClickHouse Nodes
- ALM-45456 ClickHouse Distributed DDL Task Not Completed Within Expected Time
- ALM-45457 Накопленные задачи в очереди репликации ClickHouse
- ALM-45458 Накопленные задачи мутации в ClickHouse
- ALM-45459 ClickHouse Failed to Set the Table to Read-Only
- ALM-45475 В таблице данных Kudu обнаружена одна реплика
- ALM-45476 Kudu не удалось перейти в режим обслуживания
- ALM-45477 Failed to Restore Data After a Disk of Kudu Is Replaced
- ALM-45478 Kudu Failed Data Balancing
- ALM-45479 Number of Tablets of the Tserver Process Exceeds the Threshold
- ALM-45480 Tablet Leaders of a Tserver Process Are Unevenly Distributed
- ALM-45481 KuduTserver Has Full Disks
- ALM-45585 IoTDB Service Unavailable
- ALM-45586 IoTDBServer использование кучи памяти превышает порог
- ALM-45587 IoTDBServer GC Duration Exceeds the Threshold
- ALM-45588 IoTDBServer Прямое использование памяти превышает порог
- ALM-45589 ConfigNode Heap Memory Usage Exceeds the Threshold
- ALM-45590 ConfigNode GC Duration Exceeds the Threshold
- ALM-45591 ConfigNode Direct Memory Usage Exceeds the Threshold
- ALM-45592 IoTDBServer RPC Execution Duration Exceeds the Threshold
- ALM-45593 IoTDBServer Время выполнения Flush превышает порог
- ALM-45594 IoTDBServer Intra-Space Merge Duration Exceeds the Threshold
- ALM-45595 IoTDBServer продолжительность объединения между пространствами превышает порог
- ALM-45596 Procedure Execution Failed
- ALM-45615 CDL Service Unavailable
- ALM-45616 CDL Job Execution Exception
- ALM-45617 Data Queued in the CDL Replication Slot Exceeds the Threshold
- ALM-45635 FlinkServer Job Execution Failure
- ALM-45636 FlinkServer Job Checkpoints продолжают падать
- ALM-45636 Flink Job Checkpoints продолжают падать
- ALM-45637 FlinkServer Task Is Continuously Under Back Pressure
- ALM-45638 Число перезапусков после сбоев задач FlinkServer превышает порог
- ALM-45638 Number of Restarts After Flink Job Failures Exceeds the Threshold
- ALM-45639 Чекпоинтинг задачи Flink истекает
- ALM-45640 FlinkServer Прерывание Heartbeat между активным и резервным узлами
- ALM-45641 Исключение синхронизации данных между активным и резервным узлами FlinkServer
- ALM-45642 RocksDB постоянно инициирует ограничение записи трафика
- ALM-45643 Размер MemTable в RocksDB постоянно превышает порог
- ALM-45644 Количество SST Files на Level 0 RocksDB постоянно превышает порог
- ALM-45645 Размер ожидающего сброса RocksDB постоянно превышает порог
- ALM-45646 Размер ожидающей компакции RocksDB постоянно превышает порог
- ALM-45647 Оценочный размер ожидающей компакции RocksDB постоянно превышает порог
- ALM-45648 RocksDB часто сталкивается с Write-Stopped
- ALM-45649 P95 задержка запросов RocksDB Get постоянно превышает порог
- ALM-45650 P95 задержка запросов записи RocksDB постоянно превышает порог
- ALM-45652 Flink Service Unavailable
- ALM-45653 Invalid Flink HA Certificate File
- ALM-45654 Flink HA сертификат скоро истечет
- ALM-45655 Flink HA Certificate File Has Expired
- ALM-45656 Частота Full GC процесса Flink Job превышает порог
- ALM-45657 FlinkServer SQL Gateway недоступен
- ALM-45736 Guardian Service Unavailable
- ALM-45737 TokenServer использование памяти кучи превышает порог
- ALM-45738 TokenServer Прямое использование памяти превышает порог
- ALM-45739 TokenServer Использование памяти вне кучи превышает порог
- ALM-45740 TokenServer GC Duration Exceeds the Threshold
- ALM-45741 Failed to Call the ECS securitykey API
- ALM-45742 Failed to Call the ECS Metadata API
- ALM-45743 Failed to Call the IAM API
- ALM-45744 Среднее время обработки RPC сервера Guardian TokenServer превышает порог
- ALM-45745 Среднее время очереди RPC сервиса Guardian TokenServer превышает порог
- ALM-47001 MemArtsCC Service Unavailable
- ALM-47002 MemArtsCC Disk Fault
- ALM-47003 Использование памяти процесса MemArtsCC Worker Process превышает порог
- ALM-47004 Средняя задержка запросов чтения MemArtsCC Worker превышает порог
- ALM-50201 Doris Service Unavailable
- ALM-50202 FE CPU Usage Exceeds the Threshold
- ALM-50203 Использование памяти FE превышает порог
- ALM-50205 BE CPU Usage Exceeds the Threshold
- ALM-50206 BE Memory Usage Exceeds the Threshold
- ALM-50207 Ratio of Connections to the FE MySQL Port to the Maximum Connections Allowed Exceeds the Threshold
- ALM-50208 Неудачи при очистке файлов образов исторических метаданных превышают порог
- ALM-50209 Сбой при генерации файлов образов метаданных превышает порог
- ALM-50210 Maximum Compaction Score of All BE Nodes Exceeds the Threshold
- ALM-50211 FE Queue Length of BE Periodic Report Tasks Exceeds the Threshold
- ALM-50212 Накопленная длительность GC старого поколения процесса FE превышает порог
- ALM-50213 Количество задач, ожидающих в FE Thread Pool для взаимодействия с BE, превышает порог
- ALM-50214 Количество задач, ожидающих в пуле потоков FE для обработки задач, превышает порог
- ALM-50215 Longest Duration of RPC Requests Received by Each FE Thrift Method Exceeds the Threshold
- ALM-50216 Использование памяти узла FE превышает порог
- ALM-50217 Heap Memory Usage of the FE Node Exceeds the Threshold
- ALM-50219 Длина очереди в пуле потоков выполнения запросов превышает порог
- ALM-50220 Ошибочная частота получения TCP‑пакетов превышает порог
- ALM-50221 BE Диск с данными: использование превышает порог
- ALM-50222 Состояние диска указанной директории данных на BE является аномальным
- ALM-50223 Maximum Memory Required by BE Is Greater Than the Remaining Memory of the Machine
- ALM-50224 Ошибки определённого типа задачи на BE увеличиваются
- ALM-50225 Unavailable FE Instances
- ALM-50226 Unavailable BE Instances
- ALM-50227 Одновременные запросы арендатора Doris превышают порог
- ALM-50228 Использование памяти Doris Tenant превышает порог
- ALM-50229 Doris FE не удалось подключиться к OBS
- ALM-50230 Doris BE не может подключиться к OBS
- ALM-50231 Обнаружены аномальные планшеты в Doris
- ALM-50232 Large Tablets in Doris
- ALM-50401 Number of JobServer Jobs Waiting to Be Executed Exceeds the Threshold
- ALM-50402 JobGateway Service Unavailable
- ALM-50403 Slow Job Submission on JobServer
- ALM-50404 Медленный запрос задания на JobServer
- ALM-50405 Slow Job Stop on JobServer
- ALM-50406 Уровень отказов API отправки заданий JobServer превышает порог
- ALM-50407 Уровень отказов API запроса заданий JobServer превышает порог
- ALM-50408 Уровень отказов API завершения задания JobServer превышает порог
- ALM-50801 Mplog Usage Exceeds the Threshold
- ALM-50802 Использование диска превышает порог
- ALM-50803 StoreWorker Write Latency Exceeds the Threshold
- ALM-50804 StoreWorker задержка чтения превышает порог
- ALM-50805 Latency for StoreWorker Writes to ZooKeeper Exceeds the Threshold
- ALM-50806 Задержка чтения StoreWorker из ZooKeeper превышает порог
- ALM-50807 Количество сбоев загрузки StoreMaster превышает порог
- ALM-50808 Количество сбоев StoreMaster при создании пространств превышает порог
- ALM-50809 Latency for StoreMaster to Notify Worker of Data Deletion Exceeds the Threshold
- ALM-50810 Превышен порог количества ошибок чтения StoreWorker из‑за управления потоком
- ALM-50811 Количество сбоев записи StoreWorker из‑за Flow Control превышает порог
- ALM-50814 Процент использования корутины StoreWorker превышает порог
- ALM-50815 Процент использования корутины StoreMaster превышает порог
- ALM-50816 Процент использованных StoreWorker FD относительно сконфигурированного верхнего предела превышает порог
- ALM-50817 Процент использованных StoreMaster FDs относительно настроенного верхнего предела превышает порог
- ALM-50818 Процент сетевых соединений StoreWorker SDK к настроенному верхнему пределу превышает порог
- ALM-50819 Процент сетевых соединений StoreMaster SDK к сконфигурированному верхнему пределу превышает порог
- ALM-50820 Memory Usage of the StoreWorker Process Exceeds the Threshold
- ALM-50821 Memory Usage of the StoreMaster Process Exceeds the Threshold
- ALM-50822 No Active Master Node Available
- ALM-50823 Задержка записи StoreWorker в ZooKeeper превышает порог
- ALM-50824 Задержка чтения StoreWorker из ZooKeeper превышает порог
- ALM-50825 MemArtsStore Service Unavailable
- ALM-50826 Соотношение использования ресурса чтения StoreWorker к порогу управления потоком превышает порог
- ALM-50827 Соотношение использования ресурса записи StoreWorker к порогу управления потоком превышает порог
- ALM-50828 StoreWorker Data Loss Errors Exceed the Threshold
- ALM-50829 StoreWorker неудачи аутентификации превышают порог
- ALM-50830 StoreMaster Authentication Failures Exceed the Threshold
- ALM-50831 Total Store Capacity Watermark Exceeds the Threshold
- ALM-50832 Количество сбоев StoreMaster при создании разделов превышает порог
- ALM-50833 Number of StoreMaster Failures to Delete Partitions Exceeds the Threshold
- ALM-50834 Number of StoreMaster Failures to Delete Spaces Exceeds the Threshold
- ALM-50835 MemArtsStore Health Check Failed
- ALM-50840 Количество сбоев Mempool Service превышает порог, потому что одновременные запросы к сервису превышают верхний предел
- ALM-50841 Число сбоев службы Mempool Service превышает порог, потому что запросы службы превышают верхний предел пропускной способности
- ALM-50842 Percentage of Concurrent StoreWorker Writes Exceeds the Threshold
- ALM-50843 StoreWorker Node Communication Exception
- ALM-50844 StoreMaster Node Communication Exception
- ALM-50845 Spark Task Data Skew
Описание безопасности
- Рекомендации по конфигурации безопасности для кластеров с отключённой аутентификацией Kerberos
- Принципы и механизмы аутентификации безопасности
Операции с высоким риском
Подключение Jupyter Notebook к MRS с использованием пользовательского Python
- Обзор
- Установка клиента на узел за пределами кластера
- Установка Python 3
- Настройка MRS Client
- Установка Jupyter Notebook
- Проверка доступа Jupyter Notebook к MRS
- FAQs
FAQs
- Обзор MRS
- Создание кластера
- Account Password
  - Какой пользователь используется для входа в FusionInsight Manager?
  - Как запросить и изменить период действия пароля пользователя в кластере?
- Учетная запись и разрешения
- Использование клиента
  - Как отключить SASL Authentication для ZooKeeper?
  - Что можно сделать, если при выполнении kinit на клиенте за пределами кластера MRS отображается сообщение об ошибке "Permission denied"?
- Доступ к веб-странице
- Alarm Monitoring
- Тонкая настройка производительности
- Разработка задач
- Обновление/патчинг кластера
  - Как обновить кластер MRS?
  - Поддерживает ли MRS обновление версии ядра компонентов в кластере?
- Доступ к кластеру
- Разработка сервиса Big Data
- API
  - Как настроить параметр node_id при вызове API для изменения узлов кластера?
- Cluster Management
- Использование Kerberos
- Управление метаданными
  - Как просмотреть метаданные Hive в MRS?
Устранение неполадок
- Account Permissions
  - Не удалось просмотреть MRS Cluster Details
- Доступ к веб-страницам
  - Failed to Access MRS Manager
  - Не удалось выполнить вход в MRS Manager после обновления Python
  - Не удалось выполнить Log In в MRS Manager после изменения имени домена
  - При входе в Manager отображается пустая страница
- Cluster Management
  - Failed to Reduce Task Nodes
  - OBS Certificate в кластере истёк
  - Замена диска в кластере MRS (применимо к 2.x и более ранним)
  - Замена диска в кластере MRS (применимо к 3.x)
  - Failed to Execute an MRS Backup Task
  - Несоответствие вывода команд df и du на основном узле
  - Отсоединение подсети от сетевого ACL
  - Кластер MRS становится ненормальным после изменения имени хоста узла
  - Процессы завершаются неожиданно
  - Сеть недоступна при установке Python на узле кластера MRS с использованием Pip3
  - Подключение Open-Source confluent-kafka-go к MRS Security Cluster
  - Failed to Download the MRS Cluster Client
  - Сообщается об ошибке при отправке Flink Job в кластере MRS с включённой Kerberos Authentication
  - При выполнении команды Insert в Hive Beeline CLI возникает ошибка
  - Обновление OS для устранения уязвимостей узла кластера MRS
  - В MRS Cluster часто генерируются Алерты, указывающие на прерывание Heartbeat между узлами
  - Высокое использование памяти процесса PMS
  - Высокое использование памяти процессом Knox
  - Доступ к HBase из клиента за пределами кластера безопасности занимает много времени
  - Failed to Submit Jobs
  - Недостаточно места на диске ОС из‑за слишком больших файлов журналов HBase
  - Недостаточно места на диске ОС из‑за слишком больших файлов журналов HDFS
  - Во время обновления спецификаций узлов в кластере MRS происходит исключение
  - Не удалось удалить New Tenant в FusionInsight Manager
  - Кластер MRS становится недоступным после изменения VPC
  - Не удалось Submit Jobs в MRS Console
  - Ошибка "symbol xxx not defined in file libcrypto.so.1.1" отображается при генерации HA сертификата
- Использование Alluixo
  - Сообщение об ошибке "Does not contain a valid host:port authority" отображается, когда Alluixo находится в режиме HA
- Использование ClickHouse
  - ClickHouse не запускается из‑за некорректных данных в ZooKeeper
  - Исключение происходит, когда ClickHouse потребляет данные Kafka
- Использование DBService
  - DBServer Instance находится в аномальном состоянии
  - DBServer Instance остаётся в состоянии Restoring
  - Порт 20050 или 20051 по умолчанию сервиса DBService занят
  - Экземпляр DBServer всегда находится в состоянии Restoring из‑за неправильных разрешений каталога /tmp
  - Failed to Execute a DBService Backup Task
  - Компоненты не смогли подключиться к DBService в нормальном состоянии
  - DBServer Failed to Start
  - DBService Failed to Start Due to the Loss of the DBService Configuration File
- Использование Flink
  - Отображается сообщение об ошибке "Error While Parsing YAML Configuration File: Security.kerberos.login.keytab" при выполнении команды во Flink Client
  - Сообщение об ошибке "Error while parsing YAML configuration file : security.kerberos.login.principal:pippo" отображается при выполнении команды на клиенте Flink
  - Отображается сообщение об ошибке "Could Not Connect to the Leading JobManager" при выполнении команды на Flink Client
  - Не удалось создать Flink кластер, запустив yarn-session от разных пользователей
  - Flink Service Program не может читать файлы на диске NFS
  - Не удалось настроить уровень журнала Flink Log4j
- Использование Flume
  - Класс не найден после того, как Flume отправляет задания в Spark Streaming
  - Failed to Install a Flume Client
  - Flume Client не может подключиться к серверу
  - Данные Flume не могут быть записаны в компонент
  - Ошибка процесса сервера Flume
  - Сбор данных Flume работает медленно
  - Failed to Start Flume
- Использование HBase
  - Медленный отклик при подключении к HBase
  - Failed to Authenticate the HBase User
  - RegionServer Failed to Start Because the Port Is Occupied
  - HBase не удалось запустить из‑за недостаточной памяти узла
  - Сервис HBase недоступен из‑за низкой производительности HDFS
  - HBase не удалось запустить из‑за неправильных настроек параметров
  - RegionServer Failed to Start Due to Residual Processes
  - HBase не удалось запустить из‑за квоты, установленной на HDFS
  - HBase не удалось запустить из‑за повреждённых файлов версии
  - Высокая загрузка CPU, вызванная RegionServer без нагрузки
  - HBase не удалось запустить с "FileNotFoundException" в журналах RegionServer
  - Количество RegionServers, отображаемое на Native Page, превышает фактическое количество после запуска HBase
  - RegionServer Instance Is in the Restoring State
  - HBase Не удалось запустить в недавно установленном кластере
  - Не удалось запустить HBase из‑за потери каталога таблицы ACL
  - HBase не удалось запустить после выключения и включения кластера
  - Не удалось импортировать данные HBase из‑за слишком больших блоков файлов
  - Не удалось загрузить данные в индексную таблицу после создания таблицы HBase с помощью Phoenix
  - Не удалось выполнить команду hbase shell на MRS Cluster Client
  - Неупорядоченный вывод информации в консоли клиента HBase Shell из‑за печати INFO
  - HBase не удалось запустить из‑за недостаточной памяти RegionServer
  - Failed to Start HRegionServer on the Node Newly Added to the Cluster
  - Регион в состоянии RIT длительное время из‑за потери файла HBase
- Использование HDFS
  - HDFS NameNode Instances переходят в режим Standby после изменения порта RPC
  - Сообщается об ошибке, когда клиент HDFS подключается через публичный IP-адрес
  - Не удалось использовать Python для удалённого подключения к порту HDFS
  - Использование емкости HDFS достигает 100 %, вызывая недоступность сервисов верхнего уровня, таких как HBase и Spark
  - Сообщение об ошибке "Permission denied" отображается при запуске HDFS и Yarn
  - Пользователи HDFS могут создавать или удалять файлы в каталогах других пользователей
  - DataNode HDFS всегда находится в состоянии Decommissioning
  - HDFS NameNode не удалось запустить из‑за недостаточного объёма памяти
  - Большое количество блоков теряется в HDFS из‑за изменения времени с помощью ntpdate
  - Использование CPU DataNodes иногда приближается к 100%, вызывая потерю узлов
  - Ручное выполнение чекпоинтов, когда NameNode неисправен длительное время
  - Ошибка "Failed to place enough replicas" возникает при чтении или записи файлов в HDFS
  - Максимальное количество дескрипторов файлов установлено слишком маленьким значением, вызывая исключения при чтении и записи файлов
  - Файл клиента HDFS не закрывается после записи данных
  - Файл не удаётся загрузить в HDFS из‑за ошибок файла
  - После того как dfs.blocksize настроен в UI и данные загружены, размер блока не меняется
  - Файл HDFS не удаётся прочитать, и отображается сообщение об ошибке "FileNotFoundException"
  - Не удалось записать файлы в HDFS, и отображается сообщение об ошибке "item limit of xxx is exceeded"
  - Настройка уровня журналирования клиента HDFS SHDFShell
  - Сбой чтения файла HDFS, и отображается сообщение об ошибке "No common protection layer"
  - Failed to Write Files Because the HDFS Directory Quota Is Insufficient
  - Балансировка не удалась, и отображается сообщение об ошибке "Source and target differ in block-size"
  - Failed to Query or Delete HDFS Files
  - Неравномерное распределение данных из‑за остатков данных, не относящихся к HDFS
  - Неравномерное распределение данных из‑за установки клиента HDFS на DataNode
  - Несбалансированное использование дисков DataNode на узле
  - Поиск распространённых проблем балансировки
  - HDFS отображает недостаток места на диске, но остаётся 10 % места
  - Error Message "error creating DomainSocket" отображается, когда HDFS Client, установленный на Core Node в Normal Cluster, используется
  - Файлы HDFS не удаётся загрузить, когда клиент установлен на узле за пределами кластера
  - Недостаточное количество реплик сообщается при высокой конкурентной записи в HDFS
  - Клиент HDFS не смог удалить слишком длинные каталоги
  - "ALM-12027 Host PID Usage Exceeds the Threshold" создаётся для NameNode
  - ALM-14012 JournalNode Is Out of Synchronization Is Generated in the Cluster
  - Не удалось вывести из эксплуатации DataNode из‑за потери HDFS блока
  - Сообщается об ошибке при использовании DistCP для копирования пустой папки
- Использование Hive
  - Общие журналы Hive
  - Failed to Start Hive
  - При выполнении команды set в Security Cluster отображается сообщение об ошибке "Cannot modify xxx at runtime"
  - Указание очереди при отправке задачи Hive
  - Настройка памяти Map/Reduce на клиенте
  - Указание формата сжатия выходного файла при импорте таблицы Hive
  - Описание таблицы Hive слишком длинное, чтобы полностью отображаться
  - NULL отображается, когда данные вставляются после добавления столбца раздела в таблицу Hive
  - Новый пользователь, созданный в кластере, не имеет разрешения на запрос данных Hive
  - При выполнении SQL для отправки задачи в указанную очередь возникает ошибка
  - При выполнении команды "load data inpath" возникает ошибка
  - При выполнении команды "load data local inpath" возникает ошибка
  - При выполнении команды create external table возникает ошибка
  - При выполнении команды dfs -put в клиенте Beeline сообщается об ошибке
  - Insufficient Permissions to Execute the set role admin Command
  - При создании UDF в клиенте Beeline сообщается об ошибке
  - Разница между Hive Service Health Status и Hive Instance Health Status
  - "authentication failed" отображается при попытке подключения к Shell Client
  - Не удалось получить доступ к ZooKeeper с клиента
  - "Invalid function" отображается при использовании UDF
  - Состояние службы Hive неизвестно
  - Состояние здоровья HiveServer или MetaStore Instance неизвестно
  - Состояние здоровья экземпляра HiveServer или MetaStore вызывает тревогу
  - Искажённые символы возвращаются при запросе, если текстовые файлы сжаты с использованием ARC4
  - Задача Hive не выполнена на клиенте, но успешно выполнена в Yarn
  - Error Message "Execution Error return code 2" отображается при выполнении оператора SELECT
  - Не удалось выполнить drop partition, когда количество разделов велико
  - Не удалось запустить локальную задачу при выполнении операции Join
  - WebHCat Не удаётся запустить после изменения имени хоста
  - Исключение Hive MetaStore возникает, когда количество соединений DBService превышает верхний предел
  - Сообщение об ошибке "Failed to execute session hooks: over max connections" отображается в клиенте Beeline
  - Отображается сообщение об ошибке "OutOfMemoryError" в клиенте Beeline
  - Выполнение задачи не удалось, потому что количество входных файлов превышает порог
  - Выполнение задачи Hive завершается с ошибкой из‑за переполнения памяти стека
  - Задача завершилась неудачей из‑за одновременных записей в одну таблицу или раздел
  - Задача Hive завершилась неудачей из‑за отсутствия разрешения на каталог HDFS
  - Failed to Load Data to Hive Tables
  - HiveServer и HiveHCat Сбои процессов
  - При выполнении Hive оператора insert into сообщается об ошибке
  - Сообщается о тайм‑ауте при добавлении поля таблицы Hive
  - Failed to Restart Hive
  - Не удалось удалить таблицу из‑за избыточного количества разделов Hive
  - Сообщается об ошибке при выполнении msck repair table в Hive
  - Освобождение дискового пространства после удаления таблицы в Hive
  - Превышено время ожидания соединения при выполнении SQL‑запроса в Hive Client
  - WebHCat не удалось запустить из‑за аномального статуса здоровья
  - WebHCat не удалось запустить, потому что файл mapred-default.xml не может быть разобран
  - Сообщается об ошибке SQL, когда количество динамических разделов MetaStore превышает порог
- Использование Hue
  - Неизвестная задача запущена на странице Hue
  - HQL не удаётся выполнить в Hue с использованием Internet Explorer
  - Failed to Access the Hue Web UI
  - Таблицы HBase не могут быть загружены в Hue Web UI
- Использование Impala
  - Не удалось подключиться к impala-shell
  - Failed to Create a Kudu Table
  - Не удалось выполнить вход в Impala Client
- Использование Kafka
  - При запуске клиента Kafka для получения тем сообщается об ошибке
  - Flume обычно подключается к Kafka, но не может отправлять сообщения
  - Producer не может отправить данные, и отображается сообщение об ошибке "NullPointerException"
  - Продюсер не может отправить данные, и отображается сообщение об ошибке "TOPIC_AUTHORIZATION_FAILED"
  - Producer время от времени не может отправить данные, и журнал отображает "Too many open files in system"
  - Consumer успешно инициализирован, но сообщение из указанного Topic не может быть получено из Kafka
  - Consumer не может потреблять данные и остаётся в состоянии Waiting
  - SparkStreaming не может потреблять сообщения Kafka, и отображается "Error getting partition metadata"
  - Потребитель не может потреблять данные в недавно созданном кластере, и отображается сообщение " GROUP_COORDINATOR_NOT_AVAILABLE"
  - SparkStreaming не может потреблять сообщения Kafka, и отображается сообщение "Couldn't find leader offsets"
  - Consumer не может потреблять данные, и отображается сообщение "SchemaException: Error reading field"
  - Потребитель Kafka теряет потребленные данные
  - Failed to Start Kafka Due to Account Lockout
  - Kafka Broker сообщает о ненормальных процессах, а журнал показывает "IllegalArgumentException"
  - Топики Kafka нельзя удалить
  - Ошибка "AdminOperationException" отображается при удалении темы Kafka
  - Когда не удаётся создать Kafka Topic, отображается "NoAuthException"
  - Не удалось установить ACL для Kafka Topic, и отображается "NoAuthException"
  - Когда не удаётся создать Kafka Topic, отображается "NoNode for /brokers/ids"
  - Когда создание Kafka Topic не удаётся, отображается "replication factor larger than available brokers"
  - Потребитель неоднократно потребляет данные
  - Лидер для созданного раздела темы Kafka отображается как none
  - Инструкции по безопасности при использовании Kafka
  - Получение информации о смещении Kafka Consumer
  - Добавление или удаление конфигураций для темы
  - Чтение содержимого внутренней темы __consumer_offsets
  - Настройка журналов для команд оболочки на клиенте Kafka
  - Получение информации о распределении тем
  - Описание использования Kafka HA
  - Kafka Producer записывает записи, превышающие допустимый размер
  - Kafka Consumer читает записи, превышающие размер
  - Высокое использование нескольких дисков на узле кластера Kafka
- Использование Oozie
  - Задания Oozie не запускаются при одновременной отправке большого количества заданий
  - Сообщается об ошибке при планировании HiveSQL заданий Oozie
  - Oozie Tasks не могут быть отправлены с клиента за пределами кластера MRS или могут быть отправлены только через два часа
- Использование Presto
  - Во время конфигурации sql-standard-with-group не удаётся создать схему, и отображается сообщение об ошибке "Access Denied"
  - Процесс координатора Presto не может быть запущен
  - Когда Presto выполняет запрос к таблице Kudu, отображается ошибка, указывающая, что таблица не найдена
  - Данные не найдены в таблице Hive при использовании Presto
  - Error Message "The node may have crashed or be under too much load" отображается во время запроса MRS Presto
  - Доступ к Presto из MRS Cluster через публичную сеть
- Использование Spark
  - Сообщается об ошибке при изменении размера разбиения для запущенного Spark Application
  - Неправильный формат параметра отображается при отправке задачи Spark
  - Spark Job не запускается из‑за неправильного импорта JAR‑файла
  - Spark Job приостановлен из‑за недостаточной памяти или отсутствия JAR‑пакетов
  - Ошибка "ClassNotFoundException" возникает при отправке задачи Spark
  - Driver отображает сообщение, указывающее, что используемая память превышает порог при отправке задачи Spark
  - Ошибка "Can't get the Kerberos realm" возникает при отправке Spark Task в режиме Yarn-Cluster
  - Не удалось запустить spark-sql и spark-shell из‑за несоответствия версии JDK
  - ApplicationMaster не запускается дважды при отправке задачи Spark в режиме Yarn-client
  - Не удалось подключиться к ResourceManager при отправке задачи Spark
  - DataArts Studio не удалось запланировать Spark Jobs
  - Статус задачи отображается как error после отправки Spark‑задачи через API
  - ALM-43006 повторно сообщается для MRS Cluster
  - Не удалось создать или удалить таблицу в Spark Beeline
  - Не удалось подключиться к Driver при отправке Spark‑задачи с узла за пределами кластера
  - Большое количество результатов shuffle теряется во время выполнения задачи Spark
  - Недостаточно места на диске из‑за длительной работы JDBCServer
  - Не удалось загрузить данные в таблицу Hive через файловые системы, используя SQL‑операторы в Spark Shell
  - Сбой отправки задачи Spark
  - Сбой выполнения задачи Spark
  - JDBCServer Connection Failure
  - Failed to View Spark Task Logs
  - Аутентификация не удалась, когда Spark подключается к другим сервисам
  - При использовании spark-beeline для запроса Hive View возникает ошибка
- Использование Sqoop
  - Подключение Sqoop к MySQL
  - Failed to Find the HBaseAdmin.<init> Method When Sqoop Reads Data from the MySQL Database to HBase
  - Сообщается об ошибке при создании задачи Sqoop с использованием Hue для импорта данных из HBase в HDFS
  - При экспорте данных из Hive в MySQL 8.0 с помощью Sqoop сообщается об ошибке формата данных
  - При выполнении команды sqoop import возникает ошибка при извлечении данных из PgSQL в Hive
  - Не удалось использовать Sqoop для чтения данных MySQL и записи файлов Parquet в OBS
  - Сообщается об ошибке при миграции данных базы данных с помощью Sqoop
- Использование Storm
  - Недействительная гиперссылка событий в Storm Web UI
  - Failed to Submit the Storm Topology
  - Failed to Submit the Storm Topology and Message "Failed to check principle for keytab" Is Displayed
  - Журналы Worker пусты после отправки топологии Storm
  - Worker работает аномально после отправки Storm Topology и отображается ошибка "Failed to bind to XXX"
  - "well-known file is not secure" отображается при использовании команды jstack для проверки стека процесса
  - Данные не могут быть записаны в Bolts при использовании Storm-JDBC Plug-in для разработки Oracle Databases
  - При запросе пользователем информации в Storm UI отображается Internal Server Error
- Использование Ranger
  - После включения Ranger Authentication для Hive неавторизованные таблицы и базы данных могут отображаться на странице Hue
- Использование Yarn
  - Большое количество Джоб, занимающих ресурсы после запуска Yarn в кластере
  - Ошибка "GC overhead" возникает при отправке задач с помощью команды hadoop jar на клиенте
  - Дисковое пространство узла исчерпано из‑за слишком больших агрегированных журналов Yarn
  - Временные файлы не удаляются при аномальном завершении задачи MapReduce
  - Неправильная информация о порте клиента Yarn вызывает ошибку "connection refused" после отправки задачи
  - "Could not access logs page!" отображается при запросе журналов заданий в Yarn Web UI
  - Error "ERROR 500" отображается при запросе информации о очереди в Yarn Web UI
  - Количество файлов в каталоге TimelineServer достигает верхнего предела
- Использование ZooKeeper
  - Сообщается об ошибке при использовании клиента MRS для подключения к ZooKeeper
- Разделение хранилища и вычислений
  - Пользователь без разрешения на каталог /tmp не смог выполнить задачу для доступа к OBS
  - Когда клиент Hadoop используется для удаления данных из OBS, у него нет разрешения для каталога .Trash
Приложение
- Меры предосторожности для MRS 3.x
- Установка клиента Flume
  - Установка Flume Client на кластерах версий ранее MRS 3.x
  - Установка Flume Client на кластерах MRS 3.x или более поздних
Практические руководства
- Использование Apache Spark в облаке Advanced
- Создание корпоративного хранилища данных на платформе Advanced с помощью ClickHouse в составе кластера MapReduce
Тарификация

Обзор MRS