Контекст
Метрики производительности, представленные в этом документе, предназначены только для справки. Производительность на вашем сайте может зависеть от таких факторов, как производительность источника данных на стороне источника или назначения, пропускная способность сети, задержка и модель данных и сервиса. Рекомендуется протестировать скорость на небольшом объёме данных перед миграцией.
Среда
- Кластер CDM размера xlarge версии 2.9.1 200
- Таблица, содержащая 50 млн строк и 100 столбцов, а также три бинарных файла HDFS, содержащих соответственно 35,97 млн строк и 100 столбцов, 66,67 млн строк и 100 столбцов и 100 млн строк и 100 столбцов.
- Число одновременных задач извлечения для определения максимальной скорости извлечения/записи: 1, 10, 20, 30 и 50
Данные теста производительности извлечения и записи источника данных
Источник данных | Технические характеристики | Версия | Скорость извлечения для одной задачи (строк в секунду) | Скорость извлечения для нескольких задач (строк в секунду) |
|---|---|---|---|---|
RDS for MySQL | 8 vCPUs, 32 GB | MySQL 5.7 | 42,052 | 195,313 (конкурентность: 40) |
Oracle | 8 vCPUs, 16 GB | 19C | 18,539 | 18,706 (конкурентность: 10) |
MRS HBase | Master: 16 vCPUs, 64 GB x 3 Node: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 6,296 | 69,156 (конкурентность: 30) |
MRS Hive | Master: 16 vCPUs, 64 GB x 3 Node: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 22,321 | 170,068 (конкурентность: 30) |
MRS HDFS (binary files) | Master: 16 vCPUs, 64 GB x 3 Node: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 138,727 | 141,468 (конкурентность: 20) |
125,556 | 126,990 (конкурентность: 10) | |||
120,919 | 120,919 (конкурентность: 10) | |||
DWS | 8 vCPUs, 16 GB | 8.1.1.300 | 13,434 | / |
DLI | 16 vCPUs | SQL очередь | 71,023 | 19,290 (concurrency: 20) |
MRS Hudi (MOR) | Master: 16 vCPUs, 64 GB x 3 Node: 8 vCPUs, 64 GB x 3 | MRS 3.2.0 | 75187 | 467,289 (concurrency: 30) |
MRS Hudi (COW) | Master: 16 vCPUs, 64 GB x 3 Node: 8 vCPUs, 64 GB x 3 | MRS 3.2.0 | 84033 | 485,436 (concurrency: 30) |
ClickHouse | Node: 8 vCPUs, 32 GB x 2 | ClickHouse 22.3.2.2 | 187265 | / |
Elasticsearch | 4 vCPUs, 8 GB x 6 | Elasticsearch 7.10.2 | 28752 | / |
RDS for PostgreSQL | 4 vCPUs, 32 GB (active/standby) | PostgreSQL 13.12 | 128865 | 1,351,351 (concurrency: 30) |
Источник данных | Технические характеристики | Версия | Скорость записи для одной задачи (Строк в секунду) | Скорость записи для нескольких задач (Строк в секунду) |
|---|---|---|---|---|
RDS for MySQL | 8 vCPUs, 32 GB | MySQL 5.7 | 2,658 | / |
Oracle | 8 vCPUs, 16 GB | 19C | / | / |
MRS HBase | Главный: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 3,959 | 4,120 (конкурентность: 10) |
MRS Hive | Главный: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 25,813 | 26,882 (конкурентность: 10) |
MRS HDFS (двоичные файлы) | Главный: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 65,075 | 90,155 (конкурентность: 10) |
86,248 | 86,248 (конкурентность: 1) | |||
76,687 | 76,687 (конкурентность: 1) | |||
DWS | 8 vCPUs, 16 GB | 8.1.1.300 | 26,624 | 27,902 (конкурентность: 10) |
DLI | 16 vCPUs | SQL очередь | 15,211 | 18,430 (конкурентность: 10) |
MRS Hudi (MOR) | Мастер: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 64 GB x 3 | MRS 3.2.0 | 16345 | 183,150 (конкурентность: 10) |
MRS Hudi (COW) | Главный: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 64 GB x 3 | MRS 3.2.0 | 21088 | 88,183 (конкурентность: 20) |
ClickHouse | Узел: 8 vCPUs, 32 GB x 2 | ClickHouse 22.3.2.2 | 93984 | / |
Elasticsearch | 4 vCPUs, 8 GB x 6 | Elasticsearch 7.10.2 | 22271 | / |
RDS for PostgreSQL | 4 vCPUs, 32 GB (активный/резервный) | PostgreSQL 13.12 | 34746 | 153,374 (конкурентность: 10) |