Контекст
Метрики производительности, представленные в этом документе, предназначены только для справки. Производительность в вашей среде может зависеть от таких факторов, как производительность источника данных на стороне источника или назначения, пропускная способность сети, задержка и модель данных и сервисов. Рекомендуется протестировать скорость на небольшом объёме данных перед миграцией.
Среда
- Кластер CDM xlarge версии 2.9.1 200
- Таблица, содержащая 50 million rows and 100 columns, а также три HDFS binary files, которые имеют 35.97 million rows and 100 columns, 66.67 million rows and 100 columns и 100 million rows and 100 columns, соответственно.
- Количество одновременных extraction jobs for determining the maximum extraction/write rate: 1, 10, 20, 30 и 50
Data Source Extraction and Write Performance Test Data
Источник данных | Технические характеристики | Версия | Скорость извлечения для одного задания (строк в секунду) | Скорость извлечения для нескольких заданий (строк в секунду) |
|---|---|---|---|---|
RDS for MySQL | 8 vCPUs, 32 GB | MySQL 5.7 | 42,052 | 195,313 (concurrency: 40) |
Oracle | 8 vCPUs, 16 GB | 19C | 18,539 | 18,706 (concurrency: 10) |
MRS HBase | Master: 16 vCPUs, 64 GB x 3 Node: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 6,296 | 69,156 (конкурентность: 30) |
MRS Hive | Мастер: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 22,321 | 170,068 (конкурентность: 30) |
MRS HDFS (двоичные файлы) | Мастер: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 138,727 | 141,468 (конкурентность: 20) |
125,556 | 126,990 (конкурентность: 10) | |||
120,919 | 120,919 (конкурентность: 10) | |||
DWS | 8 vCPUs, 16 GB | 8.1.1.300 | 13,434 | / |
DLI | 16 vCPUs | SQL очередь | 71,023 | 19,290 (конкурентность: 20) |
MRS Hudi (MOR) | Главный: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 64 GB x 3 | MRS 3.2.0 | 75187 | 467,289 (конкурентность: 30) |
MRS Hudi (COW) | Главный: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 64 GB x 3 | MRS 3.2.0 | 84033 | 485,436 (конкурентность: 30) |
ClickHouse | Узел: 8 vCPUs, 32 GB x 2 | ClickHouse 22.3.2.2 | 187265 | / |
Elasticsearch | 4 vCPUs, 8 ГБ x 6 | Elasticsearch 7.10.2 | 28752 | / |
RDS for PostgreSQL | 4 vCPUs, 32 ГБ (active/standby) | PostgreSQL 13.12 | 128865 | 1,351,351 (конкурентность: 30) |
Источник данных | Характеристики | Версия | Скорость записи для одной задачи (строк в секунду) | Скорость записи для нескольких задач (строк в секунду) |
|---|---|---|---|---|
RDS for MySQL | 8 vCPUs, 32 ГБ | MySQL 5.7 | 2,658 | / |
Oracle | 8 vCPUs, 16 GB | 19C | / | / |
MRS HBase | Мастер: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 3,959 | 4,120 (конкурентность: 10) |
MRS Hive | Мастер: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 25,813 | 26,882 (конкурентность: 10) |
MRS HDFS (двоичные файлы) | Мастер: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 32 GB x 3 | MRS 3.1.0 | 65,075 | 90,155 (конкурентность: 10) |
86,248 | 86,248 (конкурентность: 1) | |||
76,687 | 76,687 (конкурентность: 1) | |||
DWS | 8 vCPUs, 16 GB | 8.1.1.300 | 26,624 | 27,902 (конкурентность: 10) |
DLI | 16 vCPUs | SQL очередь | 15,211 | 18,430 (конкурентность: 10) |
MRS Hudi (MOR) | Главный: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 64 GB x 3 | MRS 3.2.0 | 16345 | 183,150 (concurrency: 10) |
MRS Hudi (COW) | Мастер: 16 vCPUs, 64 GB x 3 Узел: 8 vCPUs, 64 GB x 3 | MRS 3.2.0 | 21088 | 88,183 (concurrency: 20) |
ClickHouse | Узел: 8 vCPUs, 32 GB x 2 | ClickHouse 22.3.2.2 | 93984 | / |
Elasticsearch | 4 vCPUs, 8 GB x 6 | Elasticsearch 7.10.2 | 22271 | / |
RDS for PostgreSQL | 4 vCPUs, 32 GB (активный/резервный) | PostgreSQL 13.12 | 34746 | 153,374 (конкурентность: 10) |