Облачная платформаВсе платформы

Ссылка: CDM Performance Test Data

Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

Фон

Показатели производительности, представленные в этом документе, предназначены только для справки. Производительность в вашей среде может зависеть от факторов, таких как производительность источника данных на стороне источника или назначения, пропускная способность сети, задержка и модель данных и сервисов. Рекомендуется протестировать скорость на небольшом объёме данных перед миграцией.

Окружение

  • Кластер CDM xlarge версии 2.9.1 200
  • Таблица, содержащая 50 млн строк и 100 столбцов, а также три бинарных файла HDFS, содержащих соответственно 35,97 млн строк и 100 столбцов, 66,67 млн строк и 100 столбцов и 100 млн строк и 100 столбцов.
  • Количество одновременных заданий извлечения для определения максимальной скорости извлечения/записи: 1, 10, 20, 30 и 50

Тестовые данные производительности извлечения и записи источника данных

Таблица 1 and Таблица 2 предоставляют соответственно производительность извлечения и записи данных.

Таблица 1 Производительность извлечения данных

Источник данных

Характеристики

Версия

Скорость извлечения для одного задания (строк в секунду)

Скорость извлечения для нескольких заданий (строк в секунду)

RDS for MySQL

8 vCPUs, 32 GB

MySQL 5.7

42,052

195,313 (concurrency: 40)

Oracle

8 vCPUs, 16 GB

19C

18,539

18,706 (concurrency: 10)

MRS HBase

Master: 16 vCPUs, 64 GB x 3

Node: 8 vCPUs, 32 GB x 3

MRS 3.1.0

6,296

69,156 (concurrency: 30)

MRS Hive

Master: 16 vCPUs, 64 GB x 3

Node: 8 vCPUs, 32 GB x 3

MRS 3.1.0

22,321

170,068 (concurrency: 30)

MRS HDFS (binary files)

Master: 16 vCPUs, 64 GB x 3

Node: 8 vCPUs, 32 GB x 3

MRS 3.1.0

138,727

141,468 (concurrency: 20)

125,556

126,990 (concurrency: 10)

120,919

120,919 (concurrency: 10)

DWS

8 vCPUs, 16 GB

8.1.1.300

13,434

/

DLI

16 vCPUs

SQL queue

71,023

19,290 (concurrency: 20)

MRS Hudi (MOR)

Master: 16 vCPUs, 64 GB x 3

Node: 8 vCPUs, 64 GB x 3

MRS 3.2.0

75187

467,289 (concurrency: 30)

MRS Hudi (COW)

Master: 16 vCPUs, 64 GB x 3

Node: 8 vCPUs, 64 GB x 3

MRS 3.2.0

84033

485,436 (concurrency: 30)

ClickHouse

Node: 8 vCPUs, 32 GB x 2

ClickHouse 22.3.2.2

187265

/