Облачная платформаEvolution

Скопировать объект через multipart-загрузку

Эта статья полезна?

Чтобы копировать большие объекты, используйте multipart-загрузку. Multipart-загрузка обязательна при копировании объектов больше 5 ГБ и рекомендуется для объектов больше 100 МБ.

Функциональность доступна при работе с хранилищем через AWS S3 API и сторонние инструменты. В личном кабинете копировать объекты по частям нельзя.

Пользователь может копировать объекты, если у него одновременно есть роли:

  • s3e.admin или s3e.viewer в бакете-источнике.

  • s3e.admin или s3e.editor в целевом бакете.

Внимание

Инструкция ниже описывает копирование через multipart-загрузку с помощью AWS CLI и AWS S3 API.

Примечание

В качестве адреса хранилища <endpoint> указывайте s3.cloud.ru.

Создайте multipart-загрузку

На этом шаге хранилище создаст идентификатор для копирования и сборки частей в новый объект.


  1. Выполните команду:

    aws s3api create-multipart-upload \
    --endpoint-url https://<endpoint> \
    --bucket <destination_bucket_name> \
    --key <destination_object_key>

    Где:

    • <endpoint> — адрес хранилища.

    • <destination_bucket_name> — название бакета, в который нужно скопировать объект.

    • <destination_object_key> — ключ объекта в целевом бакете. Если ключ копируемого объекта уже существует в целевом бакете, результат копирования будет зависеть от состояния версионирования бакета.

    Пример команды:

    aws s3api create-multipart-upload \
    --endpoint-url https://s3.cloud.ru \
    --bucket my-destination-bucket \
    --key destination-folder/big-object-copy

    Пример ответа:

    {
    "Bucket": "my-destination-bucket",
    "Key": "destination-folder/big-object-copy",
    "UploadId": "ef017a868777********"
    }
  2. Сохраните идентификатор загрузки — значение поля UploadId из ответа на запрос.

    Он потребуется для копирования частей и сборки объекта.

Блокировка при multipart-копировании

Если вы используете блокировку версий объектов, учитывайте правила блокировки при копировании.

Чтобы заблокировать версию при multipart-копировании:


  1. Включите блокировку в целевом бакете.

  2. Укажите настройки блокировки в команде create-multipart-upload .

    Используйте те же параметры, что и при обычной загрузке объекта с временной или бессрочной блокировкой.

    Пример команды с временной блокировкой:

    aws s3api create-multipart-upload \
    --endpoint-url https://s3.cloud.ru \
    --bucket my-destination-bucket \
    --key destination-folder/big-object-copy \
    --object-lock-mode GOVERNANCE \
    --object-lock-retain-until-date 2026-10-22T10:00:00Z

Скопируйте части объекта

  1. Определите, как объект будет поделен на части.

    Часть — непрерывный диапазон байт. Диапазоны должны охватывать весь объект и не пересекаться.

    Например, объект размером 150 МБ можно разделить на три части по 50 МБ:

    • Первая часть — байты от 0 до 49 999 999.

    • Вторая — от 50 000 000 до 99 999 999.

    • Третья — от 100 000 000 до 149 999 999.

    При разделении объекта учитывайте ограничения по размеру и количеству частей.

  2. Для каждой части объекта выполните действия ниже.

    1. Скопируйте часть:


      Выполните команду:

      aws s3api upload-part-copy \
      --endpoint-url https://<endpoint> \
      --bucket <destination_bucket_name> \
      --key <destination_object_key> \
      --copy-source <source_bucket_name>/<source_object_key> \
      --copy-source-range bytes=<first_byte>-<last_byte> \
      --part-number <number> \
      --upload-id <upload_id>

      Где:

      • <endpoint> — адрес хранилища.

      • <destination_bucket_name> — название бакета, в который нужно скопировать объект.

      • <destination_object_key> — ключ объекта в целевом бакете.

      • <source_bucket_name> — название бакета, из которого нужно скопировать объект.

      • <source_object_key> — ключ объекта в бакете-источнике. Если ключ содержит кириллицу, пробелы или специальные символы, укажите значение в URL-кодировке. Например, ключ photo #1.jpg в URL-кодировке — photo%20%231.jpg.

      • <first_byte> — первый байт части. Для первой части равен 0. Для последующих — <last_byte> предыдущей части, увеличенный на единицу.

      • <last_byte> — последний байт части. Байт включается в диапазон.

      • <number> — порядковый номер части от 1 до 10 000 включительно. Номер определяет положение части в собранном объекте. Рекомендуется нумеровать части последовательно, начиная с 1.

      • <upload_id> — идентификатор загрузки, полученный при ее создании.

      Пример команды:

      aws s3api upload-part-copy \
      --endpoint-url https://s3.cloud.ru \
      --bucket my-destination-bucket \
      --key destination-folder/big-object-copy \
      --copy-source my-source-bucket/source-folder/big-object \
      --copy-source-range bytes=0-49999999 \
      --part-number 1 \
      --upload-id ef017a868777********

      Пример ответа:

      {
      "CopyPartResult": {
      "LastModified": "2026-10-09T10:15:30.000000+00:00",
      "ETag": "500def58592d4535345ce5d********"
      }
      }
    2. Сохраните пару значений: порядковый номер части и соответствующий ей идентификатор ETag из ответа.

      Эти данные потребуются при сборке объекта.

  3. (Опционально) Проверьте, что все части объекта скопированы.


    Выполните команду:

    aws s3api list-parts \
    --endpoint-url https://<endpoint> \
    --bucket <destination_bucket_name> \
    --key <destination_object_key> \
    --upload-id <upload_id> \
    --query 'Parts[].{PartNumber: PartNumber, ETag: ETag, Size: Size}' \
    --output json

    Где:

    • <endpoint> — адрес хранилища.

    • <destination_bucket_name> — название бакета, в который копируется объект.

    • <destination_object_key> — ключ объекта в целевом бакете.

    • <upload_id> — идентификатор загрузки, полученный при ее создании.

    Пример команды:

    aws s3api list-parts \
    --endpoint-url https://s3.cloud.ru \
    --bucket my-destination-bucket \
    --key destination-folder/big-object-copy \
    --upload-id ef017a868777******** \
    --query 'Parts[].{PartNumber: PartNumber, ETag: ETag, Size: Size}' \
    --output json

    Убедитесь, что команда вернула все ожидаемые номера частей.

    Пример ответа:

    [
    {
    "PartNumber": 1,
    "ETag": "500def58592d4535345ce5d********",
    "Size": 50000000
    },
    {
    "PartNumber": 2,
    "ETag": "ff9c93f9c1b08f65de594eca********",
    "Size": 50000000
    },
    {
    "PartNumber": 3,
    "ETag": "f4777e4784a7b00fa2614c5f********",
    "Size": 50000000
    }
    ]

Соберите объект

Чтобы собрать скопированные части в объект, выполните команду по завершению multipart-загрузки.


aws s3api complete-multipart-upload \
--endpoint-url https://<endpoint> \
--bucket <destination_bucket_name> \
--key <destination_object_key> \
--upload-id <upload_id> \
--multipart-upload \
'{
"Parts": [
{"PartNumber": <number_of_part_1>, "ETag": "<etag_of_part_1>"},
{"PartNumber": <number_of_part_2>, "ETag": "<etag_of_part_2>"},
...,
{"PartNumber": <number_of_part_n>, "ETag": "<etag_of_part_n>"}
]
}'

Где:

  • <endpoint> — адрес хранилища.

  • <destination_bucket_name> — название бакета, в который копируется объект.

  • <destination_object_key> — ключ объекта в целевом бакете.

  • <upload_id> — идентификатор загрузки, полученный при ее создании.

  • <number_of_part_1>, <number_of_part_2>, <number_of_part_n> — номера скопированных частей. Должны быть указаны в порядке возрастания.

  • <etag_of_part_1>, <etag_of_part_2>, <etag_of_part_n> — значения ETag скопированных частей.

Пример команды:

aws s3api complete-multipart-upload \
--endpoint-url https://s3.cloud.ru \
--bucket my-destination-bucket \
--key destination-folder/big-object-copy \
--upload-id ef017a868777******** \
--multipart-upload \
'{
"Parts": [
{"PartNumber": 1, "ETag": "500def58592d4535345ce5d********"},
{"PartNumber": 2, "ETag": "ff9c93f9c1b08f65de594eca********"},
{"PartNumber": 3, "ETag": "f4777e4784a7b00fa2614c5f********"}
]
}'

Пример ответа:

{
"Location": "",
"Bucket": "my-destination-bucket",
"Key": "destination-folder/big-object-copy",
"ETag": "8c40927e665281099f9917a3********-3"
}

Объект скопирован и доступен в целевом бакете.

Если завершить копирование не удалось, отмените multipart-загрузку. Вы также можете настроить автоматическую отмену незавершенных multipart-загрузок с помощью правил Lifecycle.