Насколько надежны S3-хранилища и какие выбрать

S3 — объектное хранилище, где данные сохраняются не в виде файлов в папках или блоков на диске, а в качестве объектов. Каждый состоит из трех элементов: 

• сами данные;

• ключ;

• метаданные, описывающие объект. 

Объекты размещаются в логических контейнерах — бакетах (bucket). Древовидной структуры каталогов (как в файловых системах) и блоков (как в блочных) тут нет. Элементы, визуально похожие на папки, являются частью строкового ключа. Благодаря простой структуре в объектном хранилище можно хранить огромные объемы данных. Нужный объект легко найти по ключу. 

Хранилище S3 подходит для размещения больших массивов разноплановых данных, в том числе неструктурированных. Например, изображений и видео, документов, логов, архивов, резервных копий, датасетов и так далее. Его также используют как хранилище корпоративных файловых архивов и данных для аналитических систем и приложений.

S3 как протокол: совместимость, инструменты, миграция с AWS

S3 — это не только название объектного хранилища, но и стандарт взаимодействия с данными. Приложения и системы обращаются к бакетам и объектам через REST API по HTTP. Для работы с S3 можно использовать AWS CLI, SDK и другие инструменты, совместимые с API.

Такая совместимость упрощает миграцию с AWS и перенос данных между S3-совместимыми хранилищами. Например, большие объемы данных можно переносить с помощью многокомпонентной загрузки (Multipart Upload) и параллельной передачи.

За надежность отвечает не одна технология, а несколько уровней защиты от разных типов сбоев и ошибок. Разберем стандартные механизмы. 

Репликация и erasure coding: что происходит при выходе из строя диска, узла и площадки

S3-хранилище не должно зависеть от одного диска или сервера. Варианты восстановления доступа к данным без ручного переноса файлов:

• Репликация — автоматическое асинхронное копирование объектов из одного бакета в другой, в том числе расположенный в другом регионе или у другого провайдера. Целесообразно размещать данные минимум в трех Availability Zones (зонах доступности), находящихся на расстоянии друг от друга. Между ними должна быть связь, чтобы при аварии или сбое можно было получить данные. 

• Erasure coding (EC, избыточное кодирование) — метод, при котором файлы разбиваются на несколько фрагментов (K), дополняются математическими фрагментами четности (M) и сохраняются на разных физических серверах или дисках. Для восстановления объекта достаточно любых K фрагментов из общего числа K+M. Запись считается успешной только после подтверждения всех K+M фрагментов. Даже если какие-то узлы «сломаются», данные все равно будут доступны. 

Эти подходы могут работать одновременно. Erasure coding защищает данные внутри распределенной системы хранения, а репликация — при отказах и потере всей площадки. 

Также применяются дополнительные механизмы проверки целостности  — контрольные суммы и самовосстановление. Контрольная сумма позволяет убедиться, что объекты не менялись при загрузке или передаче. Если обнаружится поврежденный фрагмент, система автоматически восстановит его с помощью избыточных данных. 

Долговечность и доступность: как читать «11 девяток» и SLA 99,9%

Durability (долговечность) «11 девяток» в S3 — метрика, отвечающая за сохранность данных. Иллюстрирует вероятность не потерять объект за конкретный период (1 год). В S3 это 99,999999999%. Например, при хранении 100 млрд объектов ожидаемая потеря — около 1 объекта в год; при 10 млрд — около 0,1 объекта в год. 

Показатель Availability (доступность) — время, в течение которого сервис работает без сбоев и обслуживает запросы за расчетный период (обычно 1 месяц). 

Ключевое различие: 

• durability показывает, сохранятся ли данные;

• availability — можно ли получить к ним доступ прямо сейчас. 

У S3 Standard durability — 11 девяток, а availability SLA — 99,99%. Это разные измерения. Availability отражен в SLA — договорном обязательстве провайдера по обеспечению доступности и условиям компенсации при сбоях. За месяц при SLA 99,9% облачное хранилище может быть недоступно около 43 минут. Если простой больше, провайдер это компенсирует согласно условиям договора. 

Версионирование, Object Lock, защита от случайного и злонамеренного удаления

Отказ оборудования или сбои на площадке — только часть рисков. Бывают ситуации, когда приложения сами перезаписывают версии файлов, пользователи случайно удаляют документы, злоумышленники получают доступ к хранилищу через компрометацию аккаунтов. Защитить информацию помогут следующие механизмы:

• Versioning (версионирование) — сохранение предыдущего состояния объекта после изменения или удаления. Команда DELETE не стирает файл физически, а добавляет маркер удаления (Delete Marker). При необходимости можно легко восстановить старую версию. 

• Object Lock — запрет на удаление или перезапись защищенной версии в течение заданного срока. В основе механизма модель WORM (Write Once, Read Many) — «записать один раз, читать многократно».

Object Lock подразумевает три режима: 

• Retention Mode (Compliance) запрещает удаление и изменение защищенной версии всем без исключения, включая root-пользователя аккаунта. 

• Retention Mode (Governance) позволяет обходить ограничения пользователям со специальными привилегиями. 

• Legal Hold — бессрочный запрет на удаление файлов, который можно снять вручную.  

Для защиты резервных копий от ошибочного удаления или атак Ransomware (программа-шифровальщик) следует сочетать оба механизма. Versioning позволяет откатить версию назад, Object Lock не дает менять и уничтожать файлы раньше установленного срока. Чтобы контролировать все действия, имеет смысл вести журнал доступа и фиксировать операции с объектами. Это поможет в расследовании при инциденте ИБ.

Проблемы могут возникнуть, если надеяться только на надежность S3 и не предпринимать дополнительные меры для защиты своих данных. Рассказываем, какие ошибки совершаются чаще всего и как подстраховаться. 

Хранилище на одной площадке, отсутствие версионирования, ошибка в lifecycle-правиле, утечка ключей доступа

Рассмотрим, чем грозят такие проблемы и как их предотвратить:

• Использование одной площадки. Если она по каким-то причинам перестанет работать, данные будут недоступны. Лучше разделить хранение, например, разместить резервные копии критичной информации на другой площадке или у другого провайдера. 

• Отключенное версионирование. Без него будет сложно восстановить прежнюю версию, если файл удалили или перезаписали. Версионирование должно быть включено и в исходном, и в целевом бакете. 

• Неправильное Lifecycle-правило (правило жизненного цикла). Может привести к преждевременному удалению данных. Чтобы такого не происходило, новые правила нужно проверять на тестовом наборе информации. 

• Утечка ключей доступа. Если они будут скомпрометированы, злоумышленники могут завладеть данными. Для снижения рисков есть смысл вместо ключей использовать временные учетки с привязанными ролями и правами доступа, соблюдать принцип наименьших привилегий. 

Бэкап бэкапа: репликация в другой регион и другому провайдеру

Если компания зависит от одной инфраструктуры, наличие резервных копий может не спасти от потери или изменения данных. Для критичной информации должно быть несколько независимых копий. Их можно хранить двумя способами:

• В другом регионе (геораспределение). Если основной временно недоступен, информацию можно получить из резервного. 

• У другого провайдера в S3-совместимом хранилище. Получится дополнительная независимая точка восстановления данных. Так распределяют критичную информацию, которую важно не потерять при сбое облачной.

При выборе решения смотрите не только на стоимость, но и на условия SLA, способ размещения данных, класс хранения, тарифы на трафик, модели управления доступом и другие эксплуатационные параметры. 

SLA и долговечность в договоре, зоны доступности, классы хранения, стоимость запросов и трафика, совместимость с S3 API

Оцените параметры и соотнесите их со своими требованиями:

• SLA и долговечность — смотрите на заявленные показатели, а не на общие. Они должны быть прописаны в договоре, как и компенсации за нарушения со стороны провайдера.

• Размещение в нескольких зонах — уточните, где физически находятся копии данных и как провайдер справляется с отказом площадки. 

• Классы хранения (холодные, стандартные, горячие) — проверьте возможности для разных сценариев доступа. Например, часто используемую информацию хранят в стандартных классах, устаревшие данные — в холодных. Проверьте условия восстановления файлов для каждого класса. 

• Цена сервиса — учитывайте не только тарифы за 1 ГБ в месяц, но и минимальный оплачиваемый объем хранения, стоимость перехода между классами и восстановления архивных объектов. 

• Стоимость запросов и трафика — уточните, от чего зависит тариф, например, от количества PUT, GET, LIST и других операций. Исходящий трафик может оплачиваться отдельно. 

• Совместимость с S3 API — проверьте, какие функции и операции поддерживаются. Совместимость с S3 API не означает полного функционального паритета: часть реализаций не поддерживает Versioning, Object Lock, S3 Batch Operations и другие возможности. 

Перед переносом большого объема данных можно провести тест — загрузить реальные объекты, проверить работу сервиса, скорость загрузки и скачивания. Потом посчитать фактические расходы и сделать вывод, подходит ли решение под ваши задачи. Это позволит обнаружить ограничения до того, как они станут проблемой.

Выбор хранилища — только часть задачи. Не менее важно понимать, как объектное хранилище вписывается в архитектуру платформы, работает с данными и поддерживает ИИ-нагрузки. Об этом можно поговорить с инженерами и разработчиками на GoCloud Tech 2026 — технологической конференции Cloud.ru для тех, кто создает сложные платформы и системы в эпоху ИИ.

На конференции будут отдельные треки по инфраструктуре, разработке, данным и ML, а также практические воркшопы и технозоны.

Безопасность: шифрование, IAM, аттестация по 152-ФЗ, хранение в РФ

Проверьте следующие моменты:

• Шифрование — шифруются ли данные при хранении и передаче, какие алгоритмы используются.

• IAM и разграничение доступа, политики бакета — как назначаются роли и права пользователям, сервисам и приложениям, какие есть правила.

• Соответствие 152-ФЗ — аттестована ли платформа для хранения ПДн, где они будут размещаться, как защищаться. 

• Физическое размещение информации — в какой стране и на каких площадках находятся бакеты и реплики, может ли провайдер куда-то переносить данные. 

Сравним по нескольким критериям три варианта хранилищ — облачное S3, собственную систему хранения Self-hosted MinIO/Ceph и локальный NAS (хранилище внутри сети):

Способ размещения данных и класс хранения выбирают в зависимости от востребованности информации и требований к скорости выдачи. Примеры: 

• Бэкапы и данные 1С — для производственных баз 1С, требующих оперативного доступа, холодные классы не подходят из-за задержки восстановления. В холодные классы имеет смысл помещать только архивные резервные копии. 

• Медиа сайтов — изображения, видео и другие регулярно запрашиваемые файлы целесообразно хранить в горячем классе. Можно кэшировать популярный контент на узлах сети ближе к пользователям благодаря технологии CDN (Content Delivery Network, сеть доставки контента) и выдавать данные быстрее. 

• Данные для ML — датасеты и другие объекты, к которым постоянно обращаются во время обучения или инференса, обычно хранят в S3 как в основном хранилище, а на вычислительных узлах кэшируют часто используемые фрагменты на локальных NVMe/SSD. Это позволит снизить расходы на передачу данных и сократить сетевые задержки.  

Правильный сценарий позволит сэкономить на хранении и оптимизировать скорость выдачи данных. 

Cloud.ru предлагает варианты объектного хранения, рассчитанные на разные бизнес-сценарии. 

Evolution Object Storage

Evolution Object Storage — S3-совместимое масштабируемое хранилище для любых типов данных. Поддерживает AWS S3 API и сторонние инструменты для работы с объектами. Подходит для сервисов с большой нагрузкой. 

Инфраструктура размещена в ЦОД уровня Tier III и соответствует требованиям 152-ФЗ. К данным применяются надежные алгоритмы шифрования. 

Advanced Object Storage Service в платформе Cloud.ru Advanced

Advanced Object Storage Service (OBS) — объектное хранилище, поддерживающее работу через REST API, SDK и популярные S3-клиенты. Подходит для данных любых типов, может использоваться как отдельный сервис или с другими системами. 

Дополнительно можно подключить сервисы Evolution Agent Backup и Evolution Disaster Recovery. Первый позволяет хранить резервные копии виртуальных машин из облаков сторонних провайдеров. Второй — предназначен для миграции под нагрузкой и аварийного восстановления инфраструктуры. Обеспечивает постоянную репликацию данных.

Как начать: бакет в Evolution Free Tier, подключение через S3 API и привычные инструменты

Можно начать работу с Evolution Object Storage по free tier для документов, писем и медиаконтента. В рамках акции бесплатно доступны:

• 15 ГБ стандартного хранилища;

• 100 000 POST- и PUT-операций.

Необходимо зарегистрировать аккаунт, затем через консоль или API-клиент создать бакет. Управлять хранилищем можно с помощью встроенных или сторонних инструментов. 

Перед переносом проверьте совместимость нового хранилища с приложениями и инструментами, которые вы используете, а также поддержку необходимых операций и механизмов: versioning, multipart upload, Object Lock. Определите, какие данные, метаданные и настройки нужно перенести, где будут размещаться объекты и резервные копии. Отдельно уточните, какие механизмы шифрования доступны у провайдера и соответствует ли решение требованиям 152-ФЗ. 

Заключение

S3 задает стандарт взаимодействия с объектами, но надежность и возможности хранилища зависят от конкретной реализации. При выборе провайдера учитывайте схему избыточности и размещения данных, поддержку версионирования, SLA, механизмы защиты и стоимость эксплуатации. 

FAQ

• Что такое S3-хранилища?

  Объектное хранилище для размещения и оперативного извлечения больших объемов неструктурированных данных. 

• Насколько надежно хранить данные в S3?

  Современные S3-сервисы надежнее жестких дисков, серверов или локальных NAS за счет геораспределения, защиты от случайного удаления, изоляции бакетов, версионирования.

• Что означает долговечность 99,999999999%?

  Показатель отражает вероятность потери объектов за 1 год. Например, из 100 млрд объектов в среднем теряется один объект в год. 

• Чем объектное хранилище отличается от облачного диска?

  S3 работает с объектами через API, а облачный диск подразумевает стандартную файловую систему с файлами и папками.

• Как защитить данные в S3 от удаления?

  Использовать версионирование и механизм Object Lock, ограничить для пользователей права на удаление. 

• Что дешевле — облачное S3 или сервер с MinIO?

  При больших объемах данных и высокой нагрузке часто выгоднее собственная инфраструктура, в остальных случаях — облако. 

• Можно ли хранить персональные данные в S3 по 152-ФЗ?

  Да, если инфраструктура соответствует требованиям закона и аттестована для хранения ПДн.