Что можно хранить в S3-объектном хранилище?

Объектное хранилище с S3-совместимым API оптимизировано для хранения неструктурированных или слабоструктурированных данных больших объёмов, которые редко изменяются после записи.

1.     Статические файлы веб-сайтов и приложений

Объектное хранилище выступает в качестве сервера для хостинга статических сайтов. Поддерживается прямая раздача файлов по протоколу HTTP/HTTPS.

  • HTML, CSS, JavaScript.
  • Изображения, видео, аудио.
  • Шрифты, иконки.

2.     Резервные копии и архивирование

Одна из наиболее востребованных категорий. Обеспечивается низкая стоимость хранения и автоматическое перемещение данных между уровнями (правила жизненного цикла).

  • Дампы баз данных (MySQL, PostgreSQL, MongoDB).
  • Логи серверов и приложений (с автоматической загрузкой через API).
  • Архивы документов (PDF, DOCX, XLSX) с последующим переводом в долгосрочное (холодное) хранилище.

3.     Данные для аналитики и Big Data

Объектные хранилища являются стандартным компонентом архитектуры Data Lake. Инструменты обработки данных (Apache Spark, Presto, Athena) читают данные непосредственно из объектного хранилища.

  • Файлы в форматах CSV, JSON, Parquet, Avro.
  • Логи веб-аналитики.
  • Записи видеонаблюдения.
  • Записи телефонных разговоров.
  • Данные телеметрии и показаний IoT-устройств.

4.     Данные машинного обучения

  • Наборы данных для обучения моделей (изображения, тексты, временные ряды).
  • Сериализованные модели (TensorFlow, PyTorch).
  • Промежуточные результаты вычислений (предсказания, контрольные точки).

5.     Дистрибутивы программного обеспечения и обновления

  • Установочные пакеты (DEB, RPM, EXE, DMG).
  • Обновления для IoT-устройств (OTA).
  • Артефакты сборки (Docker-образы, JAR-файлы, бинарные релизы).

6.     Документы с контролем доступа

Объектное хранилище позволяет централизованно хранить документы с настройкой прав доступа через политики бакета.

  • Сканы договоров, бухгалтерские отчёты (с шифрованием).
  • Электронные письма в форматах PST, EML для архивации корпоративной почты.

7.     Временные и промежуточные данные

  • Логи выполнения контейнерных платформ (Kubernetes).
  • Промежуточные результаты ETL-процессов.
  • Кэшированные данные (при допустимых задержках).

8.     Данные для аварийного восстановления (Disaster Recovery)

  • Реплики виртуальных машин (файлы VMDK, VHD, QCOW2).
  • Файлы конфигураций инфраструктуры (Terraform state, Ansible playbooks).

9.     Юридические и нормативные данные

При включении режима Object Lock (WORM — однократная запись, многократное чтение) объектное хранилище удовлетворяет требованиям неизменяемости записей.

  • Аудиторские логи (с защитой от удаления и изменения).
  • Финансовые транзакции для соответствия PCI DSS.

 

Некоторые типы данных неэффективны или невозможны в объектной архитектуре. Об этом подробнее читайте: Что не следует хранить в S3.


Рейтинг@Mail.ru Яндекс.Метрика