Архивация корпоративных данных — Эластичное развертывание Docker/K8s

Обзор сценария

Решение корпоративного уровня для крупномасштабного сжатия и архивирования данных

Предприятия в процессе работы генерируют большое количество документов, изображений, видео и других файлов. Длительное хранение этих данных занимает значительное место хранения, а передача по сети влияет на эффективность. Решение UGLYPEAR DATA для архивации корпоративных данных, основанное на SmartSlim Enterprise, использует микросервисную архитектуру для эластичного развертывания, поддерживает частное объектное хранилище MinIO, пакетное сжатие каталогов, полный охват 10 категорий форматов и push прогресса в реальном времени через WebSocket, помогая предприятиям экономить место хранения и снижать затраты на передачу.

Соответствующий продукт:SmartSlim Enterprise (корпоративная платформа распределенного сжатия)

Архитектура решения

Cloud-native архитектура, поддержка эластичного масштабирования

Слой доступа пользователей

Веб-браузер доступ к пользовательской консоли (/user), загрузка файлов, просмотр прогресса сжатия в реальном времени, скачивание сжатых файлов

Слой API-шлюза

FastAPI + Uvicorn асинхронный сервис, JWT-аутентификация, ограничение скорости, валидация параметров, маршрутизация

Слой бизнес-логики

Celery асинхронные задачи (очередь compression), Rust SDK сжатие нативно, WebSocket + Redis Pub/Sub push прогресса

Слой хранения данных

MySQL (бизнес-данные) · Redis (кэш и брокер сообщений) · MinIO (S3-совместимое объектное хранилище)

Оркестрация Docker Compose (проверено):9 сервисов: mysql / redis / api / celery_worker / celery_beat / prometheus / grafana / frontend / admin_frontend, данные сохраняются через именованные тома.

Автоматическое масштабирование K8s HPA (проверено):api-server: minReplicas 3, maxReplicas 10, авторасширение по CPU (70%) и памяти (80%). Ingress устанавливает proxy-body-size: 10g для поддержки загрузки больших файлов.

Ключевые возможности

Каждая возможность реализована и проверена в исходном коде

Пакетное сжатие каталогов: поддержка рекурсивного обхода каталогов, автоматическое распознавание типов файлов и применение соответствующих стратегий сжатия. Через интерфейс rust_compress_directory_with_progress SDK.
Push прогресса в реальном времени: WebSocket-эндпоинт устанавливает постоянное соединение, бэкенд публикует прогресс сжатия через Redis Pub/Sub, push в браузер пользователя в реальном времени без опроса.
Полный охват 10 категорий форматов: изображения (9 типов), PDF, видео (8 типов), аудио (7 типов), Word (5 типов), Excel (6 типов), PPT (4 типа), OFD/XPS, текст (7 типов) — всего более 40 форматов.
Частное объектное хранилище MinIO: S3-совместимое объектное хранилище, развернутое внутри предприятия, загруженные и сжатые файлы хранятся в MinIO, не зависят от внешних облачных хранилищ.
Многопользовательская совместная работа: управление пользователями и разрешениями, каждый пользователь видит только свои задачи сжатия, администратор может просматривать все задачи.
Измерение и биллинг: встроенная служба измерения, учет по дневному трафику (по умолчанию 10ГБ/день) и количеству сжатий, поддержка управления подписочными пакетами.
Мониторинг и оповещения: Prometheus собирает показатели (количество запросов, задержки, объем задач и др.), Grafana визуализирует дашборды, поддержка оповещений.

Типичные сценарии применения

От проектного архива до долгосрочного хранения медиа

Архив проектных документов

Сжатие и архивирование документов проекта по завершении, экономия места хранения.

Хранение медиаактивов

Массовое хранение и сжатие корпоративных фотографий продуктов, обучающих видео и др.

Сжатие вложений email

Сжатие вложений перед отправкой, обеспечение соответствия ограничениям по размеру.

Оптимизация хранения данных

Регулярное сжатие исторических данных, снижение затрат на хранение.

Получите корпоративное решение

Свяжитесь с нами для настройки развертывания Docker/K8s и интеграции MinIO

Связаться с нами Смотреть SmartSlim Enterprise