企业数据归档 - 云原生压缩方案
Docker/K8s 弹性部署,支持企业级数据归档与压缩
5 层云原生架构
从接入层到存储层的完整微服务设计,每一层都可独立扩展
前端展示层
Nginx + React 19 — 静态资源分发与单页应用渲染
API 网关层
FastAPI + JWT 认证 + 限流 — 统一入口、身份校验与流量控制
业务逻辑层
Celery 任务队列 + WebSocket 进度推送 — 异步任务调度与实时反馈
核心算法层
Rust 压缩引擎 — 高性能原生压缩计算
数据存储层
MySQL + Redis + MinIO — 关系数据、缓存与对象存储分离
企业级能力清单
从部署编排到运行监控的完整工程化能力
Docker Compose 编排
- 8 个服务一键编排:API、Worker、Beat、MySQL、Redis、MinIO、Nginx、Flower
- 统一网络与数据卷管理
- 环境变量隔离配置
- 便于开发、测试、生产环境一致性
Kubernetes HPA 扩缩容
- 水平 Pod 自动扩缩容(HPA)
- 3-10 副本动态调整,按 CPU/内存指标
- 支持业务高峰自动扩容、低谷自动回收
- 滚动更新与就绪探针保障可用性
MinIO 私有对象存储
- S3 兼容 API,可平滑替换公有云 OSS
- 数据完全私有化,不出企业内网
- 支持分布式部署与纠删码冗余
- 桶级权限控制与生命周期管理
批量目录压缩
- 递归处理目录树所有文件
- 多 Worker 并发处理,提升吞吐
- 支持目录结构保留与原样输出
- 断点续传与失败重试机制
10 大类 40+ 格式全覆盖
- 图片 9 种:PNG/JPEG/GIF/WebP/BMP/TIFF 等
- PDF、OFD、XPS 版式文档
- Office:Word 5 / Excel 6 / PPT 4 种
- 视频 8 种、音频 7 种、文本 7 种
WebSocket 实时进度
- WebSocket + Redis Pub/Sub 推送压缩进度
- 前端实时展示百分比与剩余文件数
- 支持任务取消与状态查询
- 多客户端可同时观察同一任务
Prometheus + Grafana 监控
- Prometheus 指标采集与告警
- Grafana 可视化大盘展示
- 任务量、成功率、耗时分布全维度监控
- 系统资源与业务指标联合分析
JWT 认证
- JWT 令牌实现无状态会话管理
- 密码采用安全哈希算法存储
- 角色权限分级控制 API 访问
- 支持令牌刷新与失效机制
企业级特性清单
以下是网络版默认具备的工程化特性,无需额外定制
- Docker Compose 一键拉起 8 个微服务组件
- Kubernetes HPA 自动扩缩容,3-10 副本动态调整
- MinIO 私有对象存储,S3 兼容 API
- 批量目录压缩,递归处理整棵目录树
- 10 大类 40+ 文件格式全覆盖
- WebSocket + Redis Pub/Sub 实时进度推送
- Prometheus 指标采集 + Grafana 可视化监控
- JWT 令牌认证 + 安全密码哈希
- FastAPI 异步框架 + 分布式任务队列
- Rust 压缩引擎原生高性能
- Nginx 反向代理与静态资源分发
- 全部组件支持私有化部署