В два часа ночи мне написал приятель, который отвечает за корпоративную базу знаний: их ночная синхронизация снова сорвалась. Причина — самая будничная. Пришла пачка отсканированных договоров, каждый PDF мегабайт под двадцать пять, а во вложениях Office напиханы картинки высокого разрешения. Сервис поиска придушил загрузку, клиент ушёл в таймаут, три попытки — всё впустую. А потом он бросил фразу, которую я помню до сих пор: «У нас три инженера, и каждый написал свой скрипт сжатия. Теперь никто не доверяет чужому».
Я сбился со счёта, сколько команд упиралось в эту стену. То, что спотыкает обработку документов, — почти никогда не модель и не алгоритм. А первый барьер: файлы слишком большие, слишком разрозненные, слишком неодинаковые. Кто-то набросал скрипт сжатия, следом кто-то другой — и они оседают по углам разных репозиториев. Спустя месяцы уже никто не скажет, который вариант сохраняет качество, а который превращает печать в серое пятно. В UglyPear Данные мы повидали команду за командой в точности такой же. О чём я и хочу поговорить: что стоит прояснить до того, как сжатие станет у вас сервисом, — например, в виде Compression API.
Одно заблуждение, которое стоит развеять
Многие думают: подключить API сжатия — значит найти адрес, который уменьшает файлы, дёрнуть его и на этом закончить. В бою всё оказывается куда сложнее.
Начнём с того, куда идут данные. Договоры, медкарты, финансовая отчётность — до сжатия это ваше. Пропустите их через чужой сервер, и они перестают быть по-настоящему вашими. В исследовании IBM сказано: среди организаций, переживших утечку, одна из пяти причин — сотрудники, которые пользовались ИИ-инструментами по своей инициативе. Такие компании в среднем тратят на 670 000 долларов больше своих коллег по рынку, а у 63% организаций нет никаких правил управления этим. «Теневой ИИ» звучит абстрактно, но в повседневности часто начинается с одного маленького шага: ради удобства загрузить файл через первый попавшийся онлайн-интерфейс. Так что первый вопрос к любому API сжатия на самом деле прост: где именно лежат мои данные?
Дальше — полнота форматов. Кажется, что сжимать придётся только PDF, а в работе всплывают и сканы, и картинки, встроенные в Office, и даже инженерные чертежи. Чем уже поддержка форматов, тем больше «клея» приходится писать самому — и вот вы снова у той же точки: у каждого свой скрипт.
И ещё то, мимо чего часто проходят: что будет при сбое. Файл не сжимается, сжатый выходит больше исходного, процесс обрывается посередине — говорит ли интерфейс об этом прямо? Молча возвращает исходник или честно сообщает: «Этот файл я не трогал»? На вид мелочь, а именно здесь проходит граница между задачей, которую можно оставить без присмотра, и той, что требует постоянного дежурства.
Пять вещей, одна за другой
Границы данных. API, который можно развернуть в собственном контуре и не выпускать данные из своей сети, и публичный облачный сервис — оба на поверхности уменьшают файлы. Под капотом это совершенно разные договорённости. Первый переносит возможность к вам, второй — ваши файлы к другим. Если вы работаете с чувствительными материалами, поставьте этот расчёт первым. Проверить просто: спросите, где файл находится на всём протяжении операции. Не могут ответить — пока не подключайте.
Надёжность пакетной обработки. Когда файлов много, страшнее всего один плохой файл, который остановит всю очередь. Надёжный интерфейс на это отвечает: изолируется ли единичный сбой, можно ли понять, какой именно файл «упал», можно ли повторить только его, не перезапуская всё? Это принято записывать в графу «операционные мелочи», а по-человечески — это разница между сном всю ночь и звонком в три утра. В любой реальной массовой загрузке ошибки — норма, а не исключение. Конструкция, которая отгораживает сбои, возвращает немало сна.
Сохранность содержимого. Сжатие никогда не было гонкой за минимальным размером. Печать на договоре, мелкий шрифт в отчёте, пометки на чертеже — всё это должно остаться читаемым. Здесь прячется незаметная ловушка: картинки и встроенные объекты внутри документов Office часто и составляют основную массу. Снаружи файл вроде бы на несколько мегабайт, а внутри — десятки мегабайт фотографий. Мы включили и этот слой: диаграммы и изображения, встроенные в Word, Excel и PowerPoint, сжимаются вместе с контейнером. Файл перестаёт быть худым снаружи и толстым внутри. Пропустите пачку через интерфейс — экономия окажется не только в байтах, но и во времени передачи и ожидания в очереди. На одном файле это незаметно, а на сотнях и тысячах разница становится весомой.
Усилия по внедрению. В индексе Anatomy of Work компании Asana есть цифра, которая режет глаз: люди в среднем переключаются между более чем тридцатью приложениями в день, а один перерыв отнимает больше двадцати минут, прежде чем удаётся вернуться в ритм. Чем больше инструментов и интерфейсов, тем уставленнее команда. Если сжатие можно зафиксировать в системе в виде интерфейса, подключаешь один раз — и перестаёшь думать про окружения, зависимости и версии. Внимание возвращается к тому, что действительно важно. Именно поэтому мы предлагаем и Compression SDK, и Compression API: одни команды хотят встроить возможность в своё ПО, другие — просто отправить файл и получить его обратно.
Масштаб. В обороте уже более трёх триллионов PDF, и один только SharePoint принимает больше двух миллиардов новых загрузок в день. В таких объёмах вручную нажимать «сжать» не выходит — справляется только интерфейс, рассчитанный на пакетную работу. IDC тоже ждёт роста мирового объёма данных: примерно с 149–180 ЗБ до 394 ЗБ, при этом 80–90% придётся на неструктурированные данные. PDF, изображения, сканы — как раз та категория, с которой интерфейс сжатия справляется хорошо. Выбирайте с запасом: и про приватное развёртывание, и про то, что данные не уходят из сети, стоит подумать заранее. Как это выглядит в связке с инженерией данных, показано в Фундаменте инженерии данных RAG.
Три пути в одной таблице
Самый простой промах при выборе — мерить всё одной линейкой: «умеет ли уменьшать файл». То, что действительно стоит сравнить, — в таблице ниже. Эта рамка годится не только для API сжатия: по ней удобно сопоставлять любых подрядчиков.
| Критерий выбора | Свои скрипты | Универсальный облачный API | Приватный API сжатия |
|---|---|---|---|
| Уходят ли данные из вашего контура | Нет, остаются в локальных скриптах | Да, файлы идут на сервер вендора | Нет, развёрнут в вашей среде |
| Форматы | Зависит от усилий, в основном популярные | В основном популярные | PDF, изображения, Office, сканы и др. |
| Надёжность пакетной обработки | Один сбой может остановить пачку | Зависит от сети и лимитов | Сбои изолированы, определяются, повторяются |
| Усилия по внедрению | Высокие: и написать, и поддерживать | Низкие, но на условиях вендора | Низкие и средние: подключил раз — используй |
| Действия при сбое | Разбирайтесь сами, легко пропустить | Обычно возвращают исходник как есть | Сообщают прямо и сохраняют исходник |
| Соответствие требованиям | Ответственность на вас | Зависит от политики вендора | Развёртывание в контуре и журналы аудита |
Стоит сказать прямо: таблица даёт критерии, а не оценочные баллы. Каждую строку нужно приложить к своим типам файлов, требованиям соответствия и размеру команды. Здоровая практика оценки — собрать небольшой набор реальных документов, замерить на нём чёткость, размер и время, а отдельно разобрать, как обходится случай сбоя. Большинство неприятностей не в том, что сжали недостаточно, а в том, что испортили, и никто не заметил. Договориться заранее о границах сбоя и пути отката важнее, чем выжать ещё пару процентов. Если хочется копнуть глубже, подбросьте несколько намеренно кривых файлов и посмотрите, интерфейс аккуратно их пропускает или всё встаёт колом. Именно так должно выглядеть дело перед тем, как пустить его в работу.
Так что же сделал мой приятель? Он перестал позволять трём инженерам поддерживать три скрипта и свёл сжатие в один интерфейсный сервис перед задачей синхронизации. На прошлой неделе он написал: ночные алерты наконец перестали будить.
Попробовать в деле
Хотите увидеть, как интерфейс сжатия встраивается в вашу систему? Начните здесь:
- Compression API: сжатие как интерфейс внутри ваших бизнес-систем — пакетная работа и автоматизация приходят сами собой.
- Compression SDK: если хотите встроить возможность сжатия в своё ПО, начните отсюда.
- SmartSlim: десктопная, серверная и сетевая версии, десять распространённых категорий файлов.
- Фундамент инженерии данных RAG: сжатие и инженерия данных в одной цепочке, развёртывание в собственном контуре — данные не выходят из сети.
- Технический блог: больше практических материалов о принципах сжатия и выборе решений.
Частые вопросы
Q: Что выбрать — API сжатия или SDK?
A: Смотрите, как будете пользоваться. Хотите встроить возможность в своё ПО и получить более тонкий контроль — берите SDK. Нужно просто вызвать её в бизнес-процессе: отправили файл, получили обратно — берите API. Возможность внутри одна и та же; выбирайте по способу внедрения.
Q: Не исказятся ли файлы после сжатия, не размоется ли печать?
A: Сжатие не должно быть гонкой за размером любой ценой. Для файлов, которые не сжимаются или после сжатия стали больше, интерфейс честно сообщит об этом и сохранит исходник. А для договоров и отчётов сначала прогоните через систему образец своих реальных документов и проверьте чёткость и ключевые детали, прежде чем пускать в работу.
Q: Можно ли не выпускать данные за пределы нашей сети?
A: Да. Сжатие поддерживает развёртывание в собственном контуре: обработка идёт в вашей среде, и файлам не нужно уходить на внешний сервер. Для команд из юриспруденции, медицины и финансов, которым важно, где находятся данные, это критично.
Q: Если в пакете один файл «упал», пострадают ли остальные?
A: У приличного пакетного компрессора сбои изолированы: один плохой файл не останавливает всю очередь, его можно определить и повторить по отдельности. Запишите этот пункт в чек-лист оценки — не смотрите только на коэффициент сжатия.