Начнём с цифры. В командах, где есть программа управления знаниями, сотрудник тратит на поиск нужного в среднем 4,6 часа в неделю. Там, где такой программы нет, — 8,5 часа. Разница в 3,9 часа. Переведём это на язык укомплектованности: на каждую тысячу сотрудников получается примерно девяносто восемь ставок полной занятости. Такой расклад даёт сравнительный отчёт в сфере управления знаниями.
Цифра эта почти нелепо проста. Файл, который просто лежит в папке, и файл, который действительно находят и используют, — две разные вещи.
UglyPear Данные делает высокопроизводительное сжатие документов и основу инженерии данных RAG — чаще всего для организаций, которым нужно полностью приватное развёртывание. В госсекторе и общественном секторе одна и та же картина повторяется снова и снова. Хранилище поднято, документы загружены — и вот гражданин или сотрудник первой линии задаёт вопрос, а система выдаёт что-то мимо цели. Первая реакция — винить модель и искать более мощную. Но, судя по нашему опыту, большинство неверных ответов рождаются не на этапе ответа. Их закладывают ещё до того, как файлы попадают в базу.
Это не только наше мнение. Общенациональный опрос Compass Datacenters 2025 года показал: 77% признаются, что копят данных больше, чем нужно; 95% готовы удалять файлы, но лишь 10% уверены, что делают это правильно; 59% скорее помыли бы посуду, чем разобрали свои цифровые документы. Те файлы, которые человек ленится привести в порядок, вряд ли лучше поведут себя в машине. Если на входе — клубок, то даже блестящий слой ответов будет рыться в шуме.
Так что речь здесь не о том, какую модель выбрать. Речь о том, с чего начать, если относиться к базе знаний госучреждения как к настоящей инженерии, а не к демо.
Есть вещи, о которых заказчик обычно не просит, но которые решают исход. Приёмка чаще всего проверяет, есть ли функции: можно ли загрузить, можно ли получить ответ, приятен ли интерфейс. А отвечает ли система верно через три месяца после запуска — никто не измеряет. Зрелые команды собирают размеченный набор вопросов ещё до первой строчки прикладного кода. О чём люди реально спрашивают? Как выглядит правильный ответ? Какие вопросы частые, какие — на грани? На первый взгляд этот набор не имеет отношения к «созданию базы знаний», но именно он превращает качество поиска в величину, которую можно измерить. Без неё любая последующая оптимизация — гадание на кофейной гуще.
Зайдём чуть дальше и оставим место для ошибок и пограничных случаев. Что, если в запросе опечатка? Что, если один вопрос задевает два документа, которые противоречат друг другу? Что, если файл устарел? Не проясните эти моменты заранее — после запуска они вернутся к вам в виде заявок в поддержку.
Зачем такой длинный путь? Да потому, что слишком многие сразу тянутся к уже имеющимся «способностям»: у нас есть семантический поиск, мы всё проиндексировали, мы подключили большую модель. Всё верно. Но это средства, а не сама проблема.
Вернёмся к самому простому вопросу: чего на самом деле хочет человек, который спрашивает? Гражданин говорит: «что взять для поступления ребёнка в школу?» В официальном документе написано: «перечень материалов для зачисления на период обязательного образования». У этих двух фраз почти нет общих слов. Актуальность никогда не была вопросом похожести строк — она в совпадении смыслов. Как только это щёлкает, становится понятно, почему чистый ключевой поиск в сфере госуслуг всё время даёт сбой. Он сравнивает буквы, а не намерение.
Стоимость тоже стоит посчитать. Не каждый файл заслуживает тонкой семантической обработки. Руководства «как сделать» и частые ответы на вопросы по политикам — заслуживают; старые протоколы собраний — может быть, и нет. Без потерь или с потерями — зависит от того, кто и как будет впоследствии вызывать этот материал. Полировать все файлы до одной степени — деньги потрачены, отдача мизерная.
В отрасли есть известный набор открытых практик для преодоления этого разрыва. Гибридный поиск соединяет точность ключевых слов и размытость семантики: сначала каждый метод возвращает свою подборку, затем их объединяют и убирают дубли. Переранжирование берёт найденных кандидатов и выстраивает их заново по релевантности, поднимая действительно подходящие наверх. Переписывание и разбиение запроса переводят разговорную форму в ту, что поиску понятнее, а сложный вопрос режут на простые и ищут по каждой части отдельно. Фильтрация по метаданным сначала сужает поле атрибутами вроде даты, отдела и уровня допуска, а уже внутри ищет. Семантическое разбиение решает, по каким границам резать длинный документ: слишком мелко — теряется контекст, слишком крупно — влезает шум.
Это открытые отраслевые практики, а не чек-лист, который обязательно закрыт у каждого поставщика. Спрашивайте по пунктам. Услышать термин и решить, что дело сделано, — надёжный способ обжечься.
То, что мы недавно продвинули в части поиска, идёт именно в эту сторону: весь массив материалов включается в доступный для поиска семантический индекс, разговорные вопросы понимаются точнее, сквозной цикл «вопрос — ответ» сжался с минут до десятков секунд, а разговорную и нормативную формулировки прогоняют через регрессию вместе, чтобы подтвердить: обе находят нужное. Ценность здесь не в том, насколько красивы цифры, а в том, что «ответы точны» перестаёт быть лозунгом и становится воспроизводимым.
Соответствие требованиям — ещё один барьер, который в госуслугах не объехать. О цене плохого обращения с документами говорит статистика правоприменения по Общему регламенту ЕС по защите данных: штрафы, связанные с ненадлежащим управлением документами, в среднем составляют около 4,2 миллиона евро. За этой цифрой — жёсткая правда: стоит данным выйти за периметр или попасть в чужие глаза — и ущерб выходит далеко за пределы технической проблемы. Поэтому в государственной базе знаний соответствие не может быть запиской, приклеенной перед запуском. Оно должно быть отправной точкой. Какие поля считать чувствительными, маскировать ли их автоматически при загрузке, по каким правам фильтровать выдачу в момент поиска, вести ли журнал действий — решите это сразу, и система сможет войти в повседневную работу, а не остаться на выставочном стенде.
Как понять, что всё это действительно работает? Тут вступает в дело вторая половина ремесла — независимая проверка. Серьёзные команды держат размеченный набор вопросов, который не участвует ни в разработке, ни в отладке: отдельный экзаменационный лист для приёмки. Метрики должны воспроизводиться офлайн — пусть второй человек прогонит их и получит примерно то же. Ключевые изменения идут через слепое сравнение: оценивающий не знает, какая версия новая. Регрессионные наборы живут постоянно и запускаются при каждом обновлении, чтобы не вышла классическая ловушка — починили одно, сломали другое. Добавьте сигналы от реальных пользователей и внешний аудит — и цепочка доказательств замкнётся. Кто-то говорит «у нас высокая точность», но не может показать воспроизводимую методику — к такому стоит отнестись скептически.
Разложив эти измерения рядом, основные маршруты создания базы знаний для госуслуг выглядят так:
| Критерий выбора | Публичное облако и большая модель напрямую | Ключевой поиск плюс ручная обработка | Приватная база знаний (сжатие, поиск, управление) |
|---|---|---|---|
| Уходят ли данные за периметр | Да | Нет | Нет |
| Прослеживаемость ответа до источника | Слабая | Сильная | Сильная |
| Понимание разговорных вопросов | Сильное | Слабое | Сильное |
| Маскировка чувствительных данных | На обещании | Вручную | Можно автоматизировать |
| Обновления и откат | Неконтролируемо | Вручную | Инкрементально, с откатом |
| Кто проверяет качество | Слова поставщика | Системной проверки нет | Независимые размеченные наборы и регрессия |
Читать таблицу нужно со своими ограничениями. Могут ли данные выходить за периметр — в госуслугах обычно первая жёсткая планка, и одного этого критерия достаточно, чтобы вычеркнуть прямой маршрут через публичное облако. Можно ли проследить ответ до источника — тоже важно: решение должно поддаваться проверке, и здесь это тоже жёсткое требование. По-настоящему маршруты расходятся в последней строке: кто проверяет качество. Маршрут, который опирается только на слова поставщика, означает добровольно отдать право принимать или отвергать результат.
Ещё слово о сжатии. Многие считают его мелочью на уровне хранения; в базе знаний это операция на входе. Картина такая: материалы госуслуг — смесь сканов, таблиц и фотографий, один файл запросто на десятки мегабайт, и загружать всё это целиком медленно и тесно. Механизм: сжатие уменьшает объём за счёт устранения повторов и избыточности; при грамотном подходе сохраняются разборчивость текста, печатей и схем, а машинное чтение и обратный поиск не страдают. Отдача: при массовой загрузке с высокой интенсивностью предварительное сжатие снимает нагрузку с хранилища и передачи, и семантический индекс ниже по потоку идёт ровнее. Объём обычно падает на 60–80%, при этом печати и схемы остаются читаемыми. Проще говоря, сжатие экономит не только место, но и время простоя, вшитое во весь конвейер.
Именно поэтому мы делаем сжатие и базы знаний вместе. Основа инженерии данных RAG компании UglyPear Данные (основа инженерии данных RAG) ведёт материалы от сжатия и приведения форматов перед загрузкой вплоть до поиска и ответов, а ещё поддерживает автоматическую маскировку тринадцати категорий чувствительной информации, связанной с ИИ; в связке с полностью приватным развёртыванием (сервис приватного развёртывания) сжатие, индексирование и ответы целиком проходят в собственном контуре заказчика, и данные не покидают сеть. Ценность этого маршрута не в том, что какой-то один показатель лидирует, а в том, что «сохранить, управлять, найти, использовать» сшито в цепочку, которую можно проверить и проследить.
Вернёмся к цифре в начале. Сэкономить 3,9 часа и получить девяносто восемь ставок — звучит как вопрос эффективности. Но для государственного органа это ближе к вопросу доверия: задаст гражданин вопрос — получит ли он ответ точный, проверяемый и не раскрывающий приватность? Работа сделана до загрузки, качество превращено в измеримую метрику, право проверки остаётся у вас — и только тогда база знаний перестаёт быть очередным стендом, который отвечает невпопад.
Попробовать сейчас
Если вы ломаете голову над базой знаний для госсектора, которая отвечает невпопад, выпускает данные наружу и не даёт проверить качество, посмотрите подход UglyPear Данные: основа инженерии данных RAG и сервис полностью приватного развёртывания. Больше практики по сжатию и базам знаний — в техническом блоге.
Частые вопросы
Q: База знаний госучреждения отвечает невпопад — поможет ли более мощная модель?
A: Чаще нет. Корень обычно лежит до загрузки: беспорядочные файлы, неудачное разбиение, отсутствующие метаданные. Насколько бы сильным ни был слой ответов, он ищет внутри шума. Сначала превратите управление данными и качество поиска в измеримые величины — и только потом заговаривайте о смене модели.
Q: Можно ли делать семантический поиск и разговорные ответы, если данные не покидают сеть?
A: Можно. Семантическое индексирование, поиск и ответы целиком работают в собственном контуре заказчика — данные не должны выходить наружу. В связке со сжатием и маскировкой вся цепочка замыкается внутри приватного развёртывания.
Q: Как понять, отвечает ли база знаний точно?
A: Смотрите, есть ли воспроизводимая методика: независимый размеченный набор вопросов, метрики, которые любой может запустить офлайн, слепое сравнение, постоянно работающие регрессионные тесты. К голому заявлению «высокая точность» без способа её проверить отнеситесь осторожно.
Q: Не размоет ли сжатие печати и таблицы?
A: При грамотном подходе нет. Сжатие уменьшает объём, сохраняя разборчивость текста, печатей и схем; результат можно посмотреть и сверить перед тем, как он попадёт в нижележащий поиск.
Q: Обязательно ли эта схема требует публичного облака?
A: Нет. Её можно развернуть целиком в сети заказчика: сжатие, индексирование, ответы и маскировка выполняются локально, и данные не покидают периметр.