지난달 지식관리 업계에서 일하는 지인에게 들은 이야기다. 회사가 적지 않은 예산을 들여 기업용 AI 질의응답을 도입하고, 수만 건의 PDF와 워드 문서, 스캔본을 벡터 DB에 쏟아부은 뒤 직원들이 "한마디만 던져도 답이 나오길" 기다렸다. 결과는 만만치 않았다. 스캔본은 들어갈 때부터 흐릿했고, 검색으로 돌아온 단락은 질문과 동떨어졌다. 재무팀 누군가는 고객 정보가 담긴 계약서를 공개 채팅 도구에 그대로 붙여넣기까지 했다. 프로젝트팀이 내린 결론은 씁쓸했다. 모델에는 문제가 없고, 모델에게 먹인 데이터가 문제였다는 것.
이런 일은 어디서나 벌어진다. 한 회사 안에서 직원들은 하루 평균 35개의 애플리케이션을 오가며 일한다. 집중력 연구는 또 다른 수치를 남겼다. 작업이 끊기고 나면 다시 몰입 상태로 돌아오는 데 평균 23분이 걸린다. 답을 찾는 비용이 원래 큰데, 사내 질의응답이 엉뚱한 대답만 돌려주면 사람들은 다시 폴더를 뒤지거나, 문서를 통째로 외부 AI 도구에 넘겨버린다. 보안 리스크만 새로 얹히는 셈이다.
그래서 오늘 다룰 주제는 모델의 성능이 아니라, 모델 앞에 놓인 그 구간이다. 문서가 어떻게 모델이 실제로 소화할 수 있는 데이터로 바뀌는가. UglyPear Data는 이 지점을 담당하는 제품으로 RAG 데이터 엔지니어링 기반을 내놓았다. 고성능 문서 압축과 RAG 데이터 엔지니어링을 결합하고, 전면 사설 배포로 데이터가 내부망을 벗어나지 않게 한다.
문서를 그대로 모델에 먹이면 어디서 어긋나는가
RAG를 "문서를 잘게 쪼개고 벡터를 계산해 저장소에 넣는 것" 정도로 이해하는 경우가 많다. 실제로 돌려보면 기업 문서는 상상 속의 깔끔한 텍스트가 아니다.
형태부터 발목을 잡는다. PDF 안에 스캔본이 섞여 있고, 표는 이미지 속에 숨어 있으며, 중요한 정보 위에 도장이 얹혀 있다. OFD처럼 특정 시장에서만 쓰이는 판형 파일도 있다. 이런 내용을 정제 없이 잘라 넣으면 모델이 읽지 못하는 조각들이 쌓이고, 검색은 그만큼 흔들린다.
그다음은 중복이다. 같은 계약서가 다섯 버전으로 돌아다니고, 회의록은 여덟 벌이 복제돼 있고, 슬라이드 절반은 템플릿 페이지다. 이런 내용이 벡터 DB에 그대로 들어가면 자리를 차지할 뿐 아니라 검색 결과를 흐린다. 질문 하나에 거의 같은 단락이 다섯 개 돌아오고, 진짜 답은 뒤로 밀려난다.
그리고 민감정보다. 계약서의 주민등록번호, 보고서의 계좌번호, 이력서의 주소. 이런 필드가 문서를 따라 검색 경로에 들어오면, 누구든 물어보기만 하면 볼 수 있다. 공개 도구에서 물었다면 그건 고객 정보를 회사 밖으로 직접 보낸 것이다.
세 층이 겹치면, 문서 질의응답 프로젝트가 세 달 만에 아무도 찾지 않는 이유가 설명된다.
섀도 AI: 반드시 짚고 넘어가야 할 리스크
공개 도구 이야기를 여기서 조금 더 해야 한다. IBM의 2025년 데이터 유출 비용 보고서에는 이런 수치가 있다. 기업 5곳 중 1곳이 직원들의 무단 AI 사용, 업계 용어로 '섀도 AI' 때문에 데이터 유출을 겪었고, 이런 기업의 평균 유출 비용은 동종 기업보다 약 67만 달러 높았다. 더 눈에 걸리는 건 또 하나의 숫자다. 유출을 경험한 조직 가운데 63%는 아직 문서화된 AI 거버넌스 정책이 없다.
요컨대 막는 것보다 통로를 내주는 편이 낫다. 직원이 AI를 쓰는 이유는 기밀 유출 의도가 아니라, 정식 내부 경로가 쓸 만한 답을 주지 않기 때문이다. 금지 조항을 늘리기보다 내부 데이터 파이프라인을 먼저 닦는 게 답이다. 문서를 사내에서 정제하고 비식별화하고 압축한 뒤 검색 저장소에 넣으면, 직원들은 내부 시스템 안에서만으로도 그럴듯한 답을 얻는다. 계약서를 외부 대화창에 붙여넣을 이유가 사라진다.
시판 SaaS 지식베이스를 사면 안 되냐는 질문도 나온다. 되긴 한다. 다만 하나는 따져야 한다. 문서를 올리는 순간 데이터는 남의 서버에 쌓인다. 일반 업종이라면 큰 문제가 아닐 수 있지만, 금융·의료·법률·공공 영역에서 계약서와 진료 기록, 사건 기록은 손댈 수 없는 선이다. 사설 배포의 의미는 기술이 앞서서가 아니라, 데이터를 남겨둘지 말지를 결정할 권한이 자기 손에 있다는 데 있다. UglyPear Data는 '데이터는 내부망을 벗어나지 않는다'를 바닥선으로 잡는다. RAG 데이터 엔지니어링 기반은 전면 사설 배포로 돌아가고, 13개 범주의 AI 민감정보를 자동 탐지·비식별화하며, 전 과정이 기업 자신의 환경 안에서 끝난다. 13개 범주가 무엇을 아우르냐면, 주민등록번호·카드번호·전화번호 같은 기본 필드에 더해 업종별 민감 구조까지 포함한다. 금융·의료·법률 현장에서 실용적인 부분이다. 다만 비식별화 규칙이 특정 기업의 업무에 맞는지는 실제 문서를 넣어 봐야 안다.
'여섯 공정에 여덟 가지 능력'이라는 표현은 마케팅 문구처럼 들리지만, 풀어 보면 소박하다. 공정은 문서 유입부터 저장 전까지의 처리 단계를, 능력은 압축·비식별화·구조화처럼 여러 단계에서 재활용되는 기본기를 가리킨다. 각 단계가 어떻게 설계됐는지는 공식 자료를 받아 자사 문서 흐름에 대입해 보는 편이 누구의 설명보다 정확하다.
압축 먼저, 저장은 그다음: 아끼는 건 진짜 돈
데이터 엔지니어링의 반대쪽 끝에는 비용이 붙어 있다. 기업 문서에서 부피를 가장 많이 차지하는 건 대개 스캔본과 이미지다. 수백 페이지짜리 스캔 계약서는 원본만 수백 메가바이트에 이르기도 한다. 이것을 그대로 저장소에 넣으면 보관과 벡터화 비용이 모두 커진다.
압축 단계의 가치가 여기서 드러난다. SmartSlim의 압축 엔진은 PDF, 이미지, 영상, 오디오, 오피스, OFD, 스캔본 등 8개 형식 계열을 다루며, 부피를 60%에서 80%까지 줄인다. 처리는 전부 로컬에서 끝난다. 대규모 모델 용도의 최적화가 더 중요하다. 이미지 콘텐츠는 GPT-4o 기준 실측에서 토큰 비용을 85.9% 절감했다. 문서가 작아지고 깨끗해지면 임베딩·검색·응답 각 단계의 호출량이 함께 내려간다. 극단적인 사례 하나도 공식 실측에 있다. 443페이지짜리 OFD 문서를 엔드투엔드로 124초 만에 처리했고, 도장과 판형은 그대로 보존됐다.
"압축하면 내용이 상하지 않을까"라는 의문도 자연스럽다. 보존 모드는 하위 판형 구조를 건드리지 않고 중복 데이터만 다룬다. 그래도 저장 전에 몇 페이지를 골라 확대해서 확인하는 습관은 유지할 만하다.
세 가지 경로, 무엇이 다른가
지금까지의 내용을 모아 보면, 기업 문서를 AI에 연결하는 길은 대략 세 가지다.
| 비교 항목 | 공개 AI 도구에 바로 붙여넣기 | 자체 벡터 DB에 바로 청킹 | 데이터 엔지니어링 기반을 거쳐 저장 |
|---|---|---|---|
| 데이터 내부망 이탈 여부 | 이탈, 이후 경로 통제 불가 | 이탈하지 않음(자체 구축 전제) | 이탈하지 않음, 전 과정 사설 환경 |
| 민감정보 처리 | 처리 없음, 그대로 노출 | 비식별화 모듈을 직접 개발해야 함 | 13개 범주 자동 탐지·비식별화 |
| 스캔본과 판형 파일 | 사실상 사용 불가 | 청킹 후 품질 저하, 검색이 흔들림 | 압축·보존 전처리, 도장과 판형 유지 |
| 저장 부피와 호출 비용 | 저장 개념 없음, 매번 붙여넣기 | 원본 부피 그대로 저장, 비용 큼 | 부피 60%–80% 절감, 이미지 토큰 85.9% 절감(GPT-4o 기준) |
| 배포와 유지보수 | 구축 없음, 리스크는 본인 몫 | 전 과정 도구 체인을 직접 구축 | 여섯 공정 + 여덟 가지 능력 즉시 사용 |
| 어울리는 곳 | 개인의 임시 조회 | 개발 역량이 강하고 데이터가 민감하지 않은 팀 | 컴플라이언스와 비용을 모두 따지는 팀 |
이 표는 제품 평가가 아니라 선택 기준의 틀이다. 기업마다 문서 구성이 다르니 가중치는 각자 정해야 한다. 의료라면 비식별화가 1순위일 것이고, 전자상거래라면 비용이 더 큰 변수일 수 있다.
정책도 시간표를 내놓았다
외부 변수도 하나 짚어둔다. 재정부 등 9개 부처는 2025년 5월 「전자 증빙 회계 데이터 표준의 확대 적용에 관한 통지」(재회〔2025〕9호)를 인쇄·발부하고, 각 조직의 회계 소프트웨어가 2027년 12월 31일까지 업그레이드를 마쳐 전자 증빙 회계 데이터 표준에 적응하도록 요구했다. 풀어 말하면, 기업 문서가 구조화되고 기계가 읽을 수 있는 형태로 넘어가는 것은 선택지가 아니라 정해진 시간표라는 뜻이다.
전자 세금계산서는 이미 전역으로 확산돼 보급률이 80%를 넘었고, 규격에 맞는 전자 영수증 아카이빙 형식은 디지털 서명이 들어간 XML 구조화 파일이다. 다가오는 몇 년 동안 기업의 문서 데이터 엔지니어링은 "할 것인가"가 아니라 "어떤 속도로 할 것인가"의 문제가 된다. 정제·비식별화·구조화·저장으로 이어지는 파이프라인을 한발 먼저 세워두면 정책 대응이든 모델 연결이든 감사 대응이든 매끄럽다. 한발 늦으면 임기응변으로 밀려간다.
RAG 데이터 엔지니어링 기반의 제품 페이지는 여기에 정리돼 있다. 압축 쪽 기능이 궁금하면 SmartSlim 제품 페이지를 참고하고, 두 제품이 맞물리는 방식은 UglyPear Data 기술 블로그에서 더 자세히 다룬다.
지금 사용해 보기
- RAG 데이터 엔지니어링 기반(사설 배포, 13개 범주 민감정보 비식별화, 여섯 공정 + 여덟 가지 능력): https://www.uglypear.com/ko/
- SmartSlim 제품 페이지(압축 엔진, 데스크톱 버전, SDK와 API): https://www.uglypear.com/ko/products/
- UglyPear Data 기술 블로그(압축과 데이터 엔지니어링 실무 이야기 지속 갱신): https://www.uglypear.com/ko/blog/
자주 묻는 질문
Q: RAG 프로젝트 성과가 나쁠 때, 모델을 바꿔야 하나요 데이터를 먼저 고쳐야 하나요?
A: 데이터를 먼저 고치는 편이 맞습니다. "답이 엉뚱하다"의 뿌리는 대개 문서 품질에 있습니다. 스캔본이 흐릿하고, 버전이 중복되고, 구조가 뒤섞인 상태에서는 어떤 모델을 갈아 끼워도 결과가 비슷합니다. 정제·비식별화·압축 과정을 마친 뒤 다시 평가하면 많은 문제가 저절로 사라집니다.
Q: 13개 범주의 민감정보 탐지도 모두 사내에서 이뤄지나요?
A: 네. 탐지와 비식별화는 모두 기업의 사설 환경에서 돌아가고 데이터는 내부망을 벗어나지 않습니다. 규칙은 업종과 업무 상황에 맞게 조정할 수 있습니다.
Q: 압축한 문서를 다시 모델에 넣으면 답변 품질이 떨어지나요?
A: 보존 모드는 하위 판형 구조를 건드리지 않고 중복 데이터만 다루므로 텍스트 내용 자체는 그대로입니다. 이미지 콘텐츠는 GPT-4o 기준 토큰 비용을 85.9% 절감할 수 있습니다. 저장 전에 핵심 페이지를 몇 장 샘플로 확인해 보길 권합니다.
Q: 이미 자체 벡터 DB를 갖추고 있는데도 이용할 수 있나요?
A: 가능합니다. RAG 데이터 엔지니어링 기반이 담당하는 구간은 저장 이전 단계, 즉 정제·비식별화·압축·구조화입니다. 여기서 나온 데이터를 기존 벡터 DB에 그대로 연결하면 되고, 처음부터 다시 만들 필요가 없습니다.
Q: 사설 배포는 하드웨어 요구가 큰가요?
A: 문서량과 동시 사용 규모에 따라 달라집니다. 실제 문서 일부로 소규모 검증을 먼저 진행하고, 측정된 수치를 근거로 자원을 계획하는 편이 감으로 정하는 것보다 확실합니다.