연구 지식베이스 구축: 프라이빗 RAG와 문서 압축

화요일 밤, 대학원생 한 명이 지도교수에게서 온 300메가바이트 과제 신청서를 메일로 받으려다 실패했다. 첨부 용량을 넘었다는 안내만 띄울 뿐이다. 결국 웨진으로 보냈지만, 다음 날 상대방은 "파일이 안 열린다"고 답장을 보냈다. 이런 일, 연구실마다 한두 번은 겪었을 것이다. 자료는 분명 있는데, 너무 커서 안 가고, 흩어져 있어서 안 찾아지고, 버전은 어긋나 있다.

연구 자금을 지원하는 기관과 심의 위원회는 디지털 연구 성과에 대한 요구를 계속 높이고 있다. 데이터나 초안, 게재된 그림 하나도 누가 바꿨는지, 어느 판이 최종본인지, 원본 출처가 어디 있는지 추적 가능하고 감사 가능해야 한다. 말로는 그럴듯하지만, 현실은 다르다. 한 실험실이 몇 년간 쌓은 문헌과 과제 신청서, 실험 기록은 수십 기가바이트의 Office 파일이며, 그 안엔 스크린샷과 그래프, 스캔한 페이지가 가득 차 있다. 파일 자체를 다룰 수 없다면 "추적 가능"은 빈말이 된다.

여기에 캠퍼스 간 협업이 더해지면 상황은 더 꼬인다. 학생이 노트북을 바꿨더니 지도교수가 보낸 수백 메가바이트 신청서가 첨부 한도에 막힌다. 리뷰 논문을 쓰다가 3년 전 논문의 원본 데이터가 필요해져 세 폴더를 뒤졌는데, 찾은 버전은 인용한 것과 맞지 않는다. 자료는 없는 게 아니라 흩어지고, 뚱뚱하고, 안 찾아지는 것이다.

학술 문서는 왜 부풀어 오르는가

연구 자료 대부분은 Office 문서에서 출발한다. 학위 논문 초안의 본문은 몇 만 자일지 몰라도, 그 안에 박힌 삽화, 흐름도, 장비 스크린샷, 참고문헌 스캔 페이지가 텍스트보다 용량이 더 클 때가 많다. 여기에 중첩이 더해진다. PowerPoint의 차트는 Excel에서 복사해 온 것이고, Word의 도식은 PDF를 잘라 붙인 것이다. 객체 안에 객체가 들어가면 파일은 불어나는데, 정리할 사람은 없다.

M-Files가 Vanson Bourne에 의뢰해 진행한 글로벌 조사가 이 고충을 정확히 짚었다. 직원의 96%가 문서의 최신 버전을 찾기 어렵다고 답했고, 83%는 이미 있는 문서를 찾지 못해 아예 새로 만들어 본 적이 있다고 했다. 이를 연구 현장에 대입하면, 대학원생이 같은 문헌을 되풀이해 정리하고, 연구실마다 "거의 비슷한" 참고자료 폴더를 따로 유지하는 일상이 된다. 손실은 화려하지 않지만, 기수를 거치며 누적된다.

압축 쪽에선 최근 실질적인 진전이 있다. 압축 엔진이 Office 문서 전체 파이프라인을 다시 다듬어, 문서 안에 박힌 이미지와 차트를 본문 텍스트만이 아니라 재귀적으로 함께 압축하도록 만들었다. 학술 논문이나 과제 신청서 입장에선, 파일을 부풀리던 임베딩 도표가 비로소 정리된다는 뜻이다. 파일이 작아지니 메일이 나가고, 기기 간 동기화도 버벅임 없이 진행된다. 공개 벤치마크에서 443쪽짜리 OFD 문서는 끝까지 124초 만에 처리됐고, 압축된 이미지를 모델에 넣을 때 드는 토큰 비용은 약 85.9% 줄어든다(GPT-4o 기준). 리뷰나 과제를 쓰며 GPT-4o급 모델을 자주 다루는 이들에게 이 계산은 무시하기 어렵다.

연구자를 위한 토큰 경제

이 지점은 처음 보기보다 더 무겁다. 문헌 종합, 과제 작성, 일상적인 코딩조차 이제는 거대 언어 모델을 거치고, 그 모델은 토큰으로 청구한다. 문서에 고해상도 스크린샷으로 붙은 그림 하나는 실제 정보량이 적어도 모델에 넣을 때마다 수천 토큰을 조용히 잡아먹는다. 모델에 닿기 전에 그 임베딩 이미지를 압축하면 두 가지 일을 한번에 한다. 파일은 저장하고 메일 보내기 가벼워지고, 같은 내용을 추론하는 비용도 크게 낮아진다. 모델 접속료를 이미 내는 연구실이라면 아무도 작업 방식을 바꾸지 않아도 수백 개 문서에 걸쳐 절감이 쌓인다.

콜드 데이터가 저장을 몰래 먹고 있다

Komprise의 고객 조사에 따르면 기업 NAS에서 90일 넘게 접근되지 않은 데이터가 60~70%에 이르지만, 여전히 가장 비싼 주 저장소를 점유하고 있다. 연구기관은 이 보기의 전형이다. 과제가 끝나고 논문이 나오면 원본 데이터는 아무도 건드리지 않는다. 하지만 삭제하거나 함부로 둘 수도 없다. 어느 날 심사위원이 그대로 달라고 할 테니, 있던 그대로 꺼내야 하기 때문이다.

대학은 학과 평가, 감사, 각종 점검을 거의 매년 치른다. 3년 혹은 5년 전 원본 데이터를 꺼내는 일은 일상이다. 그쯤 되면 최종 보고서가 어느 폴더에 있었는지 기억하는 이도 없고, 파일명으로 짐작하는 게 유일한 방법이다. 미리 압축하고 색인해 두면, 요청이 실제로 왔을 때 한 번의 질의로 손 안 대고 찾는다.

그래서 학술 지식 관리가 풀어야 할 과제는 "찾을 수 있는가"만이 아니다. "저렴하게 저장하고 쉽게 옮길 수 있는가"도 함께다. 그래서 압축과 검색이 한 묶음이어야 한다. 문서를 먼저 줄이고, 지식베이스가 파일명이 아니라 내용으로 찾게 하는 방식이다. 두 능력은 서로 경쟁하는 게 아니라 서로를 뒷받침한다.

인간의 실수가 스며드는 틈

누수는 정교한 공격에서 시작되는 경우가 드물다. IBM의 2025년 유출 비용 연구에 따르면 침해 사고의 26%가 인간의 실수에서 비롯된다. 외부 침입보다 평범하고 흔한 경로다. 연구 맥락에서라면 공유 초안에 남은 협력자의 연락처, 잘못된 주소로 간 메일에 첨부된 민감 데이터셋일 수 있다. 교훈은 화려한 것을 두려워하는 게 아니다. 평범한 경우를 기본적으로 안전하게 만드는 것이다. 수집 시점에 민감 정보를 자동 탐지하고 마스킹하면, 사고가 나기 전에 한 부류의 실수를 통째로 없앤다.

프라이빗 RAG: 데이터는 캠퍼스 안에 머문다

UglyPear Data가 만드는 것은 고성능 문서 압축과 검색 증강 생성(RAG) 데이터 엔지니어링 기반을 결합해 전면 프라이빗 배포로 돌리는 것이다. 데이터는 내부 네트워크를 벗어나지 않는다. 데이터 주권이 거의 타협 불가능한 연구 조직에게 이는 기능이 아니라 바닥이다. 캠퍼스 서버에 올리면 교수와 학생의 문헌, 실험 기록, 내부 보고서는 모두 자체 서버실에 남고 외부 클라우드로 넘어가지 않는다. air-gapped 환경에서도 local-first로 운용될 수 있다.

이 기반 안에서는 13개 범주의 AI 민감 정보가 자동으로 탐지되고 마스킹된다. 과제 신청서에 섞인 신분증 번호나 협력자의 연락처는 수집 전에 처리돼, 이후 검색이나 질의응답에서 드러내선 안 될 정보가 새어나오지 않는다. 검색 자체도 권한을 따진다. 구절 단위로 누가 어느 페이지를 볼 권한이 있는지 질의 시점에 실시간 적용되며, 전체 저장소를 한꺼번에 여는 방식이 아니다.

더 편한 점은 기관이 이미 쓰는 업무 데이터베이스에 직접 연결된다는 것이다. 원본 데이터를 옮기지 않고 영역을 벗어나지 않은 채로 검색하고 인용할 수 있다. 적지 않은 학교는 벌써 수년 된 문헌 시스템이나 자료库를 운영 중이다. 처음부터 다시 할 필요 없이 연결만 하면 된다. 갱신에도 스냅샷 롤백과 오삭제 방지가 들어가, 가져온 내용에 문제가 생기면 마지막 정상 상태로 되돌릴 수 있다. 배포 형태와 연결 범위는 UglyPear Data 제품 페이지에서 구체적으로 확인할 수 있다.

선택할 때 무엇을 재야 하는가

연구 지식베이스를 짓는 길은 하나가 아니다. 아래 표는 흔한 몇 갈래를 같은 기준으로 놓고 견줜다. 소속 기관의 실정에 맞춰 가려내기 위함이다.

어느 방식도 만능은 아니다. 작은 연구실은 공유 폴더로도 충분히 돈다. 그러나 캠퍼스와 기수를 넘나들며 규정 심사까지 통과해야 하는 자료 체계라면, 내장 압축을 갖춘 프라이빗 배포가 "통제된다"와 "실제로 쓰인다" 사이에서 균형을 잡는 경우가 많다. 압축과 검색을 한 기반에서 돌리려면 UglyPear Data의 프라이빗 RAG 구성을 함께 살펴보는 것이 좋다.

구체적인 몇 장면

문헌 조사 단계에선 최근 5년치 PDF와 노트를 한곳에 모아 자연어로 물어보면 relevant한 문단이 나온다. 페이지마다 넘길 필요가 없다. 과제를 쓸 때는 지난 회차의 선정 본, 전문가 의견, 수정 기록이 모두 저장돼 있어, 새 본의 한 절을 쓰다가 예전에 어떻게 썼는지 곧바로 꺼낸다. 대학원 생육에서는 지도교수가歷代 개시 보고서와 심사 PT를 쌓아 검색 가능한 "경험베이스"를 만들어 신입이 헛수고를 줄이게 한다. 캠퍼스 간 협업에선 압축된 문서가 가볍고 빨라져 첨부 한도에 막히지 않는다.

이 장면들은 특별해 보이지 않는다. 어려운 건 이를 일상화하고 방해하지 않는 것이다. 지식베이스의 가치는 다름而非 누군가가专门 관리할 때가 아니라, 아무도 손대지 않을 때에도 찾고 꺼낼 수 있다는 데 있다.

자주 묻는 질문

Q: 프라이빗 배포는 운영 부담이 크지 않나요?
A: UglyPear Data는 데이터가 영역을 벗어나지 않는 전면 프라이빗 배포를 제공하며, 기관의 기존 데이터베이스에 직접 연결할 수 있어 원본 데이터를 옮기지 않고 수집되므로 처음부터 짓는 운영 부담을 낮춥니다. 구체적 배포 형태는 기관 환경별로 평가됩니다.

Q: 쓰던 문헌 시스템을 처음부터 다시 세워야 하나요?
A: 아닙니다. 기반은 기존 데이터베이스에 직접 연결되며, 원본 데이터는 영역을 벗어나지 않고 검색·인용되므로 기존 자료 체계를 그대로 두고 재사용할 수 있습니다.

Q: 압축하면 도표가 흐려져 논문 품질에 영향이 있나요?
A: 압축은 문서 용량 최적화를 목적으로 하며, 임베딩된 이미지와 차트 객체를 재귀 처리해 부피를 줄입니다. 공개 벤치마크에서 443쪽 OFD 문서가 124초 만에 처리됐으며, 선명도 관련 역량은 공식 공개 기준을 따릅니다.

Q: 민감 정보가 새어나오지 않게 어떻게 보장하나요?
A: 수집 전 13개 범주의 AI 민감 정보가 자동 탐지·마스킹되고, 검색은 구절 단위 권한을 질의 시점에 적용하므로 권한 밖 콘텐츠는 나타나지 않습니다.

Q: 학교 내부 자료로 모델 보조 작성을 쓸 수 있나요?
A: 프라이빗 환경 안에서 모델을 연결할 수 있고 데이터는 영역을 벗어나지 않습니다. 압축으로 모델에 넣는 토큰 비용을 낮추니(이미지류는 GPT-4o 기준 약 85.9% 감소), 외부 유출 없이 모델 능력을 누릴 수 있습니다.

지금 사용해 보기

프라이빗 RAG와 문서 압축이 자신의 연구실이나 학과에 어떻게 닿는지 확인하려면, UglyPear Data 제품 소개와 RAG 데이터 엔지니어링 기반의 공개 페이지를 보시거나, UglyPear Data 기술 블로그에서 더 많은 선정과落地 사고를 읽어보세요. 자료가 통제되고, 찾아지고, 옮겨지는 순간, 연구는 문서에 끌려가지 않습니다.

더 자세한 제품 구성은 UglyPear Data 제품 페이지에서, 전체 공개 소개는 UglyPear Data 메인에서, 그리고 꾸준한 선정 가이드는 UglyPear Data 블로그에서 이어보실 수 있습니다.