コア機能
8大機能が連携し、ドキュメントが知識になる道のりをすべてカバー
一、高精度解析
6フォーマットの統一入口、スキャン文書も読めて、表も崩れない
企業ドキュメントの多様なフォーマットは、ナレッジベース構築の最初の壁です。基盤はDeepDocレイアウト解析(レイアウト + 表構造認識のデュアルONNXモデル、ローカル推論)を内蔵し、PDF、Word、Excel、PPT、OFD、XPSの6大フォーマットを構造化データに統一解析、タイトル階層、段落、表の行列関係(結合セルを含む)と読書順序を保持します。スキャン文書は自動OCR認識します。
二、ドキュメントクレンジング
ヘッダー・フッターや透かしといった「ノイズ」をナレッジベースの門の外に遮断
ヘッダー・フッター、ページ番号、透かし、重複コンテンツ——これらは人間にとっては背景ノイズですが、AIにとっては汚染源です:回答に突然ページ番号が現れたり、重複文書が検索を妨害したりします。基盤は解析後にこれらのノイズを自動マーク・クレンジングし、クレンジングレポートを返します。何を処理し、何を削除したか、すべて記録で確認できます。
三、AIインテリジェントマスキング
13カテゴリの機密情報を、登録前に自動マスキング
文書内の埋め込み画像に含まれる顔、身分証、公印、ナンバープレート、QRコードなどは、そのままナレッジベースに入ると重大な漏洩リスクになります。基盤は圧縮エンジンのAI特徴保護検出器を再利用し、登録前に機密領域へ自動的にガウシアンぼかし/モザイク処理を行い、マスキングレポートを出力します——各画像で何を検出し、どこを処理したか、監査時に明確に確認できます。
四、高性能圧縮
1回の処理で2つの成果物:より小さなファイル + よりクリーンな知識
圧縮はUGLYPEARの看板技術です。画像、音声・動画、PDF、Office、OFD、XPS、テキストの40+フォーマットを網羅し、平均圧縮率60%、最高80%。SSIM/PSNRの二指標による品質ゲートで、「小さく圧縮」は「ぼやけた圧縮」ではないことを保証します。AIアプリケーションにとって、画像圧縮はマルチモーダル推論のトークンコスト低減を直接意味します——実測ではGPT-4o基準で85.9%削減です。
五、インテリジェントチャンク分割
異なる文書には異なる分割を——意味を分断しないからこそ、検索が的確になる
固定長のチャンク分割は業界で最もよく踏まれる落とし穴です:ひとつの文が途中で切断され、AIは半端な情報を検索して当てずっぽうの回答しかできません。基盤はドキュメントタイプ別にチャンク分割戦略を選択し、4種類のプリセットパラメータを内蔵、業務に応じて微調整可能です:
| ドキュメントタイプ | チャンク分割戦略 | 特別処理 |
|---|---|---|
| 規程類/契約書 | 条項単位で分割 | 条件と結論を分離しない |
| 技術マニュアル | 章+節単位 | 型番/パラメータ/適用範囲を同一ブロックに |
| FAQ | 一問一答 | 質問と回答を紐付け |
| 表形式資料 | 行グループ単位で分割 | 表頭を反復し、行列関係を保持 |
| PPT | ページ単位 | タイトル+本文+備考をまとめて |
| 長い報告書 | 親子2層 | 子ブロックで検索、親ブロックで生成 |
六、メタデータとライフサイクル
各知識ポイントに「身分証」を付与し、期限切れ知識は自動的に退場
チャンク分割完了後、各知識ポイントには文書タイトル、章パス、公開日時、バージョン番号、出典部署などのメタデータが自動紐付けされ、4段階のコンテンツ強化(パンくずナビゲーション、キーワード、要約、仮説的質問)を行います。文書更新時は増分処理:新バージョンは自動登録、旧バージョンは自動的に優先度を下げて期限切れとマークし、コンテンツハッシュにより同一文書の重複登録を防ぎます。
七、権限タグ付け
誰がどの知識を見られるか、知識ポイント単位で管理
給与規程は人事と管理層のみ閲覧可能、技術文書は部署別に分離。基盤は各知識ポイントに部署、職位、役割、地域、機密レベルのタグを紐付けることをサポートし、検索時は権限フィルタを先に行いリコールを実施します——権限検証はデータレイヤーで完了し、アプリケーションレイヤーの自觉に依存しません。マルチテナント体系により、異なる顧客/事業部のナレッジベースは天然に分離されます。
八、3層評価
ナレッジベースの良し悪しは数字で示し、悪い回答は責任を追跡可能
ナレッジベースは構築して終わりではありません。基盤には3層評価体系が内蔵されています:コーパスレベル(解析の完全性、表構造率、OCR精度、マスキングカバレッジ)、検索レベル(HitRate@K、Recall@K、MRR、NDCG@K)、生成レベル(忠実度、回答の関連性、コンテキスト精度)。ユーザーの低評価後、原因を自動帰属:問題がチャンク分割、クレンジング、マスキング、メタデータのいずれにあるか、ひと確認すれば判明し、badcaseは自動的に評価セットへ回流します。