コア機能
8大機能が連携し,ドキュメントが知識になる道のりをすべてカバー
一、高精度解析
6フォーマットの統一入口、スキャン文書も読めて、表も崩れない
企業ドキュメントの多様なフォーマットは,ナレッジベース構築の最初の壁です.基盤はDeepDocレイアウト解析(レイアウト + 表構造認識のデュアルONNXモデル,ローカル推論)を内蔵し,PDF,Word,Excel,PPT,OFD,XPSの6大フォーマットを構造化データに統一解析,タイトル階層,段落,表の行列関係(結合セルを含む)と読書順序を保持します.スキャン文書は自動OCR認識します.
二、ドキュメントクレンジング
ヘッダー・フッターや透かしといった「ノイズ」をナレッジベースの門の外に遮断
ヘッダー・フッター,ページ番号,透かし,重複コンテンツ——これらは人間にとっては背景ノイズですが,AIにとっては汚染源です:回答に突然ページ番号が現れたり,重複文書が検索を妨害したりします.基盤は解析後にこれらのノイズを自動マーク・クレンジングし,クレンジングレポートを返します.何を処理し,何を削除したか,すべて記録で確認できます.
三、AIインテリジェントマスキング
13カテゴリの機密情報を、登録前に自動マスキング
文書内の埋め込み画像に含まれる顔、身分証、公印 / 法人の実印、ナンバープレート、QRコードなどは、そのままナレッジベースに入ると重大な漏洩リスクになります。基盤は圧縮エンジンのAI特徴保護検出器を再利用し、登録前に機密領域へ自動的にガウシアンぼかし/モザイク処理を行い、マスキングレポートを出力します——各画像で何を検出し、どこを処理したか、監査時に明確に確認できます。
四,高性能圧縮
1回の処理で2つの成果物：より小さなファイル + よりクリーンな知識
圧縮はUGLYPEARの看板技術です.画像,音声・動画,PDF,Office,OFD,XPS,テキストの40+フォーマットを網羅し,平均圧縮率60%,最高80%.SSIM/PSNRの二指標による品質ゲートで,「小さく圧縮」は「ぼやけた圧縮」ではないことを保証します.AIアプリケーションにとって,画像圧縮はマルチモーダル推論のトークンコスト低減を直接意味します——実測ではGPT-4o基準で85.9%削減です.
五、インテリジェントチャンク分割
異なる文書には異なる分割を——意味を分断しないからこそ、検索が的確になる
固定長のチャンク分割は業界で最もよく踏まれる落とし穴です:ひとつの文が途中で切断され,AIは半端な情報を検索して当てずっぽうの回答しかできません.基盤はドキュメントタイプ別にチャンク分割戦略を選択し,4種類のプリセットパラメータを内蔵,業務に応じて微調整可能です:
| ドキュメントタイプ | チャンク分割戦略 | 特別処理 |
|---|---|---|
| 規程類/契約書 | 条項単位で分割 | 条件と結論を分離しない |
| 技術マニュアル | 章+節単位 | 型番/パラメータ/適用範囲を同一ブロックに |
| FAQ | 一問一答 | 質問と回答を紐付け |
| 表形式資料 | 行グループ単位で分割 | 表頭を反復し,行列関係を保持 |
| PPT | ページ単位 | タイトル+本文+備考をまとめて |
| 長い報告書 | 親子2層 | 子ブロックで検索、親ブロックで生成 |
六、メタデータとライフサイクル
各知識ポイントに「身分証」を付与し、期限切れ知識は自動的に退場
チャンク分割完了後,各知識ポイントには文書タイトル,章パス,公開日時,バージョン番号,出典部署などのメタデータが自動紐付けされ,4段階のコンテンツ強化(パンくずナビゲーション,キーワード,要約,仮説的質問)を行います.文書更新時は増分処理:新バージョンは自動登録,旧バージョンは自動的に優先度を下げて期限切れとマークし,コンテンツハッシュにより同一文書の重複登録を防ぎます.
七、権限タグ付け
誰がどの知識を見られるか、知識ポイント単位で管理
給与規程は人事と管理層のみ閲覧可能,技術文書は部署別に分離.基盤は各知識ポイントに部署,職位,役割,地域,機密レベルのタグを紐付けることをサポートし,検索時は権限フィルタを先に行いリコールを実施します——権限検証はデータレイヤーで完了し,アプリケーションレイヤーの自觉に依存しません.マルチテナント体系により,異なる顧客/事業部のナレッジベースは天然に分離されます.
八、3層評価
ナレッジベースの良し悪しは数字で示し,悪い回答は責任を追跡可能
ナレッジベースは構築して終わりではありません.基盤には3層評価体系が内蔵されています:コーパスレベル(解析の完全性,表構造率,OCR精度,マスキングカバレッジ),検索レベル(HitRate@K,Recall@K,MRR,NDCG@K),生成レベル(忠実度,回答の関連性,コンテキスト精度).ユーザーの低評価後,原因を自動帰属:問題がチャンク分割,クレンジング,マスキング,メタデータのいずれにあるか,ひと確認すれば判明し,badcaseは自動的に評価セットへ回流します.