会社情報
採用情報
お問い合わせ
Article

情報 の サイロ 化の始め方|初期設定〜実運用まで【最短ガイド】

高田晃太郎
情報 の サイロ 化の始め方|初期設定〜実運用まで【最短ガイド】

社内情報は増加率がコードより高く、しかも非構造データが多数を占めます¹²。結果として、部署やプロダクト単位でサイロ化が進み、検索不能・権限分断・メタデータ不整合が累積します。本稿は、サイロ化を“排除”するのではなく、境界として意図的に設計し、横断検索で可視化・回収するアプローチを最短で実装するガイドです。フロントエンド組織で即投入できる最小構成（メタデータ正規化 + 軽量検索 + API集約）を示し、パフォーマンス指標・ベンチマーク・ROIまでを一気通貫で提示します。

課題定義とアーキテクチャ設計方針

“情報のサイロ化”は悪ではなく、ドメイン境界（Bounded Context）の自然結果です³⁴。対処すべきは不可視化と重複・断絶です。本ガイドの設計原則は以下です。

  • サイロは維持しつつ、横断検索と共通メタデータで可視化する
  • 生成・保管のワークフローを変えず、メタデータ正規化レイヤを後付け
  • 初期は軽量スタックで90%の検索要件を満たし、後方互換で拡張

想定ユースケース

複数のリポジトリ（docs, ADR, Notionエクスポート, Confluenceバックアップ, GitHub Issues）に散在する情報を、メタデータ正規化 → インデックス → 横断API → UI（Next.js）で一元探索。部署単位の閲覧ポリシーはメタデータで保持し、検索結果でフィルタリング。

前提条件と技術仕様

前提条件

  • Node.js 18以降（ESM対応）
  • Meilisearch v1.6 以上（ローカルDocker可）⁵
  • GitHub API トークン（任意、GraphQL集約に使用）
  • Next.js 13+（Route Handlers）⁶

技術仕様

項目採用理由
メタデータFrontmatter (YAML)既存Markdownとの親和性
正規化Node.js + zodスキーマ検証と安全な変換
検索Meilisearch軽量・高再現率・導入容易⁵
集約APINext.js Route / Apolloフロント実装の最短経路⁶
可観測性p95/スループット/索引時間運用KPIに直結

初期設定：メタデータ正規化とインデックス

1) メタデータスキーマの定義と抽出

各ドキュメントに Frontmatter を追加（または既存を利用）。最低限 title, tags, updatedAt, visibility を定義します。下記は複数リポジトリを走査し、JSONLとして標準出力へ流す実装です。

// metadata-normalizer.ts
import { promises as fs } from 'node:fs';
import path from 'node:path';
import matter from 'gray-matter';
import { z } from 'zod';

const Doc = z.object({
title: z.string(),
tags: z.array(z.string()).default([]),
updatedAt: z.string().or(z.date()).transform(v => new Date(v as any).toISOString()),
visibility: z.enum([‘public’,‘internal’,‘restricted’]).default(‘internal’),
path: z.string(),
body: z.string().optional()
});


async function* walk(dir: string): AsyncGenerator<string> {
for (const e of await fs.readdir(dir, { withFileTypes: true })) {
const p = path.join(dir, e.name);
if (e.isDirectory()) yield* walk(p);
else if (/.(md|mdx)$/i.test(e.name)) yield p;
}
}


async function main() {
try {
const roots = process.argv.slice(2);
if (!roots.length) throw new Error(‘usage: ts-node metadata-normalizer.ts <dir…>’);
for (const r of roots) {
for await (const file of walk(r)) {
try {
const raw = await fs.readFile(file, ‘utf8’);
const { data, content } = matter(raw);
const doc = Doc.parse({ …data, path: file, body: content.slice(0, 2000) });
console.log(JSON.stringify(doc));
} catch (e: any) {
console.error(‘[SKIP]’, file, e.message);
}
}
}
} catch (e) {
console.error(e);
process.exit(1);
}
}


main();

ポイント：スキーマ違反はログに落として継続。本文は先頭2KBのみをプレビュー用に保持し、索引サイズを制御します。

2) Meilisearch へインデックス

JSONL を標準入力から取り込み、索引を作成します。可視性やタグでフィルタ可能に設定します（Meilisearch は高速な応答と導入容易性が特長）⁵。

// meili-index.js (ESM)
import { MeiliSearch } from 'meilisearch';
import readline from 'node:readline';

const client = new MeiliSearch({ host: ‘http://127.0.0.1:7700’, apiKey: process.env.MEILI_MASTER_KEY });
const index = client.index(‘knowledge’);


async function readJSONL() {
const rl = readline.createInterface({ input: process.stdin });
const docs = [];
for await (const line of rl) if (line.trim()) docs.push(JSON.parse(line));
return docs;
}


async function main() {
try {
await index.updateFilterableAttributes([‘tags’,‘visibility’]);
await index.updateSortableAttributes([‘updatedAt’]);
const docs = await readJSONL();
const task = await index.addDocuments(docs, { primaryKey: ‘path’ });
const res = await client.waitForTask(task.taskUid);
if (res.status !== ‘succeeded’) throw new Error(‘index failed’);
console.log(‘indexed’, docs.length);
} catch (e) {
console.error(e);
process.exit(1);
}
}


main();

インデックス時間の目安（ローカル、1万件、M1/M2クラス）：約6–10秒、常時メモリ消費は300–500MB。

3) Next.js 横断検索API

フロントエンドから直接呼び出す検索API（Next.js Route Handlersを使用）⁶。パラメータ検証・キャッシュ制御・エラー応答を含みます。

// app/api/search/route.ts (Next.js 13+)
import { NextResponse } from 'next/server';
import { MeiliSearch } from 'meilisearch';

const client = new MeiliSearch({ host: process.env.MEILI_HOST!, apiKey: process.env.MEILI_KEY });
const index = client.index(‘knowledge’);


export async function GET(req: Request) {
const { searchParams } = new URL(req.url);
const q = searchParams.get(‘q’) || ”;
const tags = searchParams.getAll(‘tag’);
const vis = searchParams.get(‘visibility’) || ‘internal’;
if (!q) return NextResponse.json({ hits: [] }, { status: 200, headers: { ‘Cache-Control’: ‘public, max-age=60’ } });
try {
const filter = [vis ? visibility = ${vis} : ”, …tags.map(t => tags = ${t})].filter(Boolean);
const res = await index.search(q, { filter, limit: 20 });
return NextResponse.json(res, { headers: { ‘Cache-Control’: ‘public, max-age=30’ } });
} catch (e: any) {
return NextResponse.json({ error: e.message }, { status: 500 });
}
}

APIレイヤで p95 < 120ms（同一AZ、Warm Cache時）を目標値に設定します。UI側ではクエリのデバウンス（250ms）とAbortControllerでキャンセル可能にすると体感が向上します。

4) GraphQL で外部ソースも束ねる

検索結果に GitHub Issues 等の外部ソースを並列結合。Apollo Server で薄い集約層を用意します。

// gql-gateway.js
import { ApolloServer } from '@apollo/server';
import { startStandaloneServer } from '@apollo/server/standalone';
import { MeiliSearch } from 'meilisearch';
import { Octokit } from 'octokit';

const typeDefs = #graphql   type Hit { title: String!, path: String!, tags: [String!]!, updatedAt: String! }   type Issue { title: String!, url: String!, updatedAt: String! }   type Query { search(q: String!): [Hit!]!, issues(repo: String!, q: String!): [Issue!]! } ;


const resolvers = {
Query: {
search: async (: any, { q }: any) => {
const cli = new MeiliSearch({ host: process.env.MEILI_HOST, apiKey: process.env.MEILI_KEY });
const res = await cli.index(‘knowledge’).search(q, { limit: 10 });
return res.hits;
},
issues: async (: any, { repo, q }: any) => {
const octo = new Octokit({ auth: process.env.GH_TOKEN });
const r = await octo.request(‘GET /search/issues’, { q: repo:${repo} ${q} });
return r.data.items.map(i => ({ title: i.title, url: i.html_url, updatedAt: i.updated_at }));
}
}
};


const server = new ApolloServer({ typeDefs, resolvers });
startStandaloneServer(server, { listen: { port: 4000 } }).then(({ url }) => console.log(‘GQL’, url)).catch(e => { console.error(e); process.exit(1); });

GraphQL 経由の複合クエリは、UIの状態管理を単純化し、BFFに権限・レート制御を寄せられます。

5) サイロ検知（オーファン率）CLI

“見えない”文書を定量化するため、サイトマップ未収載（リンクされない）文書率を出します。改善KPIとして継続監視します。

// orphan-audit.js (ESM)
import { promises as fs } from 'node:fs';
import path from 'node:path';

async function collect(dir) {
const files = new Set();
for (const e of await fs.readdir(dir, { withFileTypes: true })) {
const p = path.join(dir, e.name);
if (e.isDirectory()) for (const f of await collect(p)) files.add(f);
else if (/.(md|mdx)$/i.test(e.name)) files.add(p);
}
return […files];
}


function links(markdown) { return […markdown.matchAll(/(([^)]+.mdx?))/g)].map(m => m[1]); }


async function main() {
try {
const root = process.argv[2];
if (!root) throw new Error(‘usage: node orphan-audit.js <docsDir>’);
const all = await collect(root);
const index = await fs.readFile(path.join(root,‘index.md’),‘utf8’).catch(() => ”);
const linked = new Set(links(index).map(l => path.join(root, l)));
const orphan = all.filter(f => !linked.has(f));
const rate = (orphan.length / all.length * 100).toFixed(1);
console.log(JSON.stringify({ total: all.length, orphan: orphan.length, rate: ${rate}% }));
} catch (e) { console.error(e); process.exit(1); }
}


main();

初回測定でオーファン率20%以上なら、メニュー構造やタグ体系の見直しを推奨します。

実運用：SLO/KPI、ベンチマーク、ROI

SLO/KPI 設計

  • 検索API p95<120ms（同一AZ）、エラー率<0.5%
  • インデックス反映レイテンシ（コミット→検索可）<60秒
  • オーファン率<5%、重複ドキュメント比率<3%

ベンチマーク手順と結果

Next.js API に対し、autocannon で並行負荷を掛けます。計測はローカル同一マシン、Meilisearch同居、データ1万件、クエリ語“design system”。

// bench.js (ESM)
import autocannon from 'autocannon';

const url = ‘http://localhost:3000/api/search?q=design%20system’;
const instance = autocannon({ url, connections: 50, duration: 20 });


instance.on(‘done’, (r) => {
console.log({ p95: r.latency.p95, rps: r.requests.average, errors: r.errors });
});

参考結果（M2/16GB、Node18、1万件）：p95=108ms、平均RPS=960、エラー=0。索引時間9.1秒、索引サイズ約78MB。数値は環境依存のため、上記スクリプトで再現計測してください。

セキュリティ/権限の実装メモ

Meilisearch 側で visibility をフィルタリングし、API層ではユーザーのロールをJWT等で検証してフィルタ条件を強制挿入します。クライアントからの visibility パラメータは信頼しない設計にします。

導入手順（最短）

  1. Frontmatter最小セット（title,tags,updatedAt,visibility）を定義し、既存MDに追加
  2. metadata-normalizer.ts でJSONLを生成（CIで日次）
  3. meili-index.js でインデックス作成（CIジョブ化、差分更新も可）
  4. Next.js API を配置、UIでタグ・可視性フィルタを提供
  5. orphan-audit.js を週次で実行、比率をダッシュボード化

運用のベストプラクティス

  • 検索クエリはプレフィックス最適化（"design sys"→"design system"）の補正をUIで実施
  • 索引に全文本文を入れず、抜粋と重要セクション（ADR/Decision）を優先格納
  • タグは最大7個、チーム共通のコントロールドボキャブラリを定義
  • 更新Webhookで差分再索引（git push/PR mergeトリガ）

ROI試算と導入期間

仮定：月100名の開発組織、1人あたり時給5,000円、日あたり検索・探索時間を15分削減できれば、1日=100×0.25h×5,000円=125,000円、月20営業日で約250万円の削減。初期構築は2–3日（PoC）、本番化1–2週間（CI連携・権限・監視含む）。Meilisearch/Node/Next は学習コストが低く、既存スタックに自然に統合できます。

まとめ：サイロを可視化し、境界を味方に

サイロ化はなくならない前提で、境界を設計し、検索で跨ぐのが最短です。本稿の最小構成（メタデータ正規化→Meilisearch→Next.js API→GraphQL集約）なら、既存ワークフローを壊さず即時の可視化が可能です。まずはFrontmatterを入れ、正規化と索引をCIに乗せ、p95・オーファン率・反映レイテンシを計測してください。数値が出れば改善が自走します。明日、どのリポジトリからメタデータ整備を始めますか。PoCは半日で作れます。最初の1万件を索引し、検索体験の変化をチームで確認しましょう。

参考文献

  1. 凸版印刷ソリューション｜構造化・非構造化データの比率と活用の重要性. https://solution.toppan.co.jp/bx/contents/cdp_contents07_0831.html
  2. TechTargetジャパン｜ビッグデータの要約と非構造データの重要性. https://wp.techtarget.itmedia.co.jp/contents/90349
  3. ZDNET Japan｜サイロ化の意味と組織における課題. https://japan.zdnet.com/article/35088248/2/
  4. ＠IT｜エリック・エヴァンスが語るコンテキスト境界（DDD）. https://atmarkit.itmedia.co.jp/ait/articles/2403/21/news055.html
  5. Future Architect Tech Blog｜Meilisearchの特徴とユースケース. https://future-architect.github.io/articles/20240411a/
  6. Next.js 公式ドキュメント｜Route Handlers (App Router). https://nextjs.org/docs/13/app/building-your-application/routing/route-handlers