CORPUSCHUNKS + EMBEDRETRIEVE + RERANKcohere rerankingDIFY · LLM ANSWERcited · groundedFig. 03.A — RAG schematic

— No. 03 / RAG

Internal FAQ RAG Chatbot

dify · cohere reranking · 2024

社内マニュアルをナレッジ化したRAGチャット。チャンクサイズ・Cohereリランキングを地道に調整し、回答精度を改善。改善プロセスをドキュメント化し、運用引き継ぎまで設計。A RAG chatbot trained on internal manuals. Tuned chunk sizes and Cohere reranking to improve retrieval accuracy, with the iteration process documented for hand-off.

Type社内ナレッジ × 検索拡張生成Internal knowledge · RAG
Role設計 · チューニング · ドキュメント化Design · Tuning · Documentation
StackDify (self-hosted) · Cohere Rerank · VPS
AccuracyTop-3 適中 +28pt (調整前後比較)+28pt Top-3 hit rate (pre/post tuning)
Status運用中 · 継続チューニングIn use · ongoing tuning
DifyRAGCohereVPSpgvector
案件詳細を読むRead case study→この件で相談するDiscuss this
01 / Context

Background

蓄積されたマニュアルや手順書が「どこにあるか」を探すだけで30分。社員の暗黙知も含め、聞けば答えてくれる入口を社内に置くことで、検索コストとオンボーディング時間を圧縮することが目的。Finding the right manual takes 30 minutes. The goal: place a single ask-and-get-answered surface inside the company to compress lookup cost and onboarding time.

02 / Tuning

Tuning loop

N° 01チャンクサイズ調整Chunk-size sweep256 / 512 / 1024 token splits
N° 02埋め込みモデル比較Embedding comparisonmultilingual · domain bias check
N° 03Cohereリランキング導入Cohere rerankingretrieve-30 → rerank-top-5
N° 04回答評価セット運用Eval-set opshuman label · regression check
03 / Outcome

Outcomes & decisions

  1. チャンクサイズの調整により検索精度が向上し、的外れな回答が減少した。Reranking noticeably improved retrieval relevance — irrelevant chunks dropped from responses after tuning.
  2. 回答に必ず引用元を表示 ─ 信頼性を担保。Every answer is cited — trust is non-negotiable for internal use.
  3. 改善ログをドキュメント化、運用担当に引き継げる構成。Tuning history is documented so the in-house team can continue iterating.
  4. Difyワークフローでアクセス権限を分離、機密文書のスコープを制御。Dify workflows scope access — confidential docs stay restricted.

— Back to top

Browse other work

一覧へAll works→