Ollama + RAGで九州博士AIを作る

ollama pull nomic-embed-text
ollama pull qwen2.5:7b  # 前回入れた回答用のモデル

pip install chromadb ollama langchain-text-splitters

ai04-kyushu-rag/
├── data/
│   ├── 99_kyushu.txt
│   ├── 01_kagoshima.txt
│   ├── 02_miyazaki.txt
│   ├── 03_kumamoto.txt
│   └── ...
├── build_db.py  # データをDB化する
└── ask.py        # 質問する

## 地域概要

### 地理
- 鹿児島県は九州地方の最南端に位置する県である。
- 県域は薩摩半島と大隅半島の2つの半島と、多数の離島で構成される。
- 総面積は約9,185.91平方キロメートルで、全国10位、西日本では最大規模。
- 南北約600km、東西約270kmにわたり、緯度差が5度以上ある。
- 離島数は1,256島を数え、長崎県、北海道に次いで全国3位。

### 気候
- 県内で気象予報区分が複数に分かれる、日本で唯一の県である。
- 本土は九州南部、トカラ列島と奄美群島は奄美地方に区分される。

### 人口
- 2025年国勢調査確定値で総人口は151万1,783人、戦後最少を更新した。
- 2020年調査から7万6,473人減少し、減少率は4.8%で全国平均を上回る。
- 推計人口では2026年9月時点で約149万7,411人とされる。

---
出典・参考（事実をもとに筆者作成）:
- 鹿児島県「絶品かごしまのブランド」 https://www.pref.kagoshima.jp/miryoku/syoku.html (2026-05-10閲覧)
- 農林水産省 九州農政局「鹿児島県の農林水産業」 https://www.maff.go.jp/kyusyu/kagoshima/ (2026-05-10閲覧)

あなたは優秀なリサーチャー兼テクニカルライターです。
指定された地域についての詳細な情報をWebから徹底的にリサーチし、約500行程度のマークダウン（Markdown）ファイル形式にまとめて出力してください。


【対象地域】: 鹿児島県
※他の県を調査する場合は「鹿児島県」を「福岡県」「熊本県」などに変更してください。


以下の各セクションに沿って、最新かつ正確な情報をバランスよく網羅してください。

1. 地域概要（地理・気候・人口・歴史的背景）
2. 主要都市とエリア特性
3. 主な産業・特産品（農林水産業、製造業、伝統工芸など）
4. 観光資源・歴史的建造物・自然名所
5. 独自の文化・食文化・方言や風習
6. 交通インフラ・主要アクセス
7. 山の名前・標高、川の名前、湾の名前・利用方法


* 検索結果や既存のWebサイト、百科事典等の文章をそのままコピー＆ペーストすることは厳禁です。
* 複数の情報源から情報を照らし合わせたうえで内容を深く理解し、自分の言葉で分解・再構成（パラフレーズ）して文章を作成してください。
* 事実（ファクト）の抽出に留め、表現自体はオリジナルかつ平易で客観的な日本語に変換してください。
* 箇条書きや簡潔な文章を用いて、ローカルLLM（nomic-embed-text）のベクトル検索（RAG）で検索しやすい構造（文脈のまとまり）を意識してください。


* マークダウン形式（見出しレベル ##, ### を適切に使用）
* 行数の目安：全体で500行程度（極端に長すぎず短すぎない量）
* 出力コードブロック内に直接Markdownテキストを出力してください。

ollama run nomic-embed-text

import chromadb
import ollama
import os
from pathlib import Path
from langchain_text_splitters import RecursiveCharacterTextSplitter

EMBED_MODEL = "nomic-embed-text:latest"
DB_DIR = "./chroma_db"
DATA_DIR = "./data"
COLLECTION_NAME = "kyushu_knowledge"
BATCH_SIZE = 50  # 8G PCは一気にやると落ちるので小分け

client = chromadb.PersistentClient(path=DB_DIR)

try:
    client.delete_collection(COLLECTION_NAME)
    print("古いコレクションを削除しました")
except:
    pass

collection = client.create_collection(
    name=COLLECTION_NAME,
    metadata={"hnsw:space": "cosine"}
)

splitter = RecursiveCharacterTextSplitter(
    chunk_size=250,  # 250文字ごとに区切る
    chunk_overlap=50 # 50文字は重ねて文脈を保持
)
chunks_raw = []

for file in Path(DATA_DIR).glob("*.txt"):
    text = file.read_text(encoding="utf-8")
    chunks = splitter.split_text(text)
    for chunk in chunks:
        chunks_raw.append({"text": chunk, "source": file.name})
print(f"{len(chunks_raw)}個のチャンクを作成")

if len(chunks_raw) == 0:
    print("chunksが0件です。読み込み部分を確認してください")
    exit(1)

print(f"{len(chunks_raw)}件を {EMBED_MODEL} で埋め込みます...")

texts = []
metas = []
for idx, item in enumerate(chunks_raw):
    if isinstance(item, dict):
        # よくあるパターンを全部拾う
        txt = item.get('text') or item.get('content') or item.get('page_content') or item.get('document') or ""
        src = item.get('source') or item.get('metadata', {}).get('source') or f"doc_{idx}"
        texts.append(str(txt))
        metas.append({"source": str(src)})
    else:
        texts.append(str(item))
        metas.append({"source": f"doc_{idx}"})

print(f"{len(texts)}件を埋め込みます。先頭の型: {type(chunks_raw[0])}")
print(f"例: {texts[0][:80]}...")

for i in range(0, len(texts), BATCH_SIZE):
    batch_texts = texts[i:i+BATCH_SIZE]
    batch_metas = metas[i:i+BATCH_SIZE]
    batch_ids = [f"id_{j}" for j in range(i, i+len(batch_texts))]

    print(f"  {i+1}〜{i+len(batch_texts)}件目...")
    batch_embs = []
    for t in batch_texts:
        t_clean = t.strip() if t.strip() else "空のドキュメント"
        emb = ollama.embeddings(model=EMBED_MODEL, prompt=f"search_document: {t_clean}")["embedding"]
        batch_embs.append(emb)

    collection.add(
        embeddings=batch_embs,
        documents=batch_texts,
        ids=batch_ids,
        metadatas=batch_metas
    )

print(f"完了 count={collection.count()}")

python build_db.py

import chromadb
import ollama
from openai import OpenAI

EMBED_MODEL = "nomic-embed-text:latest"  # 404対策で:latest付き推奨
LLM_MODEL = "qwen2.5:7b"  # 8GB PCなら "gemma3:4b" に変えてください
DB_DIR = "./chroma_db"

client_llm = OpenAI(base_url='http://localhost:11434/v1', api_key='ollama')
client_db = chromadb.PersistentClient(path=DB_DIR)

try:
    collection = client_db.get_collection("kyushu_knowledge")
except Exception as e:
    print(f"エラー: VectorDBが見つかりません。先に build_db.py を実行してください。\n{e}")
    exit(1)

def ask_kyushu(question: str):
    # 1. 質問をベクトル化して検索 (Retrieval)
    try:
        q_emb = ollama.embeddings(model=EMBED_MODEL, prompt=question)["embedding"]
        results = collection.query(query_embeddings=[q_emb], n_results=4)
    except Exception as e:
        print(f"Embeddingエラー: モデル {EMBED_MODEL} が見つかりません。")
        print(f"ターミナルで `ollama pull {EMBED_MODEL}` を実行してください。\n詳細: {e}")
        return

    context_docs = results["documents"][0]
    metadatas = results["metadatas"][0]
    context_text = "\n\n".join([f"[資料:{m['source']}]\n{d}" for d, m in zip(context_docs, metadatas)])

    # 2. プロンプトを拡張 (Augmented)
    # system_prompt = """あなたは九州地理と特産品に詳しい「九州博士」です。"""
    system_prompt = """以下のが質問に関係あれば使って、関係なければ無視してあなた自身の知識で答えてください。「参考情報にありません」とは言わないでください。"""
    user_prompt = f"""【資料】

{context_text}

【質問】

{question}

"""
    # 3. 生成 (Generation)
    try:
        res = client_llm.chat.completions.create(
            model=LLM_MODEL,
            messages=[
                {"role": "system", "content": system_prompt},
                {"role": "user", "content": user_prompt}
            ],
            temperature=0.2
        )
        print("\n--- 参照した資料 ---")
        for m, d in zip(metadatas, context_docs):
            print(f"・{m['source']}: {d[:80]}...")
        print("\n--- 九州博士の回答 ---")
        print(res.choices[0].message.content)
    except Exception as e:
        print(f"LLMエラー: モデル {LLM_MODEL} が見つからないか、Ollamaサーバーが起動していません。")
        print(f"`ollama list` と `ollama serve` を確認してください。\n詳細: {e}")

if __name__ == "__main__":
    print("=== 九州博士AI (対話モード) ===")
    print(f"DB: {collection.count()}件 / LLM: {LLM_MODEL} / Embedding: {EMBED_MODEL}")
    print("質問をどうぞ。終了は q / exit / /bye / Ctrl+C")
    print("例: 指宿(いぶすき)の温泉の特徴は？ / 宮崎牛の産地は？")
    while True:
        try:
            question = input("\n質問> ").strip()
            if not question:
                continue
            if question.lower() in ["q", "quit", "exit", "/bye", "bye", "終了"]:
                print("お疲れさまでした。終了します。")
                break
            ask_kyushu(question)
        except KeyboardInterrupt:
            print("\n終了します。")
            break
        except EOFError:
            print("\n終了します。")
            break

ollama run qwen2.5:7b "指宿ってどこ"

pip install openai
python ask.py

## 地域概要

### 地理
- 日本列島を構成する主要4島のひとつで、南西部に位置する。
- 面積は約3万6782平方キロメートルで、本州、北海道に次ぐ大きさ。世界では37番目程度の島嶼規模。
- 北は関門海峡を挟んで本州と向き合い、東北は豊後水道を挟んで四国と近接する。

import chromadb
import ollama
from openai import OpenAI

EMBED_MODEL = "nomic-embed-text:latest"
LLM_MODEL = "qwen2.5:7b"
DB_DIR = "./chroma_db"

TOP_K_RETRIEVE = 6  # 最初は広めに6件取る
TOP_K_USE = 3       # 実際にLLMに渡すのは上位3件まで
DISTANCE_THRESHOLD = 0.4  # Chromaの距離がこれ以上ならノイズ扱い

client_llm = OpenAI(base_url='http://localhost:11434/v1', api_key='ollama')
client_db = chromadb.PersistentClient(path=DB_DIR)

try:
    collection = client_db.get_collection("kyushu_knowledge")
except Exception as e:
    print(f"エラー: VectorDBが見つかりません。先に build_db.py を実行してください。\n{e}")
    exit(1)

def answer_direct(question: str):
    """RAGなしでgemma3本来の知識で答える"""
    system_prompt = "You are a knowledgeable guide about Kyushu, Japan. Answer concisely in Japanese."
    user_prompt = question
    res = client_llm.chat.completions.create(
        model=LLM_MODEL,
        messages=[
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_prompt}
        ],
        temperature=0.3
    )
    return res.choices[0].message.content

def answer_with_rag(question: str, context_docs, metadatas):
    """RAGありで答える。関係ない資料は無視して良いと明言する"""
    context_text = "\n\n".join([f"[資料:{m.get('source','unknown')}]\n{d}" for d, m in zip(context_docs, metadatas)])
    system_prompt = """You are a helpful assistant for Kyushu.
Use Context if it is useful for the Question.
If Context is NOT relevant, ignore it and answer from your own knowledge.
Do NOT say "参考情報にありません". Answer in Japanese."""

    user_prompt = f"""【参考資料】
{context_text}

【質問】

{question}

"""

    res = client_llm.chat.completions.create(
        model=LLM_MODEL,
        messages=[
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_prompt}
        ],
        temperature=0.2
    )
    return res.choices[0].message.content

def ask_kyushu_adaptive(question: str):
    # 1. Retrieval - 距離も一緒に取る
    try:
        q_emb = ollama.embeddings(model=EMBED_MODEL, prompt=question)["embedding"]
        results = collection.query(
            query_embeddings=[q_emb],
            n_results=TOP_K_RETRIEVE,
            include=["documents", "metadatas", "distances"]
        )
    except Exception as e:
        print(f"Embeddingエラー: {e}")
        return

    docs = results["documents"][0]
    metas = results["metadatas"][0]
    dists = results["distances"][0]

    # 2. Adaptiveの分岐: 距離でフィルタリング
    filtered = []
    for doc, meta, dist in zip(docs, metas, dists):
        if dist <= DISTANCE_THRESHOLD:
            filtered.append((doc, meta, dist))
    # 類似度順にソートして上位だけ使う
    filtered = sorted(filtered, key=lambda x: x[2])[:TOP_K_USE]

    print(f"\n[Adaptive判定] 検索{TOP_K_RETRIEVE}件中、有効{len(filtered)}件 (閾値 {DISTANCE_THRESHOLD})")

    for i, (d, m, dist) in enumerate(filtered):
        print(f"  {i+1}. dist={dist:.3f} | {m.get('source','')} | {d[:60]}...")

    if len(filtered) == 0:
        print("\n--- [モード: 直接回答] 参考資料が無関係なので、gemma3の知識で答えます ---")
        ans = answer_direct(question)
        print("\n--- 回答 ---")
        print(ans)

    else:
        print(f"\n--- [モード: RAG回答] 有効な資料{len(filtered)}件を使って回答 ---")
        use_docs = [x[0] for x in filtered]
        use_metas = [x[1] for x in filtered]
        ans = answer_with_rag(question, use_docs, use_metas)
        print("\n--- 回答 ---")
        print(ans)

if __name__ == "__main__":
    print("=== 九州博士AI Adaptive RAG版 ===")
    print(f"DB: {collection.count()}件 / LLM: {LLM_MODEL} / Embedding: {EMBED_MODEL}")
    print(f"閾値: {DISTANCE_THRESHOLD} / 取得{ TOP_K_RETRIEVE}件 -> 使用{TOP_K_USE}件")
    print("終了は q / exit")

    while True:
        try:
            question = input("\n質問> ").strip()
            if not question: continue
            if question.lower() in ["q", "quit", "exit", "/bye", "bye", "終了"]:
                break
            ask_kyushu_adaptive(question)
        except KeyboardInterrupt:
            break

質問> 指宿ってどこ

[Adaptive判定] 検索6件中、有効3件 (閾値 1.0)
1. dist=0.316 | 99_kyusyu.txt | ### 温泉地
- 源泉数は全国の約3割が九州に集中する。
- 別府温泉、由布院温泉、黒川温泉、雲仙温泉、霧島温泉、指宿...
2. dist=0.326 | 01_kagoshima.txt | ### 温泉・砂むし
- 指宿温泉の砂むし温泉は海岸に湧出する温泉熱で温められた砂に埋まる世界的に珍しい入浴法である。
...
3. dist=0.335 | 04_fukuoka.txt | - 福岡市地下鉄：空港線（福岡空港～姪浜）、箱崎線（中洲川端～貝塚）、七隈線（博多～橋本）。天神・博多間の移動は約5分。...

--- [モード: RAG回答] 有効な資料3件を使って回答 ---

--- 回答 ---
指宿は鹿児島県に位置する温泉地です。独特の砂むし温泉で知られており、海岸から湧き出る温泉熱で温めた砂に埋まるという珍しい入浴法が行われています。また、指宿周辺には霧島温泉郷も存在し、古くから湯治場として人気があります。

質問> 10-8=

[Adaptive判定] 検索6件中、有効0件 (閾値 0.4)

--- [モード: 直接回答] 参考資料が無関係なので、qwen2.5:7bの知識で答えます ---

--- 回答 ---
2