ollamaでローカルLLMを試す

自分のpcで動くai

前回の「生成AIの基本」では、クラウドLLMとローカルLLMの違いを学びました。 クラウドLLM (ChatGPT, Claude, Gemini) は非常に高性能ですが、3つの課題があります。

はじめに-なぜローカルLLMなのか

3つの課題があります

クラウドLLMの３つの課題

クラウドLLMの３つの課題

  1. プライバシー: 機密情報や個人情報を外部サーバーに送れない
  2. コスト: APIを使うたびに課金される、使い放題ではない
  3. オフライン: インターネットがない環境では使えない

ローカルLLMは、これらをすべて自分のPCの中で解決します。自分のPCがAIサーバーになるイメージです。

Ollamaとは？

ローカルLLMを動かすためのツールは LM Studio と Ollama の2つが有名です。

  • LM Studio: マウスで操作できる、初心者向けのGUIツール
  • Ollama: コマンドで操作する、開発者向けのツール。プログラムから呼び出しやすい
Meta

今回は、後の「RAG」や「Claude Code連携」まで見据えて、Ollamaを使います。OllamaはOpenAIと互換性のあるAPIサーバーとして動くため、色々なツールと簡単につながるのが最大の利点です。

pc-ollama-LLM

1. インストール

ollamaをインストールするとデスクトップとコマンドで使えるようになります。実行はコマンドプロンプトで行います。

install

Windows / Mac

  1. 公式サイト https://ollama.com/ にアクセス
  2. 「Download」をクリックしてインストーラーを実行
  3. インストール後、PCを再起動すると自動で起動します

Linux

ターミナルで1行でインストールできます。

curl -fsSL https://ollama.com/install.sh | sh

動作確認

ターミナル (Windowsは PowerShell または コマンドプロンプト) で確認します。


ollama --version
    # ollama version 0.6.x と表示されればOK
ollama serve
    # サーバーが起動していない場合のみ実行

2. モデルを選ぶ - どれをダウンロードすべきか？

小さなパソコンでのモデル

Ollamaはエンジンであり、AIの頭脳である「モデル」は別途ダウンロードが必要です。 PCのメモリ (RAM/VRAM) に合わせて選びます。

LLMを選ぶ
モデル名 サイズ メモリ目安 特徴 おすすめ用途
llama3.1:8b 4.7GB 8GB以上 Meta製、バランスが良い定番 初めての1個に最適
qwen2.5:7b 4.7GB 8GB以上 Alibaba製、日本語が比較的得意 日本語での実験
gemma3:4b 3.3GB 8GB Google製、軽量で速い 低スペックPC
qwen2.5-coder:7b 4.7GB 8GB以上 プログラミング特化 コード生成を試す時

教育現場では、まずは qwen2.5:7b または llama3.1:8b がおすすめです。日本語の理解が自然で、8GBメモリのノートPCでも動きます。

モデルの選び方

ollamaのモデルはollama.aiにあります。 特にSign inは必要ありません。メニューからModelsを選択してください。 例えば llama3.1:8bを探してみましょう。検索窓に「llama3」と入れましょう。するとllama関係がいっぱい表示されます。 実はllama3.1もそれをもとに蒸留したものやファインチューニングしたものなどがあり種類が沢山あるのです。 llama3.1をクリックすると、:latest :8b :70b :405b(2026年10月現在)とあります。数字の後のbはビリオンを表し、8bは８０億ということです。 この８０億は深層ニューラルネットワークのニューロン間の重みやバイアスのことで大きいほど表現力が高くなります。

たとえば8bをクリックすると、今度はmodelの解説のところに Q4_K_M などと書いてあります。もともと1パラメータが16bitや32bitで表しているのですが それではファイルが大きくなりすぎるので、4bitに量子化しているのがQ4です。最後のMは中程度ということでLやSもありますが、Mがよく使わえます。

このLLMがVRAM上に全部乗れば早いのですが、そのようなVRAMを普通の事務用のパソコンでは望めません。しかたないのでRAMや一部VRAMに乗せる形で動かすことになります。8bはだいたいRAMが8Gbyeに乗るので一般に使えるものになりますが、少しおバカさんです。

この次の章でダウンロードする時に指定するモデル名はここの正式名称ですので、メモしておいてください。間違うとダウンロードできません。

3. 基本コマンド - 4つ覚えれば使える

モデルをダウンロードして会話する

bash
ollama pull qwen2.5:7b
ollama run qwen2.5:7b
質問
`run` は `pull + 起動 + チャット開始` を一度にやってくれます。初回はこれだけでOKです。

チャット画面では日本語で質問してみましょう。

>>> こんにちは、あなたは誰ですか？
>>> 鹿児島の魅力を3つ教えて

終了は `/bye` と入力します。

よく使うコマンド一覧

bash
ollama list          # ダウンロード済みモデル一覧
ollama ps            # 現在動いているモデルを確認
ollama rm llama3.1:8b # モデルを削除 (容量を空けたい時)

ollama run qwen2.5:7b "桜島について100文字で説明して"
# 会話画面を開かずに1回だけ質問する使い方
実行

4. APIとして使う - プログラムから呼び出す

Ollamaの本当の強みはここからです。Ollamaは起動すると `http://localhost:11434` でAPIサーバーになります。OpenAI互換なので、Pythonから簡単に呼べます。

Pythonで試す(OpenAIライブラリを流用)

API連携
python
from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1',
    api_key='ollama'  # ダミーでOK
)

response = client.chat.completions.create(
    model="qwen2.5:7b",
    messages=[
        {"role": "user", "content": "教育用資料サイトとは何か、高校生向けに日本語で説明して"}
    ]
)
print(response.choices[0].message.content)

curlで試す

bash
curl http://localhost:11434/api/chat -d '{
  "model": "qwen2.5:7b",
  "messages": [ { "role": "user", "content": "RAGとは何ですか？" } ]
}'

5. Open WebUIでChatGPT風の画面を付ける (発展)

コマンドだけでは使いにくい場合は、ブラウザで使えるUIを付けられます。

UI変更
bash
# Dockerがある場合、1行で起動
docker run -d -p 3000:8080 --add-
host=host.docker.internal:host-gateway -v open-
webui:/app/backend/data --name open-webui --restart 
always ghcr.io/open-webui/open-webui:main

ブラウザで `http://localhost:3000` を開くと、ChatGPTのような画面でOllamaのモデルを選んで会話できます。学校のPC室での共有にも便利です。

openwebui

止め方

bash
docker kill open-webui

6. トラブルシューティング

実際に使ってみるといろいろとエラーが発生することがあります。以下に一般的な問題と解決策を示します。

トラブルシューティング

Q: 応答が異常に遅い

- A: メモリ不足です。より小さいモデル `gemma3:4b` や `qwen2.5:1.5b` に変えてみてください。タスクマネージャーでメモリ使用率を確認しましょう。

Q: `ollama serve` でエラーが出る

- A: すでにバックグラウンドで動いています。WindowsはタスクトレイのOllamaアイコンを確認してください。

Q: 日本語が不自然

- A: モデルを `qwen2.5:7b` に変える、またはプロンプトの最初に「あなたは日本語が得意なアシスタントです」と付け加えると改善します。

まとめと次回予告

今回はローカルLLMの実行環境であるOllamaの基本を学びました。

次回
学んだこと
- Ollamaをインストールした
- `ollama run` でモデルを動かした
- `localhost:11434` が自分のPCのAIサーバーになった

しかし、今のままでは「賢いけど物知らず」です。2024年以降の出来事や、あなたの学校の資料については知りません。

そこで次回は 「ローカルLLMをRAGで賢くする」 を予定しています。自分のPDFやテキストファイルを読み込ませて、専属のAIを作る方法を学びます。

**参考リンク**
- Ollama公式: https://ollama.com/library
- Ollama GitHub: https://github.com/ollama/ollama
- Open WebUI: https://openwebui.com/