Ollamaの使い方｜自分のPCでAIを動かすローカルLLM入門

「ChatGPTやClaudeを使いたいけど、社内データを外部サーバーに送るのはセキュリティ的に不安」
「自分のPCだけでAIを動かせる方法があると聞いたけど、難しそうで手が出ない」

そんな悩みを解決してくれるのが、ローカルLLMツール「Ollama」です。自分のPCにAIモデルをダウンロードして、インターネット接続なしで動かせます。データが外部に一切送信されないため、情報漏洩リスクがゼロになるのが最大の強みです。

この記事では、Ollamaのインストールから基本操作、業務で使えるプロンプト例、モデルの選び方までを、2026年4月時点の情報にもとづいて解説します。「ローカルLLMは難しい」という印象が変わるはずです。

Ollamaとは？自分のPCで動くAIツール

Ollamaは、オープンソースのLLM（大規模言語モデル）を自分のPC上で簡単に動かすためのツールです。ChatGPTのように質問に答えたり、文章を生成したり、コードを書いたりできますが、すべてがローカル環境で完結します。

ChatGPTやClaudeは「クラウド型」で、入力したデータがサーバーに送信されます。一方、Ollamaで動かすAIモデルは「ローカル型」で、PCの中だけで処理が完結します。この違いが、業務利用で大きな意味を持ちます。

・情報漏洩リスクがゼロ: データがPCの外に出ないため、社内の機密情報を扱える
・インターネット不要: オフライン環境でもAIを利用可能
・無料で使える: Ollama自体もAIモデルも無料。APIの従量課金が発生しない
・カスタマイズ自在: 用途に合わせてモデルを選んだり、独自の設定を追加できる

クラウド型AIとの違いを整理すると、以下のようになります。

Ollamaが特に向いているのは、「社内データをAIに読ませたい」「APIの利用料を気にせず試したい」「オフラインでもAIを使いたい」といったケースです。一方、最高精度の回答が必要な場面では、GPT-4oやClaude Opusなどクラウド型の最新モデルに軍配が上がります。

Ollamaのインストールと初期設定（ステップバイステップ）

1. Ollamaをインストールする

Ollamaは主要なOS（macOS、Linux、Windows）に対応しています。

macOSの場合:

公式サイト（ollama.com）からインストーラーをダウンロードして実行します。

Linuxの場合:

ターミナルで以下のコマンドを実行します。

curl -fsSL https://ollama.com/install.sh | sh

Windowsの場合:

公式サイトからWindows用インストーラーをダウンロードして実行します。

Linux環境の構築方法については、姉妹サイトリナックスマスター.JPで詳しく解説しています。

2. 最初のAIモデルをダウンロードする

インストールが完了したら、AIモデルをダウンロードします。まずは軽量で高性能な「Llama 3.1」から試してみましょう。

ollama pull llama3.1

ダウンロードには数分かかります（モデルサイズは約4.7GB）。完了したら、以下のコマンドでモデル一覧を確認できます。

ollama list

ダウンロード済みのモデル名とサイズが表示されれば成功です。

3. AIと対話してみる

モデルのダウンロードが完了したら、すぐにAIと対話できます。

ollama run llama3.1

対話モードが起動したら、日本語で質問してみましょう。

>>> 社内向けの週次報告メールのテンプレートを作ってください。
    項目は「今週の成果」「来週の予定」「課題・相談事項」の3つでお願いします。

# 出力例:
# 件名: 【週次報告】○○部 ○○（氏名）2026/04/09
#
# お疲れ様です。○○部の○○です。
# 今週の報告をお送りします。
#
# ■ 今週の成果
# ・
#
# ■ 来週の予定
# ・
#
# ■ 課題・相談事項
# ・
#
# 以上、よろしくお願いいたします。

対話を終了するには /bye と入力するか、Ctrl+D を押します。

用途別おすすめモデルの選び方

Ollamaでは、用途に合わせて複数のAIモデルを使い分けられます。2026年4月時点で利用できる主要モデルを整理しました。

選び方のポイント:

・まず試すなら: llama3.1（8B）が万能。メモリ8GBのPCでも快適に動く
・日本語の精度を重視するなら: gemma2 または qwen2.5 がおすすめ
・コードを書かせたいなら: codellama が専門特化で優秀
・古いPCしかないなら: phi3 が最も軽量

複数のモデルを同時にインストールしておけるので、用途に応じて使い分けるのが実用的です。

# 複数モデルをダウンロード
ollama pull gemma2
ollama pull codellama

# モデルを切り替えて使う
ollama run gemma2
ollama run codellama

実務での活用例（Before/After）

【活用例1】社内文書のドラフト作成

Before: 議事録や報告書を一から書くのに30分以上かかる。定型文を使い回しても、内容に合わせた調整が面倒。

After: 打ち合わせのメモをOllamaに渡して「議事録にまとめて」と指示。5分でドラフトが完成。社内データなので外部送信の心配もなし。

>>> 以下の打ち合わせメモを、社内共有用の議事録にまとめてください。
    参加者、決定事項、次回までのアクションを明確にしてください。

    メモ:
    - 4/9 マーケMTG 田中、佐藤、鈴木参加
    - 新商品LP 4月中にリリース
    - 佐藤さんがワイヤーフレーム作成 4/15まで
    - 広告予算は月30万で承認
    - 次回 4/16 14時

【活用例2】コードレビューの補助

Before: 他の人が書いたコードをレビューするのに時間がかかる。見落としも発生しがち。

After: コードをOllamaのcodellomaに読ませて「バグやセキュリティリスクがないか確認して」と依頼。レビューの前段階として使うことで、見落としを減らせる。

ollama run codellama

>>> 以下のPythonコードにバグやセキュリティ上の問題がないかレビューしてください。
    改善点があれば修正コードも提示してください。

    def get_user(user_id):
        query = f"SELECT * FROM users WHERE id = {user_id}"
        result = db.execute(query)
        return result

# 出力例:
# SQLインジェクションの脆弱性があります。
# f-stringで直接値を埋め込んでいるため、悪意のある入力で
# データベースが不正操作される可能性があります。
#
# 修正版:
# def get_user(user_id):
#     query = "SELECT * FROM users WHERE id = ?"
#     result = db.execute(query, (user_id,))
#     return result

【活用例3】API経由でアプリケーションに組み込む

Before: 社内ツールにAI機能を追加したいが、OpenAI APIは従量課金で予算が読めない。社内データを外部に送るのも不安。

After: OllamaのローカルAPIを使えば、自社アプリにAI機能を無料で組み込める。データは社内ネットワークから出ない。

Ollamaは起動するとローカルのAPIサーバーとして動作します（デフォルトはhttp://localhost:11434）。以下のようにcurlやPythonから呼び出せます。

# curlでAPI呼び出し
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "Pythonでファイルを読み込むコードを書いてください",
  "stream": false
}'

Pythonから使う場合は、requestsライブラリで呼び出せます。

import requests

response = requests.post("http://localhost:11434/api/generate", json={
    "model": "llama3.1",
    "prompt": "売上データの分析レポートを作成してください",
    "stream": False
})
print(response.json()["response"])

OpenAI互換のAPI形式にも対応しているため、既存のOpenAI APIを使ったコードをOllamaに切り替えるのも簡単です。

うまくいかない時の対処法

1. 動作が遅い・応答に時間がかかる

モデルのサイズがPCのスペックに対して大きすぎる可能性があります。

・メモリ不足: 8GBのPCで70Bモデルは動きません。llama3.1（8B）やphi3に切り替えてください
・GPU未活用: NVIDIA GPUを搭載しているなら、CUDAドライバーをインストールすると劇的に速くなります。GPU非搭載のPCではCPUのみで動作するため、応答に時間がかかるのは正常です
・他のアプリがメモリを消費: ブラウザのタブを閉じるなど、メモリを空けてから再実行してみてください

2. 日本語の回答が不自然な場合

モデルによって日本語の品質に差があります。llama3.1で日本語が不自然に感じたら、gemma2やqwen2.5を試してください。また、プロンプトに「日本語で回答してください」と明示するだけで改善するケースもあります。

3. Ollamaの限界を知っておく

ローカルLLMは万能ではありません。以下の点を理解した上で使い分けることが大切です。

・最新情報は持っていない: モデルの学習データには期限があります。最新ニュースや最新の技術仕様を聞いても正確な回答は期待できません
・クラウド型に精度で劣る場面がある: 特に複雑な推論や長文の分析では、GPT-4oやClaude Opusの方が優れています。用途に応じて使い分けましょう
・画像の入力は一部モデルのみ: llava等のマルチモーダルモデルを別途ダウンロードする必要があります

AIを業務に導入する全体戦略については、姉妹サイトDXマスターズ.TOKYOで詳しく解説しています。

本記事のまとめ

Ollamaは、自分のPCでAIモデルを動かせるローカルLLMツールです。データが外部に送信されないため、社内の機密情報を扱う業務でも安心して使えます。インストールはコマンド1つで完了し、すぐにAIとの対話を始められます。

まずは ollama pull llama3.1 でモデルをダウンロードして、簡単な質問から試してみてください。クラウド型AIと使い分けることで、セキュリティとコストの両面で業務のAI活用が一段進みます。