windowsでollamaを使ってみる

ollamaは大規模言語モデルを簡単に使うためのツールで、起動するとサーバーとして常駐する。

手順１．環境変数の設定

モデルデータのダウンロード先を指定する環境変数を設定する。これをしないと何GBあるかわからないようなモデルがCドライブにダウンロードされてしまう。

手順２．ダウンロード

以下からダウンロード・インストール。ポータブル版はないらしく、インストール先も選べないらしい。

https://ollama.com/download

手順４．使用例

起動すると常駐する（タスクトレイで確認できる）。

モデルのダウンロード

コマンドプロンプトを開き、以下を実行

モデルの使用

以下のjsonを投げたい。

コマンドプロンプトからcurlの引数で渡す場合、"をエスケープしなければいけないので、以下のように実行。

pythonスクリプトで実行する例

import requests

res = requests.post("http://localhost:11434/api/generate", json={
    "model": "llama3",
    "prompt": "こんにちは。お元気ですか？",
    "stream": False
})

print(res.json()["response"])

以下のような出力が得られる