twitter facebook

Deepseekの日本語版をローカルマシンで動かす【超初心者向け】

DeepSeek をローカルマシンで動かしてみたい+初心者向けのメモです。
以下のローカル環境下 で Deepseek の派生モデルを試してみました。マシンは生成AI向けではないが小さいモデルなら動くかなという程度のマシンです。

念のためですが、これらの結果は DeepSeek本家のサイト の実行結果ではありません。本家サイトが使用しているモデルのさらに、ヨワヨワモデル をローカルマシンで試したという感じです。
GPU
GeForceGTX1060(6GB),
メモリ
32GB
CPU
i7 10700 *Windows
先に結果
モデルの14Bは動作しますが、32B無理でした
で Cyberagent さんが用意した DeepSeek-R1 の日本語版の 14Bの DeepSeek-R1-Distill-Qwen-14B-Japanese をためしてみみました。以下はその動画です。

「東京から横浜への行き方を教えて」というプロンプトに対する回答がまったりと生成されています。(後日LLMStudioで試すともう少し早かったので、設定の問題かもしれません)
他にもさまざまなプロンプトでAIとしての回答結果は 14Bだと違うだろう という結果がおおいのですが、回答前の <think></think> (コンソールの場合は thinkタグ、webui の場合は Thought Process) で囲まれているAIの自問自答ようなものはシゴデキの思考回路みたいでとても興味深く。日本語能力や思考能力は十分で、知識をあたえれば使えるのでは と思いました。*本家サイトで同じプロンプトをなげると高速かつ回答もあっていました。

モデルの入手

モデルは以下などからDLできます。

Japanese 14B
Japanese 32B
Original 14B
実行方法は Use this model を見ると以下のようないくつかの方法を表示されますので、それに従います。

実験環境

ollama +コマンドライン

実験環境で一番楽なのは oolama で以下のようなコマンドをうてばダウンロードから実行まですべてしてくれます。ので手っ取り早く動かす場合は oolama をインストールしてください
ollama run の見本
ollama run deepseek-r1:70b
日本語版で パラメータ数14B のものを5bitで量子化
ollama run hf.co/bluepen5805/DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf:Q5_K_M

llama.cpp +WebUI

つぎに gguf ファイルをDLして llama.cppを使い、 以下のようなコマンドで gguf を指定して実行可能です。
./llama-server.exe -m ../DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf -ngl 49 -b 2048 --temp 0.6
少し経つと以下のような出力がされますので 指定通りのURLをひらいてください。だいたい http://127.0.0.1:8080/ です。
すると なじみのあるWebのUI画面から実行できます。これもローカルで動くのかと思うと感慨深いです。

LMStudio

様々なモデルを試せるGUIアプリで Win, Mac, Linux 版があります。まずは LMStudioをダウンロード し、インストールすれば使い方はわかると思います。 エンジニアでない方は LMStudio が一番わかりよいと思います。
最後に: とりあえず動けばいいという感じで、少ない知識で、手を動かすを優先したので、理解不足のまま実験しましたが、deepseekはこれからもどんどんフォローしていこうとおもいます。
AUTHOR
@えのえの
最終更新日 2025/02/02
FAVORITE good stock
LINK TAG
記法を見る
1738462865