Deepseekの日本語版をローカルマシンで動かす【超初心者向け】

DeepSeek をローカルマシンで動かしてみたい+初心者向けのメモです。

###

以下のローカル環境下 で Deepseek の派生モデルを試してみました。マシンは生成AI向けではないが小さいモデルなら動くかなという程度のマシンです。

念のためですが、これらの結果は DeepSeek本家のサイト(https://www.deepseek.com/) の実行結果ではありません。本家サイトが使用しているモデルのさらに、ヨワヨワモデル をローカルマシンで試したという感じです。

###dl
- GPU
-- GeForceGTX1060(6GB),
- メモリ
-- 32GB
- CPU
-- i7 10700 *Windows
- 先に結果
-- モデルの14Bは動作しますが、32B無理でした

####
で Cyberagent さんが用意した DeepSeek-R1  の日本語版の 14Bの DeepSeek-R1-Distill-Qwen-14B-Japanese をためしてみみました。以下はその動画です。

「東京から横浜への行き方を教えて」というプロンプトに対する回答がまったりと生成されています。(後日LLMStudioで試すともう少し早かったので、設定の問題かもしれません)

###raw center
<iframe width="640" height="400" src="https://www.youtube.com/embed/xNLs4_BF47o" title="DeepSeek-R1  の日本語版の 14B をローカルマシンでためしてみた" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

###
他にもさまざまなプロンプトでAIとしての回答結果は 14Bだと違うだろう という結果がおおいのですが、回答前の <think></think> (コンソールの場合は thinkタグ、webui の場合は Thought Process) で囲まれているAIの自問自答ようなものはシゴデキの思考回路みたいでとても興味深く。日本語能力や思考能力は十分で、知識をあたえれば使えるのでは と思いました。*本家サイトで同じプロンプトをなげると高速かつ回答もあっていました。

###title
モデルの入手
####

モデルは以下などからDLできます。

"Japanese 14B"(https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese)
"Japanese 32B"(https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese)
"Original 14B"(https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B)
###

実行方法は #*#"Use this model" を見ると以下のようないくつかの方法を表示されますので、それに従います。

###center
(img://18/534m)

###title
実験環境
###

###title2
ollama +コマンドライン
###

実験環境で一番楽なのは  oolama(https://ollama.com/) で以下のようなコマンドをうてばダウンロードから実行まですべてしてくれます。ので手っ取り早く動かす場合は oolama をインストールしてください
###command
(ollama run の見本)
ollama run deepseek-r1:70b

###command
(日本語版で パラメータ数14B のものを5bitで量子化)
ollama run hf.co/bluepen5805/DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf:Q5_K_M

###

###title2
llama.cpp +WebUI
###

つぎに gguf ファイルをDLして llama.cpp(https://github.com/ggerganov/llama.cpp/releases)を使い、 以下のようなコマンドで gguf を指定して実行可能です。

###command
./llama-server.exe -m ../DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf -ngl 49 -b 2048 --temp 0.6

###
少し経つと以下のような出力がされますので 指定通りのURLをひらいてください。だいたい http://127.0.0.1:8080/ です。
###center
(img://18/535m)
###
すると なじみのあるWebのUI画面から実行できます。これもローカルで動くのかと思うと感慨深いです。
###center
(img://18/536m)

###

DeepSeek日本語版のgguf は以下などからDLができます。
"bluepen5805/DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf"(https://huggingface.co/bluepen5805/DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf)
"mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf"(https://huggingface.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf)

###title2
LMStudio
###
様々なモデルを試せるGUIアプリで Win, Mac, Linux 版があります。まずは  LMStudioをダウンロード(https://lmstudio.ai/) し、インストールすれば使い方はわかると思います。 エンジニアでない方は LMStudio が一番わかりよいと思います。

###center
(img://18/537s)

(img://18/539s)
###

最後に: とりあえず動けばいいという感じで、少ない知識で、手を動かすを優先したので、理解不足のまま実験しましたが、deepseekはこれからもどんどんフォローしていこうとおもいます。

wakatta 記法

このコンテンツを見る