RTX 3060 12GBでローカルLLMはどこまで動くか

PCパーツ・ガジェット

RTX 3060 12GBでローカルLLMはどこまで動くか|実際に使って分かったこと

以前、複数台のマシンでローカルLLMを試した記録を書いたが、その中でも実際に一番使っているのが、Amazonで購入したグラフィックボード「MSI GeForce RTX 3060 VENTUS 2X 12G OC(VD7553)」だ。2021年発売のモデルだが、今もこれを使い続けている。実際にどこまで動くのか、あらためて数字で確認してみた。

  • 12GBVRAM容量
  • 60tok/s生成速度(実測)
  • 2021年発売でも今なお現役

1なぜRTX 3060 12GBを選んだのか

当時の判断基準はシンプルで、価格とVRAM容量のバランスだった。ローカルLLMはVRAM容量がそのまま「動かせるモデルの上限」に直結するので、無理のない価格でVRAMを多めに積んでいる、という点を重視した。

2スペックのおさらい

購入したのは、MSIの「VENTUS 2X」シリーズ、OC(オーバークロック)版。VRAMは12GB。デュアルファン設計で、価格を抑えつつ実用十分な冷却性能を持つモデルだ。MSI GeForce RTX 3060 VENTUS 2X 12G OCという製品名だ。

製品名MSI GeForce RTX 3060 VENTUS 2X 12G OC(VD7553)
VRAM12GB GDDR6
冷却方式デュアルファン(TORX Fan 3.0)
発売時期2021年

32026年でも現役な理由

2021年発売のミドルレンジ製品が、なぜ2026年になっても名前が挙がり続けるのか。理由は、ちょっと珍しい立ち位置にある。

💡 逆転したVRAM構成

RTX 3060は、上位モデルであるRTX 3060 Ti・RTX 3070がどちらもVRAM8GBなのに対して、末端モデルであるRTX 3060だけがVRAM12GBという、逆転した構成になっている。バス幅とメモリチップ容量の組み合わせの結果らしいが、結果的にこれが「ローカルLLMの入門用GPU」として長く支持される理由になった。

Steamのハードウェア調査でも、約3年近く利用シェアの首位を守り続けていた実績がある。

4実際に動かしてみた|ベンチマーク

実際に手元の環境で、Ollamaを使って2つのモデルの生成速度を計測した。

検証環境

GPUMSI GeForce RTX 3060 VENTUS 2X 12G OC(VRAM 12GB)
CPUIntel Core i7-10700(2.90GHz)
メモリ約16GB
環境Windows 11 + WSL2(Ubuntu)+ Ollama

結果

項目 Qwen2.5 7B Llama-3.1-Swallow 8B
生成速度(eval rate)60.68 tokens/s59.13 tokens/s
入力処理速度(prompt eval rate)137.09 tokens/s79.90 tokens/s
量子化4bit4bit(日本語特化)

どちらも60 tokens/s前後という結果になった。体感としても、文章がテンポよく流れて表示される速度で、チャットや要約用途であれば全くストレスがない。

5どこまでが快適で、どこから重くなるか

7B〜8Bクラスのモデルであれば、12GBのVRAMに余裕を持って収まり、快適に動く。ただし検証中に、想定していなかった発見があった。

😲 実際に確認して驚いたこと

ベンチマーク直後にnvidia-smiでGPUの状態を確認したところ、GPU使用率は0%なのに、VRAMは12GBのうち約10GBが埋まったままになっていた。原因を調べると、Ollamaには一度使ったモデルを数分間VRAM上に保持し続ける仕様があり、ollama psコマンドで確認すると、直前にベンチマークした2つのモデルがまだ両方とも常駐していた。

これは地味に重要な実用上の注意点だ。複数のモデルを連続して試す際、前のモデルがVRAMを保持したままだと、次に大きめのモデルを動かそうとした際にVRAM不足で正常に動かない可能性がある。「使い終わったらすぐ解放される」というイメージとは裏腹に、この保持期間を意識しておく必要がある。

💻 WSL2環境での注意点

今回の検証環境もWindows上のWSL2だったが、WSL側でnvidia-smiを実行すると、実行中のはずのプロセスが「No running processes found」と表示され、正しく検出できなかった。一方、Windows側のPowerShellから同じコマンドを実行すると、Ollamaのプロセスがきちんと2つ表示された。WSL2経由でGPUの状態を確認する際は、WSL側の表示だけを鵜呑みにせず、Windows側からも確認する方が確実だ。

なお、より大きな14Bクラスのモデルになると、12GBのVRAMに収まりきらず、一部がCPU側のメモリにオフロードされる。今回の環境ではメモリが16GBとやや控えめだったため、大きなモデルを試す際はここがボトルネックになりそうだと感じた。

68GBモデルとの違い

もう少し価格を抑えた8GBクラスのGPUと比べると、この12GBという容量の差は、扱えるモデルサイズの選択肢に直結する。8GBだと軽量モデルしか快適に動かせない場面でも、12GBあれば7B〜8Bクラスまでは余裕を持って動かせる。これから最初の1枚を選ぶなら、この差は無視できない。

7購入する際の注意点

中古・新品どちらでも流通しているが、電源ユニットの容量には注意したい。目安としては650W、80+ Gold認証以上を確保しておくと安心だ。また、発売から年数が経っているモデルなので、購入時は保証や販売元の信頼性も確認しておくとよい。

MSI GeForce RTX 3060 VENTUS 2X 12G OC を見る(Amazon.co.jp) →

8まとめ

  • 7B〜8Bクラスで60 tokens/s前後の実測結果
  • 2021年発売でもVRAM12GBという構成が今も強み
  • VRAMの保持挙動など実機ならではの注意点あり

2021年発売のRTX 3060 12GBは、2026年の今でも「ローカルLLM入門用GPU」として十分通用する。実際に7B〜8Bクラスのモデルで60 tokens/s前後という結果が出ており、日常的なチャットや要約用途であれば快適に使える。VRAMの保持期間という実機ならではの落とし穴も含めて、今も使い続けているグラフィックボードとしての率直な感想だ。

本記事は実際に個人で購入・利用している製品に基づくレビューです。価格や在庫状況は変動するため、最新情報はAmazon.co.jpの商品ページでご確認ください。

コメント

タイトルとURLをコピーしました