LOCAL LLM / MEMORY CHECK
重みは載る。
でも、動かせる?
ローカルLLM「VRAMの崖」判定シミュレーター。モデルの重み・KVキャッシュ・計算バッファを足して、高速メモリの余白を確かめます。登録・APIキー不要、計算はブラウザ内で完結します。
実行する条件
- 重み(GGUFサイズを代用)
- KVキャッシュ
- 計算・固定バッファ
- 利用できる高速メモリ
判定は起動・速度を保証しません。GPU側のモデルバッファとGGUFのサイズは一致しない場合があります。最後は実機の -lv 4 ログで確認してください。
Windows:システムメモリへの退避に注意
8GBのカードに15GB載ったように見えても、書籍の27B実測では生成が約1.1 tok/sまで低下しました。
NVIDIAコントロールパネル → 3D設定の管理 → グローバル設定 →「CUDA - システム メモリ フォールバック ポリシー」→「システム メモリ フォールバックなしを優先」→ 適用。表示名や有無はドライバーに依存します。
全層指定の成功だけで判断せず、-lv 4 でオフロード層数・CUDAのバッファを確認します。グローバル設定は他のCUDAアプリにも影響します。
実機で確かめるコマンド
llama.cpp b10430を基準にした確認用です。モデルファイルを作業フォルダに置いて実行してください。部分オフロードの適切な層数はこの計算からは求められません。
実測記録と、今回の推定
選択したファイルの出典・SHA-256
FIELD TEST / KINDLE BOOK
推定の次は、2台の実測で確かめる
MacBook Pro(M1 Pro・32GB)とRTX 3070(8GB)搭載PCに、同じGGUFファイルと同じllama.cppのソース版を用意して測定しました。9BがGPUに収まる場合と、27Bが8GB VRAMからはみ出す場合の速度・メモリ・品質を比べています。
Amazonで実測本を見るKindle+会員は追加料金なしで読めます。
計算の前提
| 項目 | 概算式・条件 |
|---|---|
| 専用VRAM | 総容量 − OS・表示予約(既定450 MiB) |
| Macユニファイドメモリ | 総容量 × 0.837(手順書で指定した推定係数。機種ごとの差は未検証) |
| KVキャッシュ | 4k比例分 × コンテキスト長 / 4096 + 固定分。q8_0では合計 × 0.53 |
| 計算・固定バッファ | -ub 512:380 MiB / -ub 256:250 MiB(共通の推定定数) |
| 判定 | 余白350 MiB以上:全層積載目安 / −150以上350未満:境界 / −150未満:容量超過。f16で超過してもq8_0で収まる場合は境界 |
MiB = 1,048,576 bytes、GiB = 1,024 MiB。並列数1、Flash Attention有効を前提とします。KV量子化の対応や計算バッファはモデル・バックエンドで変わります。コンテキスト縮小や量子化で品質・性能が変わる場合があります。
出典:KDP第1冊『ローカルLLMは 32GBユニファイドと8GB VRAMのどちらで動かすべきか』(2026年10月20日発売)第2・4・8章、付録A・C。速度差はM1 Pro 32GBとRTX 3070 8GBの測定条件内の結果です。