アニクマのツール置き場計算の前提

LOCAL LLM / MEMORY CHECK

重みは載る。
でも、動かせる?

ローカルLLM「VRAMの崖」判定シミュレーター。モデルの重み・KVキャッシュ・計算バッファを足して、高速メモリの余白を確かめます。登録・APIキー不要、計算はブラウザ内で完結します。

実行する条件

専用VRAMの容量を選択。システムRAMは含めません。
マイクロバッチ(-ub)
予約メモリ・用途を調整Macでは総容量×0.837を使用し、この予約量は使いません。
計算推定値 / estimated

MiB 必要

重み(GGUFサイズを代用)
KVキャッシュ
計算・固定バッファ
利用できる高速メモリ

判定は起動・速度を保証しません。GPU側のモデルバッファとGGUFのサイズは一致しない場合があります。最後は実機の -lv 4 ログで確認してください。

実機で確かめるコマンド

llama.cpp b10430を基準にした確認用です。モデルファイルを作業フォルダに置いて実行してください。部分オフロードの適切な層数はこの計算からは求められません。

実測記録と、今回の推定

    選択したファイルの出典・SHA-256

    計算の前提

    項目概算式・条件
    専用VRAM総容量 − OS・表示予約(既定450 MiB)
    Macユニファイドメモリ総容量 × 0.837(手順書で指定した推定係数。機種ごとの差は未検証)
    KVキャッシュ4k比例分 × コンテキスト長 / 4096 + 固定分。q8_0では合計 × 0.53
    計算・固定バッファ-ub 512:380 MiB / -ub 256:250 MiB(共通の推定定数)
    判定余白350 MiB以上:全層積載目安 / −150以上350未満:境界 / −150未満:容量超過。f16で超過してもq8_0で収まる場合は境界

    MiB = 1,048,576 bytes、GiB = 1,024 MiB。並列数1、Flash Attention有効を前提とします。KV量子化の対応や計算バッファはモデル・バックエンドで変わります。コンテキスト縮小や量子化で品質・性能が変わる場合があります。

    出典:KDP第1冊『ローカルLLMは 32GBユニファイドと8GB VRAMのどちらで動かすべきか』(2026年10月20日発売)第2・4・8章、付録A・C。速度差はM1 Pro 32GBとRTX 3070 8GBの測定条件内の結果です。

    ファイル情報:Hugging Face公式API · llama.cpp