オープンウェイトモデルのセルフホストがAPIを本当に上回るとき
先月、RunPod で H100 を立ち上げ、70B のオープンウェイトモデルをロードし、自分のプロダクトからアクセスさせてみた。ホスト型 API の請求額がバカにならなくなってきたと感じており、自分で推論を持つことが大人の選択だと自分を納得させていた。Pod は9日間動き続け、その後シャットダウンした。
請求ページを開いた。9日分の GPU 代を支払っていた。実際のトラフィックが使ったのは約40分。残りの時間は GPU がアイドル状態で回り続け、何もしていないのにミリ秒単位で課金されていた。
これがスクリーンショット一枚に収まったトラップのすべてだ。GPU はトークンを処理しているかダッシュボードを眺めているかを気にしない。同じように課金する。逃げようとしていたトークン単位の API は、実際に作業が発生したときだけ課金する。
そこで腰を据えてちゃんと計算してみた。2026年の実際の数字とともに、見つけたことを紹介する。
要約
オープンウェイトモデルのセルフホストがホスト型 API をコスト面で上回るのは、GPU を本当に稼働させ続けているときだけだ。おおよそ40〜60%以上の稼働率を、何週間も継続して維持できる場合に限る。それを下回ると、アイドル時間が節約できると思っていたすべてのドルを食い尽くし、自分の ops 時間というコストも発生する。ほとんどのソロビルダーにとってほとんどの場合、トークン単位の API がコスト面でも手間の面でも勝る。交差点は存在するが、私たちのほとんどがまだ到達していないトラフィック量の場所にある。
GPU をレンタルすると実際にいくらかかるか
議論の全体がこの数字にかかっているため、まず数字を固定しておこう。2026年半ば時点で、オンデマンドの H100 80GB レンタルは RunPod で約$2.89/時間、Lambda で$2.99/時間だ。Vast.ai のようなマーケットプレイスでは H100 が約$1.47/時間から見つかり、RTX 4090 のようなコンシューマーカードはホストと tier によって$0.29〜0.69/時間程度だ。A100 80GB は RunPod で約$1.39/時間。
安価だが正直なケースを取ろう：信頼できるホストで H100 を$2.89/時間で借りる。24時間365日で1ヶ月動かすと約$2,080になる。その数字は、10件のリクエストを処理しても1,000万件を処理しても変わらない。Pod が起動した瞬間から固定費だ。
これが損益分岐点計算が超えなければならない数字だ。
1秒あたりのトークン数：夢が帯域幅の壁にぶつかる場所
セルフホストの売り文句は「GPU の後はトークンが無料」だ。しかし GPU は、メモリ帯域幅が許す速度でしかトークンを生成できない。70B クラスのモデルは重い。
マーケティング数字ではなく、現実的なスループット数字を見てみよう。単一の H100 が適度なバッチサイズで70Bモデルを処理すると、リクエストあたり毎秒数十トークン程度になる。小さなクラスターに分散すればより良くなる。4×A6000 の vLLM ベンチマークでは、バッチ負荷下で70Bモデルの集計スループットが約420〜470トークン/秒を示している（そこでは Qwen2.5 が449トークン/秒を達成）。小さいモデルを単一のコンシューマーカードで動かすと速くなる。RTX 4090 は8Bモデルで約104トークン/秒、14Bモデルで約69トークン/秒を低い並行性で達成する。
肝に銘じるべきことがある：スループットはバッチ処理によって向上する。一度に1つのリクエストを処理する H100 は著しく非効率だ。16件の並行リクエストを処理する同じ H100 は、同じ時間当たりコストで何倍ものトークンを生成する。セルフホストの経済性は、バッチをいっぱいに保てるだけの同時トラフィックがあるかどうかにかかっている。
具体的な計算例
70Bオープンウェイトモデルで具体的に示そう。フロンティア API の価格を避けるためにセルフホストを検討するのは、実際にはこのサイズのモデルだからだ。
API 側。 ホスト型プロバイダーは今や Llama 3.3 70B を安く提供している。Artificial Analysis によると、価格の下限は約$0.12/百万トークン（DeepInfra Turbo FP8）、上位は$1/百万トークン超で、DeepInfra は約$0.35/百万トークン、Fireworks は約$0.70/百万トークン、Together は約$0.88/百万トークンだ。入力と出力を合わせて$0.40/百万トークンの中間値とする。オープンウェイトにこだわらないなら、DeepSeek V4 Flash は入力$0.14/出力$0.28/百万トークンでフロンティアクラスの品質を GPU 請求の端数以下で得られる。
セルフホスト側。 $2.89/時間の H100 は常時稼働で$2,080/月かかる。$0.40/百万トークンの API と損益分岐点を合わせるには、以下の量を処理する必要がある。
$2,080 ÷ $0.40/百万 = 52億トークン/月
50億トークンだ。現実的な集計スループット400トークン/秒が持続すると仮定すると、一台の H100 をうまくバッチ処理しても 決して止まらなければ 約400 × 3600 × 24 × 30 ≈ 10億トークン/月が上限だ。つまり H100 をフル稼働させ続けても、中間価格の API との損益分岐点にすら達しない。コスト優位に立つには、容量近くまでフル稼働 かつ レンタル市場の安い方 かつ アイドルほぼゼロが必要だ。
DeepSeek V4 Flash の混合約$0.21/百万トークンと比較してみると、API のコストが半額になった。ホスト型の価格が下がるたびにセルフホストのケースは悪化する。そして価格は下がり続けている。
9日間のうち40分問題
Pod は9日間動いた。トラフィックが使ったのは40分。これは極端なケースだが、ソロビルダーのトラフィックの通常の形だ：断続的で、スパイク状で、ほとんど何もない。
本当に重要な計算はこれだ。稼働率がすべてだ。
- 稼働率100%（GPU 常にバッチ処理中、常に稼働中）：上記の例のように、ボリュームが本当に巨大であれば、セルフホストが 勝てる可能性がある。
- 稼働率約50%：アイドルの半分を支払ったため、トークンあたりの実効コストが2倍になる。損益分岐点に達するには2倍のボリュームが必要だ。
- 稼働率5%（私の40分）：トークンあたりの実効コストは計算上の約20倍になる。API が圧倒的に勝ち、競争にもならない。
トークン単位の API は純粋な従量課金だ。他の数千の顧客のスパイクにわたって GPU をアモチゼーションすることで、アイドル問題をすでに解決している。そのプーリングこそが実際に支払っているプロダクトだ。セルフホストすると、アイドルリスクが自分のクレジットカードに戻ってくる。
サーバーレス GPU（スケールゼロ、秒単位の課金）や50〜80%引きのスポットインスタンスでアイドルと戦うことはできる。どちらも助けになる。どちらもコールドスタート、エビクション、そして離れようとしていた信頼性の頭痛を再び持ち込む。
計算機に現れないコスト
時間単価は請求書の正直な部分だ。不正直な部分はその周辺にあるすべてで、ソロのときはすべて自分に降りかかる。
- セットアップと ops の時間。 vLLM を立ち上げ、量子化を選び、バッチサイズを調整し、ヘルスチェックを配線し、OOM を処理する。これに何時間もかかる。あなただけがエンジニアだ。自分の時間に対して合理的な価値を置けば、セルフホストの最初の1ヶ月は1年分の API 呼び出しより高くつく。
- 信頼性。 ホスト型 API が不良ノードを持つとき、それは彼らのポケットベルだ。Pod が深夜2時に死ぬとき、それはあなたのポケットベルだ。自分で構築しない限りフェイルオーバーはない。
- 品質の差。 これが見落とされがちだ。最良のオープンウェイト70Bは優秀だが、安価なフロンティア API は難しい推論やコードにおいて より優れており、GPU より安い。より多く払ってより悪い回答を提供しているかもしれない。
- 量子化のコスト。 安価なスループット数字は通常 FP8 または4ビット量子化を前提としている。これはオープン対フロンティアの差に加えた実際の品質の低下だ。フル精度で動かすとスループットが下がり、VRAM 需要が上がる。
これらのいずれも RunPod の価格ページには載っていない。それらはすべて現実だ。
セルフホストが本当に勝つとき
カテゴリー的に思いとどまらせたいわけではない。正しい選択である場合もある。ただ、ハイプが示唆するよりもはるかに狭い。
- 持続的で、高く、予測可能なボリューム。 バッチキューがいっぱいの状態で毎月数十億トークンを確実に処理しているなら、固定 GPU コストはアモタイズされて勝てる。これはサイドプロジェクトではなく、実際のトラフィックを持つ本物のビジネスだ。
- トークンのサードパーティへの送信を禁じるプライバシーまたはデータ居住要件。 ここではコストはまったく決定変数ではない。
- どのホストも提供していない、ヘビーなファインチューン済みまたはニッチなモデル。 API オプションがどんな価格でも存在しない場合。
- 安いカードに収まる小さなモデル。 $0.40/時間の4090で動く8Bは、H100 上の70Bとはまったく異なる方程式だ。タスクが本当に小さいモデルで動くなら、セルフホストはすぐ手頃になる。ただし、同じ小さなモデルのホスト型 API も同様だ。
パターンに気づいてほしい。優位性はボリューム、コントロール、または制約に関するもので、ソロビルダーが控えめな API 請求を削ることではない。
私が今使っている意思決定ルール
GPU をレンタルする前に、順番に3つの質問をする。どれかの答えが「いいえ」なら API に留まる。
- バッチをいっぱいに保つのに十分な並行性で、毎月10億トークン超を継続して処理しているか？ トラフィックが断続的だったり、推測で考えているなら、答えはいいえで、アイドル時間に埋められる。
- コスト以外の理由があるか？プライバシー、居住要件、誰もホストしていないモデル？ あるなら、数学に関わらずセルフホストが必須かもしれないので、ドルの最適化をやめる。
- 自分の時間は節約できる API 請求より価値が低いか？ 通常そうではない。ops オーバーヘッドが本当の価格であり、自分が持つ最も希少なものの単位で表されている。
スパイク状のトラフィックを持つソロプロダクトでは、3つともここ最近は同じ方向を指している：トークン単位で払い、フロンティア品質を維持し、自分の時間を人々が実際にお金を払うものを構築することに使う。バッチキューがいっぱいになり、いっぱいのまま維持される日が来たら H100 を再びレンタルする。それまでは、アイドル GPU は私がこれまで買った中で最も高価な「何もなさ」だった。