ओपन-वेट मॉडल खुद होस्ट करना API से कब वाकई सस्ता पड़ता है

पिछले महीने मैंने RunPod पर एक H100 शुरू किया, उसमें एक 70B ओपन-वेट मॉडल लोड किया, और अपने प्रोडक्ट से उस पर ट्रैफिक भेजा। मैंने खुद को यकीन दिला लिया था कि होस्टेड API का बिल बेतुका होता जा रहा है और अपना खुद का inference रखना ही समझदारी है। पॉड नौ दिन चला, फिर मैंने उसे बंद कर दिया।

फिर मैंने बिलिंग पेज खोला। मैंने नौ दिनों के GPU का भुगतान किया था। मेरे असली ट्रैफिक ने शायद चालीस मिनट ही इस्तेमाल किया था। बाकी समय GPU बस बैठा रहा, पंखे घूमते रहे, और हर मिलीसेकंड पर कुछ किए बिना ही मुझसे पैसे लेता रहा।

बस यही पूरा जाल है, एक स्क्रीनशॉट में। GPU को परवाह नहीं कि आप token सर्व कर रहे हैं या डैशबोर्ड देख रहे हैं। वह बराबर चार्ज करता है। और जिस per-token API से बचना चाहता था, वह सिर्फ तब चार्ज करती है जब काम असल में होता है।

तो मैं बैठा और ठीक से हिसाब लगाया। यहाँ मुझे जो मिला, 2026 के असली नंबरों के साथ।

संक्षिप्त निष्कर्ष

ओपन-वेट मॉडल खुद होस्ट करना लागत के मामले में होस्टेड API को तभी मात दे सकता है जब GPU वाकई व्यस्त रहे — मोटे तौर पर 40–60% या उससे ज्यादा utilization, लगातार, हफ्तों तक। इससे कम पर, idle समय उस हर रुपए को खा जाता है जो आप बचा रहे थे, और आप इसके लिए अपने ops समय से भी भुगतान करते हैं। अधिकतर solo builders के लिए, अधिकतर समय, per-token API लागत में जीतती है और झंझट में तो बहुत ज्यादा। ब्रेकईवन असली है, लेकिन वह ट्रैफिक वॉल्यूम पर है जो हममें से ज्यादातर के पास अभी तक नहीं है।

GPU किराए पर लेने में वाकई क्या खर्च होता है

नंबरों को पहले तय करते हैं, क्योंकि पूरी बहस इन्हीं पर टिकी है। 2026 के मध्य तक, on-demand H100 80GB किराए की कीमत RunPod पर लगभग $2.89/घंटा और Lambda पर $2.99/घंटा है। Vast.ai जैसे मार्केटप्लेस पर H100 लगभग $1.47/घंटा से मिल सकता है, और RTX 4090 जैसे consumer कार्ड होस्ट और tier के हिसाब से लगभग $0.29–0.69/घंटा तक जाते हैं। A100 80GB RunPod पर लगभग $1.39/घंटा है।

सस्ता-लेकिन-भरोसेमंद केस लें: एक H100 $2.89/घंटा पर किसी विश्वसनीय होस्ट पर। महीने भर 24/7 चलाएं और वह लगभग $2,080 बनता है। यह नंबर तब नहीं बदलता चाहे आप दस requests सर्व करें या एक करोड़। जैसे ही पॉड चालू होता है, यह एक fixed cost है।

यही वह आंकड़ा है जिसे हर ब्रेकईवन कैलकुलेशन को पार करना होता है।

Tokens per second: सपने और bandwidth की दीवार का टकराव

खुद होस्ट करने की पिच है "GPU के बाद tokens फ्री।" लेकिन GPU सिर्फ उतने ही tokens बनाता है जितना उसकी memory bandwidth इजाजत देती है, और 70B क्लास का मॉडल भारी होता है।

असली throughput नंबर, marketing वाले नहीं: एक H100 जो 70B मॉडल को मामूली batch sizes पर सर्व कर रहा है, प्रति request कुछ दर्जन tokens-per-second दे सकता है। एक छोटे cluster में यह बेहतर होता है — 4×A6000 का vLLM benchmark batched load में 70B मॉडल के लिए 420–470 tokens/sec का aggregate throughput दिखाता है (Qwen2.5 ने वहाँ 449 tok/s छुआ)। छोटे मॉडल एक consumer card पर तेज चलते हैं: RTX 4090 कम concurrency पर 8B मॉडल में लगभग 104 tok/s और 14B में 69 tok/s देता है।

यह बात मन में बिठाएं: throughput batching के साथ बढ़ता है। एक H100 जो एक समय पर एक request सर्व कर रहा है, बेहद अक्षम है। वही H100 सोलह concurrent requests सर्व करता हुआ उसी hourly cost पर कई गुना ज्यादा tokens बनाता है। खुद होस्ट करने की अर्थव्यवस्था इसी पर निर्भर है — क्या आपके पास उस batch को भरे रखने के लिए पर्याप्त simultaneous ट्रैफिक है।

एक व्यावहारिक उदाहरण

70B ओपन-वेट मॉडल के साथ इसे ठोस बनाते हैं, क्योंकि यही वह आकार है जहाँ लोग frontier-API कीमतों से बचने के लिए खुद होस्ट करने पर विचार करते हैं।

API की तरफ। होस्टेड providers अब Llama 3.3 70B सस्ते में सर्व करते हैं। Artificial Analysis मिश्रित कीमतें लगभग $0.12/M tokens (DeepInfra Turbo FP8) से लेकर $1/M से ऊपर तक दिखाता है, DeepInfra लगभग $0.35/M, Fireworks लगभग $0.70/M, और Together लगभग $0.88/M। मान लें एक बीच का $0.40 प्रति million tokens, input और output मिलाकर। और अगर आप खासतौर पर open weights पर जोर नहीं देते, DeepSeek V4 Flash $0.14 input / $0.28 output प्रति million है — frontier-class quality GPU बिल की rounding error से भी कम में।

खुद होस्ट करने की तरफ। वह $2.89/घंटा H100 हमेशा चालू रहे तो $2,080/महीना है। $0.40/M पर API के सामने break even के लिए, आपको इतना push करना होगा:

$2,080 ÷ $0.40 प्रति million = 520 करोड़ tokens प्रति महीना।

पाँच अरब tokens। एक realistic sustained 400 tokens/sec aggregate पर, एक अच्छी तरह batched H100 लगभग 400 × 3600 × 24 × 30 ≈ 1 अरब tokens महीने में बनाता है, अगर वह कभी नहीं रुका। तो एक H100 पूरी क्षमता पर, हर दिन के हर सेकंड, mid-priced API के सामने ब्रेकईवन भी नहीं कर पाता। आपको box को capacity के करीब बनाए रखना होगा और rental market की सस्ती दरें और लगभग शून्य idle — तब जाकर आगे निकल सकते हैं।

अब DeepSeek V4 Flash लगभग $0.21/M blended से तुलना करें। API अभी-अभी आधा सस्ता हो गया। खुद होस्ट करने का मामला हर बार होस्टेड कीमतें गिरने पर बदतर होता है — और वे गिरती रहती हैं।

नौ दिनों में चालीस मिनट की समस्या

मेरा पॉड नौ दिन चला। मेरे ट्रैफिक ने चालीस मिनट इस्तेमाल किया। यह एक चरम मामला है, लेकिन यह solo builder ट्रैफिक की सामान्य शक्ल है: bursts, spikes, ज्यादातर कुछ नहीं।

यह वह math है जो असल में मायने रखता है। Utilization ही पूरा खेल है:

• 100% utilization (GPU हमेशा batched, हमेशा व्यस्त): अगर आपका वॉल्यूम सच में विशाल है, तो खुद होस्ट करना जीत सकता है।
• लगभग 50% utilization: आपका effective cost per token दोगुना हो जाता है, क्योंकि आपने idle आधे के लिए भी भुगतान किया। अब ब्रेकईवन के लिए 2x वॉल्यूम चाहिए।
• 5% utilization (मेरे चालीस मिनट): आपका effective cost per token sticker math का लगभग 20 गुना है। API बड़े फर्क से जीतती है।

Per-token APIs पूरी तरह pay-per-use हैं। उन्होंने आपकी idle समस्या पहले ही हल कर दी है — GPU को हजारों दूसरे customers के bursts में amortize करके। यह pooling ही वह असली product है जिसके लिए आप भुगतान करते हैं। जब आप खुद होस्ट करते हैं, तो idle risk वापस अपने credit card पर ले लेते हैं।

Serverless GPU (scale-to-zero, per-second billing) या spot instances (50–80% सस्ते) से idle से लड़ सकते हैं। दोनों मदद करते हैं। दोनों cold starts, eviction, और वही reliability परेशानियाँ भी वापस लाते हैं जिन्हें आप पीछे छोड़ना चाहते थे।

वे लागतें जो कैलकुलेटर में कभी नहीं दिखती

hourly rate बिल का ईमानदार हिस्सा है। बेईमान हिस्सा वह सब है जो उसके आसपास है, और जब आप solo हों तो वह सब आप पर आ पड़ता है:

• Setup और ops का समय। vLLM खड़ा करना, quantization चुनना, batch size tune करना, health checks जोड़ना, OOMs संभालना। यह घंटों का काम है, और आप एकमात्र engineer हैं। आपके समय की किसी भी उचित कीमत पर, खुद होस्ट करने का पहला महीना एक साल के API calls से ज्यादा महंगा है।
• Reliability। जब किसी होस्टेड API का कोई node खराब होता है, वह उनका pager है। जब आपका पॉड रात 2 बजे मर जाता है, वह आपका है। जब तक आप खुद नहीं बनाते, कोई failover नहीं है।
• Quality का अंतर। यह वह है जो लोग छोड़ देते हैं। सबसे अच्छा open-weight 70B अच्छा है, लेकिन सस्ती frontier APIs कठिन reasoning और code में बेहतर हैं, और वे कम भी खर्च होती हैं। आप ज्यादा पैसे देकर बदतर जवाब दे रहे हो सकते हैं।
• Quantization tax। सस्ते throughput नंबर आमतौर पर FP8 या 4-bit quantization मानते हैं। यह open-vs-frontier gap के ऊपर एक असली quality कटौती है। Full precision चलाएं और throughput गिरता है, VRAM की जरूरत बढ़ती है।

इनमें से कोई भी RunPod की pricing page पर नहीं दिखता। लेकिन सब असली हैं।

जब खुद होस्ट करना वाकई जीतता है

मैं आपको इसे पूरी तरह छोड़ने के लिए नहीं मना रहा, क्योंकि कुछ मामले हैं जहाँ यह सही विकल्प है — वे बस hype से ज्यादा संकरे हैं:

• निरंतर, उच्च, पूर्वानुमानित वॉल्यूम। अगर आप महीने में अरबों tokens भेज रहे हैं और batch queue हमेशा भरी है, तो fixed GPU cost amortize होती है और आप जीतते हैं। यह असली ट्रैफिक वाला असली business है, कोई side project नहीं।
• Privacy या data-residency की आवश्यकताएं जो tokens किसी third party को भेजने से रोकती हैं। यहाँ लागत निर्णायक variable नहीं है।
• भारी fine-tuned या niche models जिन्हें कोई होस्ट नहीं करता, जहाँ किसी भी कीमत पर API का विकल्प मौजूद नहीं।
• एक छोटा मॉडल जो सस्ते card में फिट हो। $0.40/घंटा के 4090 पर 8B मॉडल, H100 पर 70B से बिल्कुल अलग हिसाब है। अगर आपका task सच में छोटे मॉडल पर चलता है, तो खुद होस्ट करना जल्दी किफायती हो जाता है — लेकिन उसी छोटे मॉडल के लिए होस्टेड API भी।

पैटर्न देखें: जीत वॉल्यूम, नियंत्रण, या constraints के बारे में है — किसी छोटे builder के मामूली API बिल से बचने के बारे में नहीं।

वह निर्णय नियम जो मैं अब उपयोग करता हूँ

GPU किराए पर लेने से पहले, मैं क्रम में तीन सवाल पूछता हूँ। अगर कोई भी जवाब "नहीं" है, तो मैं API पर रहता हूँ।

1. क्या मैं महीने में 1 अरब से ज्यादा tokens push कर रहा हूँ, निरंतर, batch भरी रखने के लिए पर्याप्त concurrency के साथ? अगर मेरा ट्रैफिक bursty है या मैं अनुमान लगा रहा हूँ, जवाब नहीं है, और idle time मुझे दबा देगा।
2. क्या कोई non-cost कारण है — privacy, residency, कोई model जिसे कोई होस्ट नहीं करता? अगर हाँ, तो खुद होस्ट करना math से परे mandatory हो सकता है, इसलिए मैं dollars optimize करना बंद कर देता हूँ।
3. क्या मेरा समय मेरे बचाए जाने वाले API bill से कम कीमती है? आमतौर पर नहीं। Ops overhead असली कीमत है, और वह मेरी सबसे दुर्लभ चीज में denominated है।

मेरे लिए, spiky ट्रैफिक वाले solo product पर, तीनों हाल ही में एक ही दिशा में इशारा करते हैं: per token भुगतान करें, frontier quality बनाए रखें, और अपने घंटे उस चीज को बनाने में लगाएं जिसके लिए लोग वाकई भुगतान करते हैं। जिस दिन मेरी batch queue भरी और भरी रहेगी, उस दिन H100 फिर किराए पर लूँगा। तब तक, वह idle GPU सबसे महंगी "कुछ नहीं" थी जो मैंने कभी खरीदी।