क्या है ChatGPT Token Counter?
▾
चैटजीपीटी टोकन काउंटर किसी दिए गए टेक्स्ट में टोकन की संख्या का अनुमान लगाता है और जीपीटी-4ओ, जीपीटी-4 टर्बो, जीपीटी-3.5 टर्बो और अन्य एलएलएम सहित ओपनएआई मॉडल के लिए संबंधित एपीआई लागत की गणना करता है। टोकन बड़े भाषा मॉडल में पाठ प्रसंस्करण की मूलभूत इकाई हैं - वे अक्षर या शब्द नहीं हैं, बल्कि अंग्रेजी में प्रति टोकन औसतन लगभग 4 अक्षर या 0.75 शब्द की उपशब्द इकाइयाँ हैं। एपीआई लागत प्रबंधन, त्वरित इंजीनियरिंग और मॉडल संदर्भ विंडो सीमा के भीतर रहने के लिए टोकन गणना को समझना आवश्यक है। GPT-4o 128K टोकन संदर्भ विंडो का समर्थन करता है, जिसका अर्थ है कि एक एकल वार्तालाप में संयुक्त इनपुट और आउटपुट के लगभग 96,000 शब्द शामिल हो सकते हैं। चूंकि एपीआई बिलिंग इनपुट और आउटपुट टोकन के लिए अलग-अलग दरों के साथ टोकन गणना पर आधारित है, सटीक टोकन अनुमान सीधे विकास बजट और एप्लिकेशन लागत को प्रभावित करता है।
Calkulon makes complex calculations simple — built for students and everyday problem-solvers.
सूत्र
▾
टोकन गणना (अनुमानित) = वर्ण गणना / 4, या शब्द गणना / 0.75। एपीआई लागत = (इनपुट टोकन / 1,000,000) x इनपुट मूल्य प्रति मिलियन + (आउटपुट टोकन / 1,000,000) x आउटपुट मूल्य प्रति मिलियन।चर विवरण
▾
| प्रतीक | नाम | इकाई | विवरण |
|---|---|---|---|
| T | टोकन गिनती | tokens | इनपुट या आउटपुट टेक्स्ट में टोकन की संख्या, जैसा कि मॉडल के टोकननाइज़र द्वारा निर्धारित किया जाता है (उदाहरण के लिए, GPT-4 के लिए cl100k_base) |
| C | चरित्र गणना | characters | पाठ में वर्णों की कुल संख्या - अंग्रेजी में प्रति टोकन लगभग 4 वर्ण |
| Pi | इनपुट कीमत | USD per 1M tokens | चयनित मॉडल के लिए प्रति मिलियन इनपुट (प्रॉम्प्ट) टोकन की लागत |
| Po | आउटपुट कीमत | USD per 1M tokens | चयनित मॉडल के लिए प्रति मिलियन आउटपुट (पूर्णता) टोकन की लागत - आमतौर पर इनपुट मूल्य से 2-4 गुना अधिक |
| W | प्रसंग विंडो | tokens | अधिकतम संयुक्त इनपुट + आउटपुट टोकन मॉडल एक अनुरोध में समर्थन करता है |
कैसे ChatGPT Token Counter
▾
- 1अपने टेक्स्ट को टोकन काउंटर इनपुट फ़ील्ड में पेस्ट करें या टाइप करें - टूल इसे वास्तविक समय में संसाधित करता है।
- 2काउंटर प्रति टोकन ~4 वर्णों के अनुमान का उपयोग करके टोकन गणना का अनुमान लगाता है (या सटीक गणना के लिए वास्तविक cl100k_base टोकननाइज़र का उपयोग करता है)।
- 3उस AI मॉडल का चयन करें जिसे आप उपयोग करने की योजना बना रहे हैं - GPT-4o, GPT-4 टर्बो, GPT-3.5 टर्बो, क्लाउड 3, आदि - क्योंकि मूल्य निर्धारण में काफी अंतर है।
- 4कैलकुलेटर आपके इनपुट टोकन गिनती और आपके अनुमानित आउटपुट टोकन गिनती पर मॉडल के प्रति-मिलियन-टोकन मूल्य निर्धारण को लागू करता है।
- 5कुल एपीआई लागत की गणना की जाती है: (इनपुट टोकन x इनपुट दर) + (आउटपुट टोकन x आउटपुट दर)।
- 6टूल यह भी दिखाता है कि आपका प्रॉम्प्ट मॉडल की संदर्भ विंडो का कितना उपभोग करता है, जिससे आपको सीमा के भीतर रहने में मदद मिलती है।
- 7बैच संचालन के लिए, कुल परियोजना लागत का अनुमान लगाने के लिए प्रति-अनुरोध लागत को एपीआई कॉल की संख्या से गुणा करें।
हल किए गए उदाहरण
▾
200 शब्द / 0.75 = ~267 टोकन इनपुट। GPT-4o दरों पर ($2.50/1M इनपुट, $10.00/1M आउटपुट): इनपुट लागत = 267/1M x $2.50 = $0.00067, आउटपुट लागत = 267/1M x $10.00 = $0.00267। प्रति अनुरोध कुल = $0.00334। 10,000 ग्राहक इंटरैक्शन/माह पर, कुल लागत लगभग $33.40 है।
10,000 शब्द / 0.75 = ~13,333 इनपुट टोकन। 500 शब्द / 0.75 = ~667 आउटपुट टोकन। इनपुट लागत: 13,333/1एम x $2.50 = $0.0333। आउटपुट लागत: 667/1एम x $10.00 = $0.00667। कुल = ~$0.04 प्रति दस्तावेज़। 1,000 दस्तावेज़ों को सारांशित करने में लगभग $40 का खर्च आएगा।
GPT-3.5 टर्बो: (1,000/1M x $0.50) + (500/1M x $1.50) = $0.0005 + $0.00075 = $0.00125। GPT-4o: (1,000/1M x $2.50) + (500/1M x $10.00) = $0.0025 + $0.005 = $0.0075। GPT-4o प्रति अनुरोध 6 गुना अधिक महंगा है, लेकिन काफी बेहतर तर्क और निर्देश-पालन गुणवत्ता प्रदान करता है।
दैनिक इनपुट टोकन: 500 x 100,000 = 50एम। दैनिक आउटपुट टोकन: 300 x 100,000 = 30एम। इनपुट लागत: 50एम/1एम x $0.15 = $7.50। आउटपुट लागत: 30एम/1एम x $0.60 = $18.00। दैनिक कुल = $25.50, मासिक = ~$765। GPT-4o मिनी को उच्च-मात्रा वाले अनुप्रयोगों के लिए डिज़ाइन किया गया है जहां लागत दक्षता चरम तर्क क्षमता से अधिक मायने रखती है।
वास्तविक अनुप्रयोग
▾
एपीआई बजट पूर्वानुमान: डेवलपर्स अपेक्षित अनुरोध मात्रा, औसत शीघ्र लंबाई और इंजीनियरिंग बजट निर्धारित करने के लिए मॉडल चयन के आधार पर मासिक ओपनएआई एपीआई लागत का अनुमान लगाते हैं।
प्रॉम्प्ट अनुकूलन: आउटपुट गुणवत्ता बनाए रखने वाले सबसे अधिक लागत प्रभावी फॉर्मूलेशन खोजने के लिए इंजीनियर विभिन्न प्रॉम्प्ट डिज़ाइनों की टोकन गणना को मापते हैं।
चैटबॉट लागत मॉडलिंग: उत्पाद टीमें मूल्य निर्धारण, मार्जिन और सरल प्रश्नों के लिए सस्ते मॉडल का उपयोग करना है या नहीं यह निर्धारित करने के लिए एआई चैटबॉट के लिए प्रति-वार्तालाप लागत की गणना करती हैं।
दस्तावेज़ प्रसंस्करण पाइपलाइन: कंपनियां संक्षेपण, निष्कर्षण या विश्लेषण के लिए GPT-4 के माध्यम से बड़े दस्तावेज़ कॉर्पोरा (अनुबंध, चिकित्सा रिकॉर्ड, कानूनी फाइलिंग) को संसाधित करने की लागत का अनुमान लगाती हैं।
मॉडल चयन: तकनीकी नेतृत्व अपने अनुप्रयोग में प्रत्येक उपयोग के मामले के लिए इष्टतम मॉडल चुनने के लिए विभिन्न मॉडलों (जीपीटी-4ओ बनाम क्लाउड बनाम जेमिनी) में लागत-प्रति-कार्य की तुलना करते हैं।
विशेष मामले
▾
गैर-अंग्रेजी पाठ और बहुभाषी टोकनीकरण
गैर-लैटिन लिपियाँ (चीनी, जापानी, कोरियाई, अरबी, हिंदी) आम तौर पर अंग्रेजी की तुलना में प्रति शब्द 2-3 गुना अधिक टोकन का उपभोग करती हैं क्योंकि टोकननाइजर को मुख्य रूप से अंग्रेजी पाठ पर प्रशिक्षित किया गया था। एक 1,000-अक्षर वाला चीनी पाठ 700-1,000 टोकन का उपयोग कर सकता है, जबकि अंग्रेजी में समान लंबाई केवल 250 टोकन का उपयोग करेगी। यह बहुभाषी अनुप्रयोगों की लागत पर महत्वपूर्ण प्रभाव डालता है।
कोड टोकनाइजेशन
स्रोत कोड अक्सर गद्य से भिन्न रूप में टोकनाइज़ होता है। सामान्य प्रोग्रामिंग कीवर्ड और सिंटैक्स आमतौर पर एकल टोकन होते हैं, लेकिन परिवर्तनीय नाम, स्ट्रिंग और टिप्पणियाँ व्यापक रूप से भिन्न होती हैं। इंडेंटेशन और व्हाइटस्पेस टोकन का उपभोग करते हैं। मिनीफ़ाइड कोड स्वरूपित कोड की तुलना में कम टोकन का उपयोग करता है। पायथन आमतौर पर जावा जैसी वर्बोज़ भाषाओं की तुलना में अधिक कुशलता से टोकननाइज़ करता है।
कैश्ड इनपुट टोकन (शीघ्र कैशिंग)
जब एपीआई कॉल में समान प्रॉम्प्ट उपसर्ग का पुन: उपयोग किया जाता है, तो OpenAI GPT-4o और GPT-4o मिनी के लिए कैश्ड इनपुट टोकन पर 50% की छूट प्रदान करता है। यदि आपका सिस्टम प्रॉम्प्ट (मान लीजिए, 2,000 टोकन) सभी अनुरोधों में समान है, तो आप उन कैश्ड टोकन के लिए पहली कॉल पर पूरी कीमत और बाद की कॉल पर आधी कीमत का भुगतान करते हैं। यह लंबे सिस्टम प्रॉम्प्ट वाले अनुप्रयोगों के लिए लागत को 20-40% तक कम कर सकता है।
ओपनएआई मॉडल मूल्य निर्धारण (2025)
▾
| Model | इनपुट (प्रति 1M टोकन) | आउटपुट (प्रति 1M टोकन) | प्रसंग विंडो |
|---|---|---|---|
| GPT-4o | $2.50 | $10.00 | 128K टोकन |
| GPT-4o मिनी | $0.15 | $0.60 | 128K टोकन |
| GPT-4 टर्बो | $10.00 | $30.00 | 128K टोकन |
| जीपीटी-3.5 टर्बो | $0.50 | $1.50 | 16K टोकन |
| o1 (तर्क) | $15.00 | $60.00 | 200K टोकन |
| o1-मिनी | $3.00 | $12.00 | 128K टोकन |
| क्लाउड 3.5 सॉनेट (मानवशास्त्रीय) | $3.00 | $15.00 | 200K टोकन |
| जेमिनी 1.5 प्रो (गूगल) | $1.25 | $5.00 | 1एम टोकन |
अक्सर पूछे जाने वाले प्रश्न
▾
वास्तव में टोकन क्या है?
टोकन एक सबवर्ड इकाई है जिसका उपयोग एलएलएम द्वारा टेक्स्ट को संसाधित करने के लिए किया जाता है। 'द' या 'और' जैसे सामान्य शब्द एकल टोकन हैं, जबकि लंबे या असामान्य शब्दों को कई टोकन में विभाजित किया जा सकता है (उदाहरण के लिए, 'क्रिप्टोकरेंसी' 'क्रिप्टो' + 'मुद्रा' = 2 टोकन हो सकता है)। अंग्रेजी में, 1 टोकन का औसत ~4 अक्षर या ~0.75 शब्द होता है। गैर-अंग्रेजी भाषाओं और कोड में आम तौर पर अलग-अलग टोकन-प्रति-शब्द अनुपात होता है।
आउटपुट टोकन इनपुट टोकन से अधिक महंगे क्यों हैं?
आउटपुट (समापन) टोकन को इनपुट (प्रॉम्प्ट) टोकन की तुलना में अधिक गणना की आवश्यकता होती है क्योंकि मॉडल को प्रत्येक आउटपुट टोकन को क्रमिक रूप से उत्पन्न करना होगा, प्रत्येक के लिए तंत्रिका नेटवर्क के माध्यम से पूर्ण फॉरवर्ड पास करना होगा। इनपुट टोकन को समानांतर में संसाधित किया जा सकता है। गणना लागत में यह विषमता आउटपुट टोकन के लिए 2-4x मूल्य प्रीमियम में परिलक्षित होती है।
प्रति टोकन अनुमान ~4 अक्षर कितना सटीक है?
मानक अंग्रेजी गद्य (10-15% के भीतर) के लिए 4-वर्ण सन्निकटन यथोचित सटीक है। हालाँकि, यह कोड (जो वाक्यविन्यास प्रतीकों के कारण प्रति टोकन 2-3 वर्णों का उपयोग कर सकता है), गैर-लैटिन लिपियों (चीनी/जापानी प्रति टोकन 1-2 वर्णों का उपयोग कर सकता है), और विशेष शब्दावली के लिए कम सटीक हो जाता है। सटीक गणना के लिए, OpenAI की टिकटोकन लाइब्रेरी या वास्तविक टोकननाइज़र का उपयोग करें।
संदर्भ विंडो क्या है और यह क्यों मायने रखती है?
संदर्भ विंडो टोकन की अधिकतम संख्या (इनपुट + आउटपुट संयुक्त) है जिसे एक मॉडल एक अनुरोध में संसाधित कर सकता है। GPT-4o में 128K टोकन विंडो (~96,000 शब्द) है। यदि आपका इनपुट संदर्भ विंडो से अधिक है, तो आपको पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) को छोटा करना, सारांशित करना या उपयोग करना होगा। सीमा से अधिक होने पर एक एपीआई त्रुटि आती है।
क्या सिस्टम संकेत और वार्तालाप इतिहास को टोकन उपयोग में गिना जाता है?
हाँ। प्रत्येक एपीआई कॉल में पूर्ण सिस्टम प्रॉम्प्ट, संपूर्ण वार्तालाप इतिहास और इनपुट टोकन के रूप में नया उपयोगकर्ता संदेश शामिल होता है। चैटबॉट में, बातचीत का इतिहास प्रत्येक मोड़ के साथ बढ़ता है, इसलिए जैसे-जैसे बातचीत लंबी होती जाती है, लागत बढ़ती जाती है। मल्टी-टर्न अनुप्रयोगों में लागत को नियंत्रित करने के लिए वार्तालाप ट्रंकेशन या सारांशीकरण रणनीतियों को लागू करें।
GPT-4o की कीमत क्लाउड और अन्य मॉडलों से कैसे तुलना की जाती है?
2025 तक: GPT-4o $2.50/$10.00 प्रति 1M टोकन (इनपुट/आउटपुट) है। एंथ्रोपिक क्लाउड 3.5 सॉनेट $3.00/$15.00 प्रति 1M है। Google जेमिनी 1.5 प्रो $1.25/$5.00 प्रति 1 मिलियन है। $0.15/$0.60 पर GPT-4o मिनी सबसे सस्ता फ्रंटियर मॉडल विकल्प है। जैसे-जैसे प्रदाता लागत-प्रदर्शन पर प्रतिस्पर्धा करते हैं, कीमतें बार-बार बदलती रहती हैं।
सामान्य गलतियां जिनसे बचना है
▾
- !1 टोकन = 1 शब्द मानते हुए - अंग्रेजी में, 1 टोकन लगभग 0.75 शब्द (या 1 शब्द = ~ 1.33 टोकन) है, और यह अनुपात अन्य भाषाओं के लिए काफी भिन्न होता है।
- !यह भूल जाना कि वार्तालाप इतिहास हर मोड़ पर टोकन जमा करता है - एक 20-मोड़ चैटबॉट वार्तालाप प्रति अनुरोध 10,000+ इनपुट टोकन भेज सकता है, भले ही प्रत्येक व्यक्तिगत संदेश छोटा हो।
- !सिस्टम प्रॉम्प्ट टोकन लागत का हिसाब नहीं, जो प्रत्येक एपीआई कॉल में शामिल है और विस्तृत निर्देशों के लिए 500-2,000 टोकन हो सकते हैं।
- !आउटपुट गुणवत्ता अंतर पर विचार किए बिना मॉडल की कीमतों की तुलना करना - GPT-4o मिनी GPT-4o से 17 गुना सस्ता है, लेकिन कम तर्क क्षमता के कारण समान परिणाम प्राप्त करने के लिए अधिक टोकन की आवश्यकता हो सकती है।
- !इनपुट बनाम आउटपुट टोकन के लिए अलग-अलग मूल्य निर्धारण को नजरअंदाज करना - आउटपुट टोकन 2-4 गुना अधिक महंगे हैं, इसलिए लंबी प्रतिक्रियाएं उत्पन्न करने वाले अनुप्रयोगों की लागत अनुपातहीन रूप से अधिक होती है।
विशेष टिप
गुणवत्ता से समझौता किए बिना एपीआई लागत कम करने के लिए: (1) वर्गीकरण और निष्कर्षण जैसे सरल कार्यों के लिए जीपीटी-4ओ मिनी का उपयोग करें, जटिल तर्क के लिए जीपीटी-4ओ को आरक्षित रखें। (2) बार-बार सिस्टम संकेतों पर 50% की छूट पाने के लिए त्वरित कैशिंग लागू करें। (3) अप्रत्याशित रूप से लंबे आउटपुट को रोकने के लिए max_tokens सेट करें। (4) पूर्ण प्रतिलेख भेजने के बजाय बातचीत के इतिहास को संक्षेप में प्रस्तुत करें। एक अच्छी तरह से अनुकूलित एप्लिकेशन सरल एपीआई उपयोग की तुलना में लागत में 60-80% की कटौती कर सकता है।
क्या आप जानते हैं?
एआई में 'टोकनाइजेशन' शब्द का एक विचित्र दोहरा जीवन है - प्राकृतिक भाषा प्रसंस्करण में इसका अर्थ है पाठ को सबवर्ड इकाइयों में विभाजित करना, जबकि साइबर सुरक्षा में इसका अर्थ है संवेदनशील डेटा को गैर-संवेदनशील प्लेसहोल्डर के साथ बदलना। दोनों अर्थों में जानकारी को छोटी इकाइयों में बदलना शामिल है, लेकिन पूरी तरह से अलग उद्देश्यों के लिए। OpenAI के cl100k_base टोकनेनाइज़र में बिल्कुल 100,256 अद्वितीय टोकन की शब्दावली है।
Regional Guides
▾
United States▾
European Union▾
Asia-Pacific▾
संदर्भ
साप्ताहिक गणित युक्तियाँ प्राप्त करें
12,000+ सब्सक्राइबर्स से जुड़ें जिन्हें हर हफ्ते कैलकुलेटर टिप्स मिलते हैं।