टोकन को समझना: AI मॉडल वास्तव में आपके टेक्स्ट को कैसे ‘पढ़ते’ हैं
17 सितंबर 2026
हर बड़े भाषा मॉडल की प्राइसिंग, कॉन्टेक्स्ट विंडो, और यहां तक कि स्पेलिंग या गणित के आसपास इसका कुछ अजीब व्यवहार भी एक ही कॉन्सेप्ट पर वापस जाता है: टोकन। टोकन न तो शब्द हैं, न कैरेक्टर, और न ही बिल्कुल सिलेबल — ये एक मॉडल-विशिष्ट कंप्रेशन योजना हैं, और यह समझना कि वे कैसे काम करते हैं, AI के काफी सारे उस व्यवहार को समझाता है जो अन्यथा मनमाना दिखता है।
अगर टोकन कोई शब्द नहीं है, तो यह वास्तव में क्या है?
टोकन टेक्स्ट का एक टुकड़ा है — कभी एक पूरा सामान्य शब्द, कभी किसी शब्द का हिस्सा, कभी एक ही कैरेक्टर — जो एक टोकनाइज़र द्वारा तय किया जाता है जिसे अपने ट्रेनिंग डेटा में टेक्स्ट के सबसे बार-बार आने वाले टुकड़ों को जितना हो सके कुशलता से दर्शाने के लिए प्रशिक्षित किया गया था। ‘the’ या ‘cat’ जैसे आम अंग्रेज़ी शब्द आमतौर पर एक ही टोकन होते हैं; कम आम या मिश्रित शब्द अक्सर दो या तीन में बंट जाते हैं (जैसे ‘tokenization’ शायद ‘token’ + ‘ization’ बन जाए)। अंग्रेज़ी के लिए एक मोटे अंगूठे के नियम के तौर पर, एक टोकन को आमतौर पर लगभग 4 कैरेक्टर या मोटे तौर पर ¾ शब्द के बराबर आंका जाता है, लेकिन यह मॉडल के अनुसार अलग होता है और हमेशा सिर्फ एक अनुमान होता है।
AI API प्राइसिंग शब्द या रिक्वेस्ट के बजाय टोकन के हिसाब से क्यों बताई जाती है?
क्योंकि टोकन, शब्द नहीं, शाब्दिक रूप से वह यूनिट है जिसे मॉडल आंतरिक रूप से प्रोसेस करता है — हर टोकन जो अंदर जाता है और जनरेट होकर बाहर आता है, कंप्यूटेशन खर्च करता है, इसलिए यह बिल करने के लिए सबसे सीधी और उचित यूनिट है। प्रति-टोकन प्राइसिंग प्रोवाइडर्स को इनपुट बनाम आउटपुट के लिए अलग-अलग चार्ज करने भी देती है (जनरेशन आमतौर पर पढ़ने से ज़्यादा कंप्यूट-गहन होता है), यही कारण है कि ज़्यादातर AI API प्राइसिंग एक फ्लैट प्रति-रिक्वेस्ट कीमत के बजाय एक अलग इनपुट-टोकन दर और आउटपुट-टोकन दर सूचीबद्ध करती है।
कुछ भाषाओं की कीमत प्रति वाक्य अंग्रेज़ी से इतनी ज़्यादा क्यों होती है?
क्योंकि ज़्यादातर बड़े टोकनाइज़र ऐसे डेटासेट पर प्रशिक्षित किए गए थे जिनमें अंग्रेज़ी टेक्स्ट का बोलबाला था, अंग्रेज़ी शब्दों के सिंगल, कुशल टोकन में मैप होने की संभावना असमान रूप से ज़्यादा है। अलग स्क्रिप्ट या मॉर्फोलॉजी वाली भाषाएं — कई CJK भाषाएं, या व्यापक शब्द-संयोजन (word compounding) वाली भाषाएं — अक्सर कम कुशलता से टोकनाइज़ होती हैं, कभी-कभी उतने ही अर्थ को दर्शाने के लिए दो, तीन, या ज़्यादा टोकन की ज़रूरत पड़ती है जितना अंग्रेज़ी में एक टोकन के बराबर होता। व्यावहारिक असर: वही वाक्य, अनुवादित होने पर, एक भाषा में दूसरी की तुलना में टोकन में (और इसलिए API कीमत में) सार्थक रूप से ज़्यादा खर्च कर सकता है, बिल्कुल इस बात के परिणाम के रूप में कि टोकनाइज़र को कैसे प्रशिक्षित किया गया था, न कि कंटेंट की असली जटिलता के कारण।
किसी मॉडल की ‘कॉन्टेक्स्ट विंडो’ वास्तव में क्या सीमित करती है?
कॉन्टेक्स्ट विंडो टोकन की वह अधिकतम संख्या है जिसे एक मॉडल एक साथ विचार में ले सकता है — आपके इनपुट (सिस्टम प्रॉम्प्ट, बातचीत का इतिहास, दिए गए कोई भी दस्तावेज़) को उस जवाब के साथ जोड़कर जो वह जनरेट करता है। यह अलग से ‘आप कितना पूछ सकते हैं’ की सीमा नहीं है; यह उस सब का एक साझा बजट है जिसे मॉडल को उस एक ही आदान-प्रदान में पढ़ना है और जो कुछ भी वह जनरेट करता है। लंबा बातचीत का इतिहास या कोई बड़ा पेस्ट किया गया दस्तावेज़ मॉडल के जवाब का एक भी शब्द जनरेट करने से पहले कॉन्टेक्स्ट विंडो का ज़्यादातर हिस्सा खर्च कर सकता है, यही कारण है कि बहुत लंबी बातचीत कभी-कभी शुरुआत के विवरण भूल जाती है — वे बस टोकन बजट से बाहर निकल चुके होते हैं।