فهم التوكنات: كيف «تقرأ» نماذج الذكاء الاصطناعي نصك فعليًا
17 سبتمبر 2026
يعود تسعير أي نموذج لغوي كبير، ونافذة السياق الخاصة به، وحتى بعض سلوكياته الغريبة المتعلقة بالإملاء أو الرياضيات، إلى مفهوم واحد: التوكن. التوكنات ليست كلمات، وليست أحرفًا، وليست مقاطع صوتية تمامًا — بل هي مخطط ضغط خاص بكل نموذج، وفهم آلية عملها يفسر قدرًا مدهشًا من سلوك الذكاء الاصطناعي الذي يبدو عشوائيًا لولا ذلك.
ما هو التوكن بالضبط، إذا لم يكن كلمة؟
التوكن هو جزء من النص — أحيانًا كلمة شائعة كاملة، وأحيانًا جزء من كلمة، وأحيانًا حرف واحد — يحدده «مُجزّئ» (tokenizer) دُرّب على تمثيل أكثر أجزاء النص تكرارًا في بيانات تدريبه بأكبر قدر ممكن من الكفاءة. الكلمات الإنجليزية الشائعة مثل 'the' أو 'cat' تكون عادة توكنًا واحدًا؛ أما الكلمات الأقل شيوعًا أو المركّبة فغالبًا ما تنقسم إلى توكنين أو ثلاثة (مثلًا، قد تصبح 'tokenization' هي 'token' + 'ization'). وكقاعدة تقريبية للغة الإنجليزية، يُقدَّر التوكن الواحد عادة بنحو 4 أحرف أو ما يقارب ¾ الكلمة، لكن هذا يختلف حسب النموذج ويبقى مجرد تقريب دائمًا.
لماذا يُحدد تسعير واجهات برمجة تطبيقات الذكاء الاصطناعي بالتوكن بدلًا من الكلمة أو الطلب؟
لأن التوكنات، لا الكلمات، هي حرفيًا الوحدة التي يعالجها النموذج داخليًا — فكل توكن يُدخَل وكل توكن يُولَّد يستهلك حوسبة، لذا فهو الوحدة الأكثر مباشرة وإنصافًا للفوترة عليها. كما يتيح التسعير بالتوكن لمقدّمي الخدمة فرض أسعار مختلفة على المدخلات مقابل المخرجات (فالتوليد عادة أكثر استهلاكًا للحوسبة من القراءة)، ولهذا يدرج معظم تسعير واجهات برمجة تطبيقات الذكاء الاصطناعي معدلًا منفصلًا لتوكن الإدخال ومعدلًا لتوكن الإخراج بدلًا من سعر ثابت واحد لكل طلب.
لماذا تكلّف بعض اللغات أكثر بشكل ملحوظ لكل جملة مقارنة بالإنجليزية؟
لأن معظم المُجزّئات الرئيسية دُرّبت على مجموعات بيانات يهيمن عليها النص الإنجليزي، فإن الكلمات الإنجليزية تميل بشكل غير متناسب إلى التطابق مع توكنات مفردة وفعّالة. أما اللغات ذات الأنظمة الكتابية أو الصرفية المختلفة — كالعديد من لغات شرق آسيا، أو اللغات ذات التركيب المكثف للكلمات — فغالبًا ما تُجزَّأ بكفاءة أقل، وقد تحتاج أحيانًا إلى توكنين أو ثلاثة أو أكثر لتمثيل ما يعادل معنى توكن واحد في الإنجليزية. الأثر العملي: يمكن للجملة نفسها، بعد ترجمتها، أن تكلّف عددًا أكبر بشكل ملموس من التوكنات (وبالتالي سعرًا أعلى في واجهة برمجة التطبيقات) بلغة معينة مقارنة بلغة أخرى، وذلك فقط كأثر جانبي لطريقة تدريب المُجزّئ، لا لتعقيد المحتوى الفعلي.
ما الذي تحدّه فعليًا «نافذة السياق» الخاصة بالنموذج؟
نافذة السياق هي العدد الأقصى من التوكنات التي يمكن للنموذج أخذها بعين الاعتبار في وقت واحد — بدمج مدخلاتك (الأمر النظامي، سجل المحادثة، أي مستندات مُقدَّمة) مع الرد الذي يولّده. إنها ليست حدًا على «مقدار ما يمكنك طلبه» بمعزل عن غيره، بل ميزانية مشتركة لكل ما يجب على النموذج قراءته وكل ما ينتجه في ذلك التبادل الواحد. يمكن لسجل محادثة طويل أو مستند كبير ملصق أن يستهلك معظم نافذة السياق قبل أن يولّد النموذج كلمة واحدة من الرد، ولهذا تفقد المحادثات الطويلة جدًا أحيانًا تتبع تفاصيل من بدايتها — فهي ببساطة خرجت من نطاق ميزانية التوكنات بسبب القدم.