عداد رموز مجاني للذكاء الاصطناعي
الصق نصاً لتقدير عدد الرموز (Tokens) التي قد يستخدمها قبل إرساله إلى نموذج أو واجهة برمجة ذكاء اصطناعي.
Counted entirely in your browser using a GPT-compatible tokenizer. Other model families may tokenize slightly differently.
يهم عداد الرموز لأن تسعير واجهات برمجة الذكاء الاصطناعي وحدود نافذة السياق تُقاس بالرموز، لا بالأحرف أو الكلمات — وتُرمّز نماذج مختلفة النص نفسه بطرق مختلفة.
ما هو الرمز (Token)، وكيف يختلف فعلياً عن الكلمة؟
الرمز هو جزء من النص — غالباً كلمة كاملة، أو جزء من كلمة، أو علامة ترقيم — يعالجه نموذج الذكاء الاصطناعي كوحدة واحدة؛ ويُسعَّر معظم النماذج ويُحدَّد بعدد الرموز، لا بعدد الكلمات أو الأحرف. في المتوسط، يبلغ معدل النص الإنجليزي نحو 0.75 كلمة لكل رمز، رغم أن ذلك يتفاوت — فالكلمات القصيرة الشائعة غالباً ما تكون رمزاً واحداً، بينما يمكن أن تنقسم الكلمات الأطول أو الأقل شيوعاً إلى رمزين أو أكثر، وهذا بالضبط سبب تقسيم أدوات الترميز النص إلى هذه الأجزاء الفرعية بدلاً من عدّ الكلمات الكاملة كما قد يوحي اسم هذه الأداة.
كيف يعمل هذا العداد فعلياً، وهل هو دقيق لكل نموذج ذكاء اصطناعي؟
الصق نصك في المربع ويتحدّث العدد فوراً باستخدام أداة ترميز متوافقة مع GPT، تعمل بالكامل داخل متصفحك. تستخدم عائلات النماذج المختلفة — GPT وClaude وGemini وغيرها — أداة ترميز خاصة بها، لذا يمكن أن ينتج النص نفسه عدد رموز مختلفاً قليلاً بحسب النموذج الذي تستهدفه فعلياً؛ وعدد هذه الأداة المتوافق مع GPT تقدير قريب، لكن الرقم الدقيق لـ Claude أو Gemini تحديداً قد يختلف قليلاً.
لماذا يهم عدد الرموز فعلياً، وما هي نافذة السياق؟
تتقاضى معظم واجهات برمجة الذكاء الاصطناعي رسوماً بحسب الرمز وتحدّ عدد الرموز التي تتسع في طلب واحد — وتُسمى هذه الحدود نافذة السياق، وتشمل مدخلاتك ومخرجات النموذج معاً. معرفة عدد رموزك مسبقاً يساعد على تجنّب تكاليف غير متوقعة على واجهة برمجة مدفوعة أو طلب يُقتطع أو يُرفض لتجاوزه الحد؛ وبمجرد الحصول على عدد الرموز، أدخله في حاسبة تكلفة الذكاء الاصطناعي إلى جانب النموذج الذي اخترته لتقدير السعر الفعلي.
هل ترسل هذه الأداة نصك إلى أي مكان، وكيف تخفّض عدد رموز مرتفع؟
لا — يحدث الترميز بالكامل داخل متصفحك باستخدام مكتبة ترميز محلية، لذا لا يُرفع نصك أبداً أو يُرسل إلى خادم. ولخفض عدد الرموز، احذف الكلمات غير الضرورية والسياق الزائد والتعليمات المكررة؛ ويمكن أن يساعد مختصر مطالبات الذكاء الاصطناعي في تكثيف مطالبة طويلة تلقائياً مع الحفاظ على معناها سليماً.
لماذا تقسّم نماذج الذكاء الاصطناعي النص إلى هذه الأجزاء الصغيرة الغريبة بدلاً من عدّ الكلمات فقط؟
لأن هذه التقنية تسبق نماذج اللغة الذكية بوقت طويل — فقد بدأت كحيلة لضغط البيانات. نشر المبرمج فيليب غيج خوارزمية ترميز أزواج البايت (Byte Pair Encoding) الأصلية في عدد عام 1994 من مجلة The C Users Journal، واصفاً طريقة بسيطة لتصغير حجم ملف عبر استبدال أكثر زوج من البايتات المتجاورة تكراراً ببايت واحد غير مستخدم بشكل متكرر. وبقيت مجرد هامش في تقنيات الضغط لعقدين من الزمن حتى عام 2015، عندما أعاد الباحثون ريكو سنريتش وباري هادو وألكسندرا بيرش توظيف الفكرة الأساسية نفسها لمشكلة مختلفة تماماً: تفكيك الكلمات النادرة وغير المألوفة إلى أجزاء فرعية أصغر وأكثر شيوعاً حتى تتمكن نماذج الترجمة الآلية من التعامل مع مفردات لم ترها من قبل بشكلها الكامل. وهذه التقنية المعاد توظيفها هي أساساً ما تفعله كل أداة ترميز حديثة حتى اليوم، بما فيها الأداة التي تشغّل هذا العداد — تستعير بهدوء خوارزمية ضغط ملفات من عام 1994 لتقرر ما يُعتبر «رمزاً» واحداً من النص.
هل عداد الرموز (Tokens) مجاني للاستخدام؟
نعم. عداد الرموز (Tokens) مجاني بالكامل، بدون تسجيل وبدون حدود استخدام.
هل أحتاج إلى تثبيت أي برنامج؟
لا. يعمل عداد الرموز (Tokens) مباشرة في متصفح الويب الخاص بك — لا حاجة لتنزيل أو تثبيت أي شيء.
هل تُحفظ بياناتي بشكل خاص؟
كل شيء يحدث على جهازك. نحن لا نستقبل أو نخزّن أبدًا الملف أو النص الذي تُدخله في عداد الرموز (Tokens).