מונה טוקנים ל-AI בחינם
הדביקו טקסט כדי להעריך כמה טוקנים הוא עשוי לצרוך לפני שליחתו למודל AI או ל-API.
הספירה מתבצעת כולה בדפדפן שלכם באמצעות טוקנייזר תואם GPT. משפחות מודלים אחרות עשויות לחלק לטוקנים באופן מעט שונה.
מונה הטוקנים חשוב כי תמחור ה-API של מודלי AI ומגבלות חלון ההקשר נמדדים בטוקנים, לא בתווים או במילים — ומודלים שונים מפרקים את אותו טקסט לטוקנים באופן שונה.
מהו טוקן, ובמה הוא בעצם שונה ממילה?
טוקן הוא פיסת טקסט — לעיתים קרובות מילה שלמה, חלק ממילה או סימן פיסוק — שמודל AI מעבד כיחידה אחת; רוב המודלים מתומחרים ומוגבלים לפי מספר טוקנים, לא לפי מספר מילים או תווים. בממוצע, טקסט באנגלית מכיל כ-0.75 מילים לטוקן, אם כי זה משתנה: מילים קצרות ונפוצות הן לרוב טוקן יחיד, בעוד מילים ארוכות או נדירות יותר יכולות להתפצל לשניים או יותר, וזו בדיוק הסיבה שמפרקי טוקנים מחלקים טקסט לחלקי-מילים במקום לספור מילים שלמות כפי ששם הכלי אולי מרמז.
איך המונה הזה עובד בפועל, והאם הוא מדויק לכל מודל AI?
הדביקו את הטקסט בתיבה והספירה מתעדכנת מיד באמצעות מפרק טוקנים תואם GPT, שרץ כולו בדפדפן. משפחות מודלים שונות — GPT, Claude, Gemini ואחרות — משתמשות כל אחת במפרק טוקנים משלהן, ולכן אותו טקסט יכול להניב ספירת טוקנים מעט שונה בהתאם למודל שאתם מכוונים אליו בפועל; הספירה תואמת ה-GPT של הכלי היא הערכה קרובה, אבל המספר המדויק ל-Claude או ל-Gemini עשוי להיות מעט שונה.
למה מספר הטוקנים בכלל חשוב, ומהו חלון הקשר?
רוב ה-API של AI גובים לפי טוקן ומגבילים כמה טוקנים נכנסים לבקשה אחת — המגבלה הזו נקראת חלון הקשר, והיא כוללת גם את הקלט שלכם וגם את הפלט של המודל יחד. ידיעת מספר הטוקנים מראש עוזרת להימנע מעלויות לא צפויות ב-API בתשלום או מבקשה שנחתכת או נדחית בגלל חריגה מהמגבלה; ברגע שיש לכם ספירת טוקנים, הזינו אותה למחשבון עלויות ה-AI לצד המודל שבחרתם כדי להעריך את המחיר בפועל.
האם הכלי שולח את הטקסט שלכם לאנשהו, ואיך מפחיתים ספירת טוקנים גבוהה?
לא — פירוק הטוקנים מתבצע כולו בדפדפן באמצעות ספריית טוקנים מקומית, כך שהטקסט שלכם לעולם לא מועלה או נשלח לשרת. כדי להפחית את מספר הטוקנים, הסירו מילים מיותרות, הקשר כפול והוראות חוזרות; מקצר הפרומפטים יכול לעזור לדחוס פרומפט ארוך אוטומטית תוך שמירה על משמעותו.
למה מודלי AI מפרקים טקסט לפיסות המוזרות האלה במקום פשוט לספור מילים?
כי הטכניקה קודמת בהרבה למודלי שפה של AI — היא התחילה כטריק לדחיסת נתונים. המתכנת פיליפ גייג' פרסם את אלגוריתם ה-Byte Pair Encoding המקורי בגיליון 1994 של The C Users Journal, ותיאר דרך פשוטה לכווץ קובץ על ידי החלפה חוזרת של זוג הבייטים הסמוכים הנפוץ ביותר בבייט יחיד שאינו בשימוש. הוא נשאר הערת שוליים בעולם הדחיסה במשך שני עשורים, עד 2015, כשהחוקרים ריקו זנריך, בארי הדאו ואלכסנדרה בירץ' השתמשו באותו רעיון מרכזי לבעיה שונה לגמרי: פירוק מילים נדירות ולא מוכרות לחלקי-מילים קטנים ונפוצים יותר, כדי שמודלי תרגום מכונה יוכלו להתמודד עם אוצר מילים שמעולם לא ראו בשלמותו. הטכניקה הזו היא בעצם מה שכל מפרק טוקנים מודרני, כולל זה שמריץ את המונה הזה, עדיין עושה היום — שואל בשקט אלגוריתם דחיסת קבצים מ-1994 כדי להחליט מה נחשב ״טוקן״ אחד של טקסט.
האם השימוש ב-מונה טוקנים הוא בחינם?
כן. מונה טוקנים חינמי לחלוטין, ללא הרשמה וללא מגבלות שימוש.
האם צריך להתקין תוכנה כלשהי?
לא. מונה טוקנים פועל ישירות בדפדפן שלכם — אין מה להוריד או להתקין.
האם המידע שלי נשאר פרטי?
הכול מתבצע על המכשיר שלכם. אנחנו לעולם לא מקבלים או שומרים את הקובץ או הטקסט שאתם מזינים ב-מונה טוקנים.