מחולל Robots.txt בחינם
בחרו כללי גישה לסורקים וצרו קובץ robots.txt מוכן לשימוש לאתר שלכם.
User-agent: * Allow: / Disallow: /admin Disallow: /api Sitemap: https://tool-verse.com/sitemap.xml
מחולל ה-Robots.txt בונה את הקובץ שאומר לסורקי מנועי חיפוש לאילו חלקים באתר הם יכולים ולא יכולים לגשת, בלי צורך לזכור את התחביר המדויק.
מהו קובץ robots.txt, ומה הוא בעצם עושה?
זהו קובץ טקסט פשוט שממוקם בשורש האתר — כמו example.com/robots.txt — שנותן לסורקים תואמים הוראות לגבי כתובות URL או נתיבים שמתבקשים לסרוק או להימנע מהם. הוא מספק הנחיות סריקה, לא בקרת גישה: הוא יכול לבקש בנימוס מסורק מנומס להתרחק מנתיב, אבל אין להסתמך עליו כדי להרחיק מידע פרטי באמת ממנועי חיפוש, כי הוא לא מונע גישה, רק מבקש מסורקים לא לבקר.
האם robots.txt באמת יכול להרחיק דף מתוצאות החיפוש של גוגל?
לא באופן אמין, וזו אי-ההבנה הנפוצה ביותר לגביו. Robots.txt שולט בסריקה — אם בוט מבקש כתובת URL — לא באינדוקס, שהוא החלטה נפרדת שמנועי חיפוש מקבלים. אם דף כבר באינדקס, חסימתו ב-robots.txt לבדה לא תסיר אותו מתוצאות החיפוש; תצטרכו במקום זאת הנחיית noindex בדף שגוגל עדיין יכולה לגשת אליו. זה ההבדל האמיתי בין השניים: robots.txt אומר לסורקים לאן לא ללכת, בעוד תג noindex אומר למנועי חיפוש לא לאנדקס דף שהם עדיין רשאים לבקר בו.
מה בעצם המשמעות של User-agent, Disallow ו-Allow, והאם הם יכולים לחסום תיקייה שלמה או אתר שלם?
User-agent מזהה על איזה סורק חל הכלל — כוכבית (*) מחילה אותו על כל סורק, או שאפשר לנקוב בשם סורק ספציפי לכללים שונים לכל בוט. Disallow אומר לסורק לא לבקש כתובות URL או נתיבים תואמים, ו-Allow מתיר במפורש סריקה של נתיב, מה ששימושי כשהוא ספציפי יותר מ-Disallow רחב יותר שמכסה את אותו אזור. גם תיקייה בודדת וגם אתר שלם ניתנים לחסימה עם כלל Disallow מתאים — וזו בדיוק הסיבה שכדאי לבדוק כלל רחב מדי בקפידה לפני הפרסום, כי טעות אחת יכולה לחסום בטעות סורקים מאתר שלם.
האם לכלול את מפת האתר ב-robots.txt, ואיפה הקובץ בעצם צריך להיות?
כן — הנחיית Sitemap שמצביעה על כתובת ה-URL המלאה של מפת האתר מקלה על סורקים לגלות אותה אוטומטית. הקובץ עצמו חייב להיות בשורש הדומיין במיוחד, כמו https://example.com/robots.txt, כי מנועי חיפוש בודקים רק את המיקום הסטנדרטי הזה ולא ימצאו קובץ robots.txt שממוקם בכל מקום אחר.
האם robots.txt באמת משפר SEO, ומתי כדאי לחסום איתו דפים?
לא ישירות — הערך האמיתי שלו הוא ניהול תקציב הסריקה, מניעת בזבוז זמן של סורקים על דפים שלא צריכים להיסרק, ולא שיפור דירוגים. חסמו דפים רק כשיש סיבת סריקה ברורה; חסימת דפים חשובים עלולה למנוע בטעות ממנועי חיפוש לגשת לתוכן שהם באמת צריכים כדי להבין ולדרג את האתר שלכם.
למה משהו כל כך חשוב פועל על סט כללים כל כך לא פורמלי?
כי במשך כמעט 30 שנה, זה באמת לא היה תקן רשמי בכלל — רק מוסכמה שכולם הסכימו לפעול לפיה. מהנדס התוכנה ההולנדי מרטין קוסטר הציע את פרוטוקול ה-Robots Exclusion ב-1994 לאחר שסורק אינטרנט מוקדם ולא מנומס הפציץ שוב ושוב את השרת שלו, ועד יוני של אותה שנה הוא כבר הפך לתקן דה-פקטו: הסורקים המרכזיים של התקופה, כולל WebCrawler, Lycos ו-AltaVista, פשוט הסכימו לכבד אותו מרצון, בלי שום גוף מנהל שאוכף משהו. ההסדר הלא פורמלי הזה נמשך חלק מפתיע באמת מההיסטוריה של האינטרנט — רק ביולי 2019 גוגל הציעה לעגן אותו רשמית דרך ה-Internet Engineering Task Force, והפרוטוקול הפך לתקן אינטרנט רשמי, RFC 9309, רק בספטמבר 2022. במילים אחרות, אחד הכללים המכובדים ביותר בכל האינטרנט פעל במשך 28 שנה אך ורק על שיתוף פעולה בתום לב לפני שמישהו טרח להפוך אותו לרשמי.
האם השימוש ב-מחולל Robots.txt הוא בחינם?
כן. מחולל Robots.txt חינמי לחלוטין, ללא הרשמה וללא מגבלות שימוש.
האם צריך להתקין תוכנה כלשהי?
לא. מחולל Robots.txt פועל ישירות בדפדפן שלכם — אין מה להוריד או להתקין.
האם המידע שלי נשאר פרטי?
הכול מתבצע על המכשיר שלכם. אנחנו לעולם לא מקבלים או שומרים את הקובץ או הטקסט שאתם מזינים ב-מחולל Robots.txt.