Generatore di Robots.txt Gratuito
Scegli le regole di accesso per i crawler e genera un file robots.txt pronto all'uso per il tuo sito web.
User-agent: * Allow: / Disallow: /admin Disallow: /api Sitemap: https://tool-verse.com/sitemap.xml
Il Generatore di Robots.txt crea il file che indica ai crawler dei motori di ricerca a quali parti di un sito possono e non possono accedere, senza bisogno di ricordare la sintassi esatta.
Cos'è un file robots.txt, e cosa fa davvero?
È un file di testo semplice posizionato alla radice di un sito, come example.com/robots.txt, che fornisce ai crawler compatibili istruzioni su quali URL o percorsi sono invitati a scansionare o evitare. Fornisce indicazioni per la scansione, non un controllo degli accessi: può chiedere educatamente a un crawler ben educato di stare lontano da un percorso, ma non dovrebbe essere usato per tenere informazioni davvero private fuori dai motori di ricerca, poiché non impedisce l'accesso, chiede solo ai crawler di non visitare.
Robots.txt può davvero tenere una pagina fuori dai risultati di ricerca di Google?
Non in modo affidabile, e questo è il fraintendimento più comune al riguardo. Robots.txt controlla la scansione, ovvero se un bot richiede un URL, non l'indicizzazione, che è una decisione separata presa dai motori di ricerca. Se una pagina è già indicizzata, bloccarla solo in robots.txt non la rimuoverà dai risultati di ricerca; avresti invece bisogno di una direttiva noindex su una pagina che Google può ancora visitare. Questa è la vera differenza tra i due: robots.txt dice ai crawler dove non andare, mentre un tag noindex dice ai motori di ricerca di non indicizzare una pagina che possono ancora visitare.
Cosa significano davvero User-agent, Disallow e Allow, e possono bloccare un'intera cartella o sito?
User-agent identifica a quale crawler si applica una regola: un asterisco (*) la applica a ogni crawler, oppure puoi nominarne uno specifico per regole diverse per bot. Disallow dice a un crawler di non richiedere gli URL o i percorsi corrispondenti, e Allow permette esplicitamente la scansione di un percorso, utile quando è più specifico di un Disallow più ampio che copre la stessa area. Sia una singola cartella sia un intero sito web possono essere bloccati con la giusta regola Disallow, motivo esatto per cui una regola eccessivamente ampia vale la pena testarla con attenzione prima di pubblicarla, poiché un errore può bloccare accidentalmente i crawler da un intero sito.
Dovresti includere la tua sitemap in robots.txt, e dove deve trovarsi davvero il file?
Sì: una direttiva Sitemap che punta all'URL completo della sitemap rende più facile per i crawler scoprire automaticamente la tua sitemap. Il file stesso deve trovarsi specificamente alla radice del dominio, come https://example.com/robots.txt, poiché i motori di ricerca controllano solo quell'unica posizione standard e non troveranno un file robots.txt posizionato altrove.
Robots.txt migliora davvero la SEO, e quando dovresti bloccare pagine con esso?
Non direttamente: il suo vero valore sta nel gestire il crawl budget, evitando che i crawler perdano tempo su pagine che non hanno bisogno di essere scansionate, piuttosto che aumentare il posizionamento. Blocca le pagine solo quando c'è una chiara ragione di scansione; bloccare pagine importanti può impedire accidentalmente ai motori di ricerca di accedere a contenuti di cui hanno davvero bisogno per capire e posizionare il tuo sito.
Perché qualcosa di così importante si basa su un insieme di regole così informale?
Perché per quasi 30 anni non fu davvero uno standard ufficiale, ma solo una convenzione che tutti accettarono di seguire. L'ingegnere software olandese Martijn Koster propose il Robots Exclusion Protocol nel 1994 dopo che un crawler web mal educato dei primi tempi aveva ripetutamente martellato il suo server, e già entro giugno di quell'anno era diventato lo standard de facto: i principali crawler dell'epoca, tra cui WebCrawler, Lycos e AltaVista, accettarono semplicemente di rispettarlo volontariamente, senza alcun organismo di governo che facesse rispettare alcunché. Quell'accordo informale durò per una porzione davvero sorprendente della storia del web: solo nel luglio 2019 Google propose di formalizzarlo attraverso l'Internet Engineering Task Force, e il protocollo divenne uno standard internet ufficiale, RFC 9309, solo nel settembre 2022. In altre parole, una delle regole più ampiamente rispettate su tutto internet ha funzionato per 28 anni puramente sulla cooperazione in buona fede prima che qualcuno si preoccupasse di renderla ufficiale.
Generatore di Robots.txt è gratuito?
Sì. Generatore di Robots.txt è completamente gratuito, senza registrazione e senza limiti di utilizzo.
Devo installare qualche software?
No. Generatore di Robots.txt funziona direttamente nel tuo browser web — non c'è nulla da scaricare o installare.
I miei dati restano privati?
Tutto avviene sul tuo dispositivo. Non riceviamo né conserviamo mai il file o testo che inserisci in Generatore di Robots.txt.