Apr 21, 2008
Rallenta MSNBot con Crawl-delay
Microsoft ha introdotto alcune nuove funzionalità per il proprio crawler MSNBot che permettono di ridurre il carico del server durante l’operazione di lettura delle pagine. Con l’opzione Crawl-delay nel file robots.txt possiamo definire il tempo da attendere fra l’indicizzazione di una pagina e l’altra.
Nel Live Search Webmaster Center Blog
raccomandano un paio di settaggi:
- Crawl-delay: 5
Aspetta 5 secondi tra ogni richiesta (lento) - Crawl-delay: 10
Aspetta 10 secondi tra ogni richiesta (molto lento)
No Comments, Comment or Ping
Reply to “Rallenta MSNBot con Crawl-delay”