Test your robots.txt with the robots.txt Tester
Tester robots.txt-acest instrument vă arată dacă este blocat fișierul robots.txt si crawlerele web Google din anumite adrese URL de pe site-ul dvs.. De exemplu, puteți utiliza acest instrument pentru a testa dacă crawler Googlebot-Image poate accesa cu crawlere adresa URL a unei imagini pe care doriți să blocați de la Google Căutare de imagini.Puteți trimite un URL pentru instrumentul Tester robots.txt. Instrumentul funcționează ca Googlebot ar pentru a verifica.
robots.txt și verifică dacă adresa URL a fost blocata. 
Testați fișierul robots.txt
- Deschideți instrumentul tester pentru site-ul dvs.,
- Introduceti URL-ul unei pagini de pe site-ul dvs. în caseta de text din partea de jos a paginii.
- Selectați user-agent care doriți să simuleze in lista verticală din partea dreaptă a casetei text.
- Faceți clic pe butonul TEST pentru a testa accesul.
- Verificați pentru a vedea dacă butonul de test citește pentru a afla dacă URL-ul introdus este blocat de crawlerele web Google.
- Editați fișierul pe pagină și retestare după cum este necesar. Rețineți că modificările făcute în pagina nu sunt salvate pe site-ul tau!
- Copiați modificările în fișierul robots.txt pe site. Acest instrument nu face modificări la fișierul real pe site-ul dvs.sursa:https://support.google.com/webmasters/answer/6062598
URL blocate de robots.txt in webmaster pentru site-ul Blogger
Blogger în webmaster arată ca multe dintre paginile mele sunt blocate.Blogger oferă acum posibilitatea de a edita fișierul robots.txt Conectați-vă la tabloul de bord Blogger, și du-te la Opțiuni-Căutare. Există o legătură de editare de lângă robots.txt în acest ecran.
Se poate schimba / adauga robots.txt personalizat pe Blogger. Du-te la Tabloul de bord- Setări-Preferințe de căutare-robots.txt personalizat- faceți clic pe Editare pentru a activa și edita.
|
