Tester robots.txt-acest instrument vă arată dacă este blocat fișierul robots.txt si crawlerele web Google din anumite adrese URL de pe site-ul dvs.. De exemplu, puteți utiliza acest instrument pentru a testa dacă crawler Googlebot-Image poate accesa cu crawlere adresa URL a unei imagini pe care doriți să blocați de la Google Căutare de imagini.Puteți trimite un URL pentru instrumentul Tester robots.txt. Instrumentul funcționează ca Googlebot ar pentru a verifica. robots.txt și verifică dacă adresa URL a fost blocata.

Testați fișierul robots.txt

1. Deschideți instrumentul tester pentru site-ul dvs., 
2. Introduceti URL-ul unei pagini de pe site-ul dvs. în caseta de text din partea de jos a paginii.
3. Selectați user-agent care doriți să simuleze in lista verticală din partea dreaptă a casetei text.
4. Faceți clic pe butonul TEST pentru a testa accesul.
5. Verificați pentru a vedea dacă butonul de test citește pentru a afla dacă URL-ul introdus este blocat de crawlerele web Google.
6. Editați fișierul pe pagină și retestare după cum este necesar. Rețineți că modificările făcute în pagina nu sunt salvate pe site-ul tau! 
7. Copiați modificările în fișierul robots.txt pe site. Acest instrument nu face modificări la fișierul real pe site-ul dvs.sursa:https://support.google.com/webmasters/answer/6062598

Eu am schimbat asa: User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://topcosmetice.blogspot.com/sitemap.xml