Forum :: Seomatik.pl
Potrzebujesz pomocy? Sprawdź może ktoś miał podobny problem, skorzystaj z wyszukiwarki.
Forum Seomatik.pl :: O systemie
robots.txt
| Użytkownik / data | Treść wątku |
|---|---|
|
Dodano: 06-04-2010 23:03 Autor: usunięty |
Witam, Jeżeli się nie mylę to poniższy kod blokuje wszystkie roboty przed indeksowaniem : User-agent: twiceler Disallow: / User-agent: ia_archiver Disallow: / User-agent: baiduspider Disallow: / User-agent: dotbot Disallow: / User-agent: Exabot Disallow: / User-agent: kalooga Disallow: / User-agent: MJ12bot Disallow: / User-agent: * Disallow: .. więc pytam się jaki jest sens umieszczania linków na stronach z takim plikiem robots.txt ? |
|
Dodano: 07-04-2010 01:27 Autor: SMA Zarejestrowany: 04-09-2009 Postów: 906 |
a googlebota blokuje? |
|
Dodano: 07-04-2010 11:43 Autor: usunięty |
User-agent: * Disallow: .. to go nie blokuje ? |
|
Dodano: 07-04-2010 12:27 Autor: Tomasz Zarejestrowany: 11-08-2009 Postów: 11 |
Jakby było: Disallow: / to by blokowało  a tak, roboty mogą indeksować cały serwis, jeśli w głównym katalogu na serwerze nie będzie robots.txt lub będzie on miał zawartość: User-agent: * Disallow: |