robots.txt dla strony internetowej
Jak uniknąć indeksowania niepotrzebnych stron i zmniejszyć obciążenie serwera przez roboty indeksujące wyszukiwarek
Reguły dla pliku robots.txt należy wprowadzić w bekendzie aplikacji "Witryna". Przejdź do sekcji "Ustawienia" i znajdź pole "robots.txt".
Jak wyłączyć indeksowanie niepotrzebnych stron
Przykłady dyrektyw są podane dla witryny sklepu internetowego w głównej domenie, np. mydomain.com.
Jeśli adres URL witryny sklepu zawiera nazwę podkatalogu (np. mydomain.com/shop/), zastąp ukośnik ("/") nazwą podkatalogu.
Na przykład w przypadku witryny z adresem mydomain.ru/shop/ reguła
Disallow: /tag/
przyjmie wygląd
Disallow: /shop/tag/
Przykłady
| Disallow: /search/?query= | Strona z wynikami wyszukiwania produktów. |
| Disallow: /compare/ | Strona z wynikami porównania produktów. |
| Disallow: /tag/ | Strona z wynikami wyszukiwania dla tagów. |
| Disallow: *&sort= Disallow: */?sort= |
Strona z wynikami sortowania produktów w kategorii. |
| Disallow: /cart/ | Strona koszyka kupującego. |
| Disallow: /order/ | Strona kasy w Koszyku. |
| Disallow: /checkout/ | Strony realizacji zamówień krok po kroku. |
| Disallow: /my/ | Konto osobiste kupującego. |
| Disallow: /signup/ | Strona rejestracji kupującego. |
| Disallow: /login/ | Strona logowania do konta osobistego. |
| Disallow: /forgotpassword/ | Strona przypomnienia hasła. |
| Disallow: /wsp-panel/ |
Strona logowania do bekendu >Web Systems Pro<. |
Jak zmniejszyć obciążenie serwera
Obciążenie robotów indeksujących można zmniejszyć za pomocą dyrektywy Crawl-delay. Dodaje przerwę między wizytami robotów indeksujących. Wielkość pauzy należy ustawić w sekundach.
Przykład
Crawl-delay: 10
Niektóre wyszukiwarki mogą nie brać pod uwagę tego parametru. Na przykład musisz dostosować częstotliwość indeksowania stron witryny za pomocą robotów wyszukiwania "Google" na koncie osobistym w serwisie Google Search Console.
0 komentarzy