Prawidłowe ustawienie indeksowania dla sklepów internetowych na Web Systems Pro
W tym artykule pokażemy Ci, krok po kroku, jak skonfigurować swój sklep internetowy, aby wyszukiwarki, w szczególności Google, prawidłowo indeksowały Twój sklep internetowy. Najpierw trochę teorii. Postaramy się, aby było to bardzo krótkie. Trzy podstawowe rzeczy - plik "robots.txt", meta tag "Meta Robots", tag "Link Canonical", jak je poprawnie stosować i jak je zaimplementować w Web Systems Pro i aplikacją "Sklep".
Spis treści
1. Plik robots.txt
(Link do oficjalnej dokumentacji z wyszukiwarki - dokumentacja Google robots.txt)
Jest to pierwszy dokument, z którym powinny zapoznać się wyszukiwarki (i generalnie wszystkie boty) odwiedzające dowolną stronę w Internecie, w tym sklepy internetowe. Opisuje zasady, jakimi powinny kierować się boty podczas odwiedzania strony internetowej.
Zasadniczo istnieje tylko 6 dyrektyw do zapamiętania:
- User-agent - określa dla jakich botów powinny działać dyrektywy przedstawione w pliku poniżej.
- Disallow - nie zezwala na indeksowanie stron
- Allow - pozwala na indeksowanie stron
- Sitemap - dostarcza link do Sitemap w formacie XML (w >Web Systems Pro< zawsze znajduje się pod adresem site.com/sitemap.xml)
- Clean-param - używany do określenia UTM-znaków, że nie są one uważane za indeksowanie
- Crawl-delay - służy do określenia opóźnienia między żądaniami od bota do stron witryny. Wszystko, co musisz pamiętać o tej dyrektywie, to fakt, że od 2018 roku Crawl-delay nie jest już wspierany przez Google lub Yandex.
Dowody - oświadczenie Google, że Crawl-delay nie jest używany
W niektórych przypadkach boty wyszukiwarek mogą spowodować krytyczne obciążenie Twojego serwera i spowodować awarię Twojej strony, szczególnie w okresie aktywnego indeksowania z dużą liczbą subdomen regionalnych. W tym przypadku edycja plików robots.txt nie pomoże, trzeba podjąć inne działania. Ale teraz nie o tym.
Co jeszcze trzeba wiedzieć o pliku robots.txt?
Znowu w skrócie, a niektóre punkty są trochę subiektywne:
- Zapomnij o dyrektywie "Host", kiedyś służyła do definiowania głównego lustra strony, ale już dawno przestała być wspierana.
- Nie polegaj wyłącznie na narzędziach walidacji robots.txt w wyszukiwarkach. Zasadniczo sprawdzają tylko składnię pliku i nie ostrzegą cię, jeśli zablokowałeś np. strony paginacji, chociaż naprawdę nie powinieneś.
- Jeśli jesteś niepewnym użytkownikiem, użyj gotowego, generycznego szablonu robots.txt, aby zminimalizować szansę popełnienia błędu.
- Zawsze korzystaj ze standardowej funkcjonalności zarządzania plikami robots.txt. Nie należy tworzyć ani umieszczać pliku w korzeniu strony.
Po co w ogóle używać "Meta Robots" i "Link Canonical", jeśli robots.txt wydaje się obsługiwać wszystko?
Wielu początkujących SEO, w pierwszych latach pracy ze stronami, zadaje to samo pytanie. Teraz odpowiedzi są dla nas osobiście oczywiste:
- Plik robots.txt sprawia, że blokowanie indeksowania niektórych stron witryny jest problematyczne ze względu na brak części wspólnych w stronach URL
- Poprzez plik robots.txt można nie zabronić indeksowania strony, ale pozwolić robotowi wyszukiwarki na klikanie w linki na stronie
- Jeśli witryna od dłuższego czasu nie jest poprawnie indeksowana, zakazanie indeksowania stron za pomocą pliku robots.txt może obniżyć ranking witryny.
Przykłady
- Ukryte strony produktów lub kategorii w witrynie mają swój własny, unikalny adres URL, który nie ma nic wspólnego z innymi stronami o tym samym statusie. O ile możesz majstrować przy stronach kategorii, wymieniając je po kolei 20-30-100 razy, o tyle taka małpia praca nie sprawdzi się w przypadku stron produktowych. Znacznie łatwiej jest zamknąć te strony poprzez meta tag "Meta Robots", ponieważ wyjście tagu w kodzie każdej pojedynczej strony można zaprogramować, dokonując prostego sprawdzenia statusu strony.
- Jeśli zabronisz stronom paginacji indeksowania przez robots.txt, robot wyszukiwarki nie będzie mógł znaleźć produktów w Twojej witrynie, które są powiązane ze stroną paginacji w celu indeksowania stron produktów. Tu z pomocą przychodzą narzędzia "pomocnicze". Za pomocą "Meta Robots" możesz uniemożliwić indeksowanie stron, ale zezwolić na linki; za pomocą "link rel="canonical" możesz "pomóc" wyszukiwarkom określić stronę kanoniczną.
- Gdy nad stroną nie pracuje żaden specjalista SEO, wszystko może się zaindeksować. Weźmy na przykład jakąś stronę z filtrami. Na przykład: site.com/category/kubki/?sort=create_datetime. Załóżmy, że strona jest indeksowana od dłuższego czasu, zdobywa ruch, być może - naturalne linki zewnętrzne. Ale teraz strona zaczęła pracować na specjalisty SEO, znalazł to i postanowił zamknąć stronę z indeksowania, aby pozostawić w wyszukiwaniu tylko zwykłe kategorie stron: site.com/category/kubki/. Działanie jest prawidłowe. Ale jest pewien niuans: jeśli zrobisz to od razu poprzez plik robots.txt, to waga, którą strona miała czas nabrać, po prostu zniknie. Mógłbyś zrobić przekierowanie 301, aby temu zapobiec, ale wtedy strona by się nie powiodła. Wchodzi nowy użytkownik, chce kupić kubek, postanawia zmienić sposób sortowania na stronie, a ona nagle przekieruje z powrotem. Dlatego lepiej w tej sytuacji (gdy wiele stron śmieciowych jest indeksowanych) - nie zamykać ich poprzez robots.txt, a jednocześnie umieścić meta tag "Meta Robots" i "Link Canonical" (canonical - do strony kanonicznej). W takim przypadku wyszukiwarki będą mogły nadal wchodzić na zindeksowane strony, widzieć ustalone zasady i postępować zgodnie z nimi (w tym mogą przenosić wagę). Poczekaj, aż wszystkie strony witryny zostaną ponownie przejęte, a dopiero potem zablokuj odwiedzanie stron za pośrednictwem robots.txt.
2. Tag "Link Canonical"
(Link do dokumentacji z wyszukiwarki - Google o "Link Canonical")
W skrócie, głównym celem znacznika "Link Canoncal" jest wskazanie wyszukiwarce strony, która ma najwyższy priorytet do indeksowania zamiast strony, na której znacznik jest umieszczony. Teoretycznie tag powinien przekazywać wagę strony i nie mamy powodów, aby sądzić, że tak nie jest. O wiele bardziej niezawodne jest, jeśli chcesz przenieść wagę z jednej strony na drugą, aby zrobić przekierowanie 301. Nie zawsze jednak jest to technicznie wykonalne, przykład takiej sytuacji opisałem w ostatnim akapicie. Teraz rozważcie inną sytuację.
Co się stanie z Twoim sklepem internetowym, jeśli użyjesz "Link Canonical", ale nie zamkniesz strony przed indeksacją?
Nasza opinia na ten temat: jeśli zarówno kanoniczne, jak i niekanoniczne strony Twojego sklepu są indeksowane jednocześnie (i odpowiednio dzielą między siebie ruch), to Twoja witryna jest w rankingu gorsza od witryny konkurencji, której "Link Canonical" jest ustawiony, a niekanoniczne strony nie są indeksowane. A oto dlaczego:
- Czynniki behawioralne są z reguły "rozmyte" na wszystkich stronach, które odwiedza użytkownik.
- Strony niekanoniczne są bardziej skłonne do wytwarzania "złych" czynników behawioralnych niż strony kanoniczne.
Jak to działa? (przygotuj się: jest tu sporo liter i dość subiektywna opinia, którą niełatwo potwierdzić w praktyce bez poświęcenia na to mnóstwa czasu i pieniędzy)
Oto kilka przykładów. Wstępnie umówmy się, że:
- Nasza strona to site.com
- Mamy kategorię "Kubki", zoptymalizowaną dla zapytania "kupić kubek".
- site.com/category/kubki/ - nasza strona kanoniczna
- site.com/category/kubki/?price_min=100 - nasza niekanoniczna strona (strona z filtrem)
- site.com/category/kubki/?page=2 - nasza niekanoniczna strona (strona paginacji)
- site.com/category/kubki/?sort=total_sales - nasza niekanoniczna strona (strona sortująca)
- na wszystkich niekanonicznych stronach ustawiliśmy tag "Link Canonical", ale niekanoniczne strony nie są zamykane przed indeksacją
- Strona konkurenta - konkurent.com
- Konkurent posiada kategorię "Kubki" zoptymalizowaną dla zapytania "kupić kubek".
- konkurent.com/catalog/kubki/ - kanoniczna strona konkurenta
- konkurent.com/catalog/kubki/?price_min=100 - niekanoniczna strona konkurenta (strona filtrująca)
- konkurent.com/catalog/kubki/?page=2 - niekanoniczna strona konkurenta (strona paginacji)
- konkurent.com/catalog/kubki/?sort=create_datetime - niekanoniczna strona konkurenta (strona sortowania)
- na wszystkich stronach niekanonicznych konkurent ma skonfigurowany tag "Link Canonical", a także strony niekanoniczne są wyłączone z indeksowania
Mamy więc 4 strony dla zapytania "kupić kubek" i wszystkie mogą pojawiać się w wyszukiwaniu, naprzemiennie. Konkurent ma tylko 1 stronę uplasowaną w wyszukiwaniu na to samo zapytanie. Załóżmy, że nasza witryna i witryna konkurenta są równie dobrze zaprojektowane, również ten sam asortyment i ceny (w szczególności wszystko to dotyczy rozważanych stron katalogu "Kubki"), według wszystkich wskaźników SEO, strony witryny były magicznie równe sobie. Wyszukiwarka musi określić, która strona jest jeszcze warta tego, by znaleźć się wyżej. Najprostszym sposobem na to jest zbieranie danych o użytkownikach. Oto jak to działa:
- Załóżmy, że 8 użytkowników wpisuje w wyszukiwaniu zapytanie "kupić kubek" w ciągu pewnego okresu czasu. Wyszukiwarka nie wie jeszcze, która strona w Twoim serwisie lepiej odpowiada na to zapytanie, a strony Twoje i Twojego konkurenta są okresowo zamieniane, a ruch jest stale rozdzielany pomiędzy Wasze witryny. Załóżmy, że jest ona rozłożona równomiernie, zarówno pod względem liczby użytkowników, jak i ich "jakości" (wszyscy użytkownicy zachowują się tak samo, jak przeciętny niedoświadczony klient sklepu internetowego).
- Załóżmy, że użytkownicy 1, 2, 3 i 4 trafiają na stronę Twojego konkurenta, natomiast użytkownicy 5, 6, 7, 8 trafiają na Twoją stronę. Jednak ważna uwaga: ponieważ zaindeksowałeś strony niekanoniczne, użytkownicy, którzy trafiają na Twoją witrynę, zaczynają ją odwiedzać z różnych stron: użytkownicy 5 - ze strony kanonicznej, użytkownicy 6, 7, 8 - ze stron niekanonicznych (znów załóżmy, że wszyscy użytkownicy są równomiernie rozłożeni. W praktyce strona kanoniczna będzie zbierała większość ruchu, ale rozważamy swego rodzaju sytuację warunkową). Konkurent zleca wszystkim swoim użytkownikom rozpoczęcie wizyty w serwisie od jednej strony: strony kanonicznej.
- Przyjmijmy najważniejsze założenie. Prawdopodobnie nie wiemy dokładnie jak wyszukiwarka zbiera dane. Skłaniam się do opcji, że istnieje jakiś współczynnik: od 0 do 2, a każda wizyta użytkownika na stronie jest oceniana przez wyszukiwarkę w zakresie od 0 do 2. Potem okazuje się, że:
- 0 to obrzydliwa strona internetowa, nie spodobała się użytkownikowi lub nie odpowiedziała na jego zapytanie.
- 1 to normalna strona internetowa, która odpowiedziała normalnie na żądanie użytkownika.
- 2 to świetna strona, która spodobała się użytkownikowi, odpowiedziała kompleksowo na jego zapytanie.
- Skoro ustaliliśmy, że strony na Twojej witrynie i witrynie konkurenta są równie dobre, a użytkownicy zachowują się tak samo, załóżmy, że gdy odwiedzają kanoniczną stronę witryny, wszyscy odkładają dokładnie 1,5 punktu do "behawioralnej skarbonki" każdej strony, jeśli nie napotkają na niej żadnych problemów. Ale czy oni? Na stronach kanonicznych - bez problemów. Teraz weź pod uwagę te niekanoniczne.
- Otwórzmy po kolei wszystkie strony naszej strony i popatrzmy na nie oczami użytkowników:
- Pierwszą rzeczą, jaką zobaczył użytkownik 5 po swoim zapytaniu "kupić kubek", była nasza strona site.com/katalog/kubki/. To jest strona kanoniczna - zwykła kategoria. Zgodziliśmy się, że jest dobrze zaprojektowany, z dużym asortymentem i fajnymi cenami. Dokładnie taka sama jak podobna strona konkurenta. W związku z tym:
- Użytkownik przeczołgał się po stronie, być może złożył zamówienie lub obejrzał produkt na przyszłość.
- Użytkownik wnosi do "behawioralnej skarbonki" 1,5 punktu z możliwych 2.
- Pierwszą rzeczą, którą zobaczył użytkownik 6 po zapytaniu "kupić kubek" była nasza strona site.com/catalog/kubki/?price_min=100. Czy będzie miała taką samą jakość i komfort pracy jak strona kanoniczna serwisu? Właściwie to nie będzie. Użytkownik może nie zdawać sobie sprawy, że jest na stronie z kategorią filtrów i że katalog pokazuje teraz tylko kubki kosztujące więcej niż 100 zł., i że to filtrowanie można usunąć, znajdując gdzieś z boku strony suwak filtra i przesuwając go. Nasz użytkownik 6 nie będzie tego robił. Użytkownik jest znacznie bardziej skłonny po prostu zajrzeć do katalogu drogich kubków, sfrustrowany podrapać się po głowie, zamknąć stronę i pójść szukać kubka na innej stronie. My jako właściciel sklepu ucierpimy podwójnie:
- Użytkownik nie znalazł "tego kubka za 99 zł." nie zamówił teraz ani później i nie przyniósł zysku sklepowi.
- Użytkownik wniósł do "skarbonki behawioralnej" 0,5 punktu zamiast 1,5 jak byłoby na stronie kanonicznej.
- Pierwsza rzecz, jaką zobaczył użytkownik 7 po zapytaniu "kupić kubek" - nasza strona site.com/catalog/kubki/?page=2. I znów zadajemy sobie pytanie. Czy będzie ona tak samo wysokiej jakości i wygodna jak strona kanoniczna? I znowu nie. Oto punkt techniczny: ponieważ nasza strona jest na aplikacji "Sklep" framework-u >Web Systems Pro<, mamy jedną nieprzyjemną cechę: w przeciwieństwie do głównych stron kategorii, strony paginacji nie będą miały funkcji lazy loading. Poza tym w większości sklepów wszystkie najlepsze i najciekawsze produkty są pokazywane na pierwszej stronie, a im dalej od niej - tym mniej atrakcyjne produkty są pokazywane w kartach. I jeśli Twój sklep pokazuje dokładnie 36 produktów na każdej stronie paginacji, a w sumie masz 50 kubków, to użytkownik przychodzący z wyszukiwarki zobaczy tylko 14 produktów na stronie paginacji. I znowu może nie rozumieć, jak dostać się na pierwszą stronę kategorii i zbadać wszystkie pokazane produkty. W końcu:
- Użytkownik przeczołgał się po stronę, oglądał 14 kubków, ale żaden mu się nie podobał i po chwili użytkownik wyszedł.
- Użytkownik wniósł do "skrzynki behawioralnej" 1 punkt, a nie 1,5 jak miałby na stronie kanonicznej.
- Pierwszą rzeczą, jaką zobaczył użytkownik 8 po zapytaniu "kupić kubek", była nasza strona site.com/catalog/kubki/?sort=create_datetime. Jakie niespodzianki czekają na niego w tym miejscu? W gruncie rzeczy - nic. Towary tylko posortowane w innej kolejności, według daty utworzenia. Być może ta strona jest nieco mniej atrakcyjna ze względu na niezbyt dobre sortowanie towarów w porównaniu z kanoniczną, ale przynajmniej tutaj wszystko jest w porządku z usability: aby zobaczyć wszystkie towary w katalogu nie trzeba wykonywać dodatkowych operacji, lazy loading działa bez zarzutu. Różnice w stosunku do zwykłej strony kanonicznej są minimalne.
- Użytkownik przeczołgał się po stronie, być może złożył zamówienie lub oglądał towary na przyszłość
- Użytkownik dodał 1,5 punktu do "skarbonki behawioralnej" tak jak na stronie kanonicznej.
- Pierwszą rzeczą, jaką zobaczył użytkownik 5 po swoim zapytaniu "kupić kubek", była nasza strona site.com/katalog/kubki/. To jest strona kanoniczna - zwykła kategoria. Zgodziliśmy się, że jest dobrze zaprojektowany, z dużym asortymentem i fajnymi cenami. Dokładnie taka sama jak podobna strona konkurenta. W związku z tym:
- A jak to wygląda u konkurencji? Zobaczmy:
- Wszyscy użytkownicy po zapytaniu "kupić kubek" - przeszli na stronę konkurent.com/katalog/kubki/.
- Wszyscy użytkownicy przeczołgał się po stronie, być może złożyli zamówienie lub obejrzeli towar na przyszłość.
- Każdy użytkownik wniósł do "behawioralnej skarbonki" 1,5 punktu na 2 możliwe.
- Wszyscy użytkownicy po zapytaniu "kupić kubek" - przeszli na stronę konkurent.com/katalog/kubki/.
- Teraz otwieramy nasze "behawioralne skarbonki" i liczymy punkty:
- Strony indywidualnie:
- site.com/category/kubki/ - 1,5 punktu (1,5 pkt/osobę)
- site.com/category/kubki/?price_min=100 - 0,5 punktu (0,5 pku/osobę)
- site.com/category/kubki/?page=2 - 1 punkt (1 pkt/osobę)
- site.com/category/kubki/?sort=create_datetime - 1,5 punktu (1,5 pkt/osobę)
- konkurent.com/catalog/kubki/ - 6 punków (1,5 pkt/osobę)
- Cała strona:
- site.com - 4,5 punktu (1,125 pkt/osobę)
- konkurent.com - 6 punktów (1,5 pkt/osobę)
- Strony indywidualnie:
- Jesli nasza strona i strona konkurencji są jeszcze magicznie równe pod względem wszystkich parametrów SEO, to teraz zauważalnie przegrywamy przez czynniki behawioralne. Z czasem strona konkurencji będzie stopniowo uzyskiwać wyższą pozycję w wyszukiwaniu, natomiast nasze strony nadal będą dzielić ze sobą "punkty behawioralne" i wypadać z nich z powodu
błędów(cech funkcjonalności) na stronach niekanonicznych.
3. Meta tag "Robots"
(Link do dokumentacji z wyszukiwarki - Google o meta tagu "Robots")
Głównym celem meta tagu "Robots" jest ograniczenie robotom dostępu do strony. Google obsługuje wiele różnych dyrektyw. Pozwalają one ustawić maksymalną długość snippetów, zakazują indeksowania obrazów, nie pokazują strony w wynikach wyszukiwania w określonych godzinach i terminach itp. Ale osobiście nie widzę sytuacji, w których użycie tych "specjalnych" dyrektyw w sklepach internetowych byłoby przydatne. Dlatego też skupię się tylko na dwóch dyrektywach:
- Noindex - zakazuje indeksowania stron
- Nofollow - zabrania linkowania do strony
Czy muszę w ogóle używać meta tagu "Robots"?
Tak, masz. A w >Web Systems Pro< aplikacji "Sklep" - obowiązkowo. W przeciwieństwie do tagu "Link Canonical", użycie meta tagu "robots" nie jest jedynie zaleceniem dla wyszukiwarek, ale ścisłą regułą, której wyszukiwarki muszą przestrzegać. Może być używany w połączeniu ze tagem "Link Canonical" i jest bardzo przydatnym narzędziem do promocji SEO. Można go wykorzystać do:
- Ukryć przed indeksowaniem te strony witryny, które są problematyczne do zamknięcia przez robots.txt (w aplikacji "Sklep" są to np. strony ukrytych kategorii i ukrytych produktów)
- Ukryć przed indeksowaniem te strony, ale pozostaw robotom pozwolenie na podążanie za linkami (np. w aplikacji "Sklep" jest to szczególnie ważne dla stron z paginacją)
- Zamknąć strony, które zostały już zindeksowane i spróbować przenieść wagę z niekanonicznych stron do stron kanonicznych (i ostatecznie zamknąć strony w robots.txt później, gdy wszystkie strony zostały ponownie zindeksowane)
- Zamknąć z indeksowania te strony witryny, które mogą zacząć być indeksowane w przyszłości z powodu błędów technicznych w modyfikacjach dokonanych przez dewelopera, który "nie rozumie SEO".
4. Nagłówek HTTP
(Link do dokumentacji z wyszukiwarki - Google o "X-Robots-Tag")
Zasadniczo nagłówki HTTP robią to samo, co znaczniki meta "Robots" i "Link Canonical". Różni się tylko sposób realizacji. Nie polecamy tej metody ograniczania indeksowania stron witryny ze względu na złożoność wdrożenia, weryfikacji i dalszego monitorowania. Pamiętaj tylko o tej metodzie ograniczania indeksowania stron i jeśli znajdziesz problemy z indeksowaniem - nie zapomnij sprawdzić nagłówków HTTP stron.
Jak ustawić prawidłowe indeksowanie w Web Systems Pro aplikacji "Sklep"?
Instrukcje dotyczące ustawienia pliku robots.txt
Instrukcja, jak założyć plik robots.txt przy użyciu standardowej funkcjonalności, dostępna jest na stronie bloga - https://web-systems.pro/baza-wiedzy/robotstxt-uniwersalny-plik-dla-sklepu-internetowego-na-web-systems-pro-instrukcja-wdrozenia/.
Instrukcje dotyczące ustawiania meta tagu "Robots"
Instrukcje dotyczące konfiguracji meta tagu "robots" za pomocą wtyczki "SEO Meta Robots" są dostępne w dokumentacji wtyczki na stronie -
https://web-systems.pro/wtyczki/seo/seo-meta-robots/dokumentowanie/
5. Jak ustawić prawidłowe indeksowanie dla frameworka >Web Systems Pro< dla aplikacji Sklep?
Instrukcja konfigurowania pliku robots.txt
Instrukcja jak ustawić robots.txt poprzez standardową funkcjonalność opisana jest na stronie bloga - Uniwersalny plik sklepu internetowego dla >Web Systems Pro<.
Instrukcje konfigurowania meta tagu "robots"
Instrukcja jak ustawić meta tag "robots" za pomocą wtyczki "SEO Meta Robots" jest opisana w dokumentacji wtyczki na stronie - Dokumentacja.
Instrukcje konfigurowania "Link Canonical"
Instrukcje dotyczące ustawiania "Link Canoncal" za pośrednictwem wtyczki "SEO Link Canonical" są opisane w dokumentacji wtyczki na stronie - Dokumentacja.
0 komentarzy