• Główna
  • Baza wiedzy
  • robots.txt: uniwersalny plik dla sklepu internetowego na Web Systems Pro. Instrukcja wdrożenia

robots.txt: uniwersalny plik dla sklepu internetowego na Web Systems Pro. Instrukcja wdrożenia

Sergiusz Sarafanoff2 września 2022

Poniżej znajduje się szablon robots.txt dla sklepów internetowych korzystających z Web Systems Pro aplikacji "Sklep". Ten szablon robots.txt będzie odpowiedni dla 99% sklepów internetowych. Zwróć uwagę na linie zaznaczone na czerwono w szablonie: należy je dopasować przed umieszczeniem.

Instrukcja wdrożenia robots.txt do głównej witryny sklepowej
  1. Skopiuj cały kod głównej witryny do siebie.
  2. Jeśli używasz stron tagów jako stron docelowych - usuń linie "Disallow: */tag/" (3 razy).
  3. Jeśli używasz stron z opiniami o produktach jako stron docelowych - usuń linie "Disallow: */reviews/" (3 razy).
  4. W linii "Sitemap: https://site.com/sitemap.xml" podaj domenę swojej strony zamiast "site.com" (3 razy).
  5. Jeśli potrzebujesz dodać dodatkowe dyrektywy - polecam wyprowadzić je w bloku "## individual rules ##" (3 razy).
  6. Upewnij się, że wprowadziłeś zmiany 3 razy dla każdego User-agent-u: dla Yandex, dla Google, i dla wszystkich innych robotów (User-agent: *)
  7. Wprowadź ostateczny kod w ustawieniach (aplikacja «Witryna» --> «*wybrać z listy główną witrynę sklepu*» --> «Ustawienia www» --> «pole "robots.txt"»
  8. Pamiętaj, aby po wprowadzeniu zmian sprawdzić plik robots.txt w głównej witrynie sklepu (dostępny pod adresem https://site.com/robots.txt).

Szablon robots.txt dla głównej witryny internetowej

  1. #upd 02.09.2022
  3. User-agent: Yandex
  4. ## googleonly pages ##
  5. Disallow: */krakow/
  6. Disallow: */gdansk/
  7. Disallow: */wroclaw/
  8. Disallow: */warszawa/
  9. Disallow: */katowice/
  10. Disallow: */poznan/
  11. Disallow: */gdynia/
  12. Disallow: */sopot/
  13. Disallow: */bydgoszcz/
  14. Disallow: */lublin/
  15. Disallow: */gorzow/
  16. Disallow: */opole/
  17. Disallow: */rzeszow/
  18. Disallow: */bialystok/
  19. Disallow: */kielce/
  20. Disallow: */olsztyn/
  21. Disallow: */szczecin/
  22. Disallow: */lodz/
  23. ## system hidden pages ##
  24. Disallow: *admin/
  25. Disallow: *helpdesk/
  26. Disallow: *yandexmarket/
  27. Disallow: *cml1c/
  28. Disallow: */vk/
  29. Disallow: */xml/
  30. Disallow: */yml/
  31. Disallow: */turbo/
  32. Disallow: */logs/
  33. Disallow: *multiform/
  34. Disallow: *wsp-panel/
  35. Disallow: */test/
  36. Disallow: */old/
  37. Disallow: *.html
  38. Disallow: *.php
  39. Disallow: *.pdf
  40. Disallow: */amp/
  41. ## info and service pages ##
  42. Disallow: *search
  43. Disallow: *mailer/
  44. Disallow: *login/
  45. Disallow: *signup/
  46. Disallow: *forgotpassword/
  47. Disallow: *order/
  48. Disallow: */cart/
  49. Disallow: *onestep/
  50. Disallow: *checkout/
  51. Disallow: */my/
  52. ## service links ##
  53. Disallow: *tel:
  54. Disallow: *skype:
  55. Disallow: *mailto:
  56. Disallow: *tg:
  57. Disallow: *viber:
  58. ## garbage and dublicates ##
  59. Disallow: *undefined
  60. Disallow: *compare/
  61. Disallow: *?
  62. Allow: *.*?
  63. Allow: *config/?
  64. Allow: *?page=
  65. Disallow: *?page=*&
  66. Disallow: *&page=
  67. Disallow: *?page=1
  68. Allow: *?page=10
  69. Allow: *?page=11
  70. Allow: *?page=12
  71. Allow: *?page=13
  72. Allow: *?page=14
  73. Allow: *?page=15
  74. Allow: *?page=16
  75. Allow: *?page=17
  76. Allow: *?page=18
  77. Allow: *?page=19
  78. Disallow: *?page=10*&
  79. Disallow: *?page=11*&
  80. Disallow: *?page=12*&
  81. Disallow: *?page=13*&
  82. Disallow: *?page=14*&
  83. Disallow: *?page=15*&
  84. Disallow: *?page=16*&
  85. Disallow: *?page=17*&
  86. Disallow: *?page=18*&
  87. Disallow: *?page=19*&
  88. Disallow: *product*/?page=
  89. ## blog garbage ##
  90. Disallow: */author/
  91. Disallow: */2015/
  92. Disallow: */2016/
  93. Disallow: */2017/
  94. Disallow: */2018/
  95. Disallow: */2019/
  96. Disallow: */2020/
  97. Disallow: */2021/
  98. Disallow: */2022/
  99. Disallow: */2023/
  100. Disallow: */2024/
  101. Disallow: */2025/
  102. Disallow: */2026/
  103. Disallow: */2027/
  104. Disallow: */2028/
  105. Disallow: */2029/
  106. Disallow: */2030/
  107. Disallow: */2031/
  108. Disallow: */2032/
  109. Disallow: */2033/
  110. Disallow: */2034/
  111. Disallow: */2035/
  112. Allow: /product/20*/
  113. Disallow: /product/20*/?
  114. ## individual rules ##
  115. Disallow: */tag/
  116. Disallow: */reviews/
  117. ## end ##
  118. Clean-param: from&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id
  119. Sitemap: https://site.com/sitemap.xml
  121. User-agent: Googlebot
  122. ## system hidden pages ##
  123. Disallow: *admin/
  124. Disallow: *helpdesk/
  125. Disallow: *yandexmarket/
  126. Disallow: *cml1c/
  127. Disallow: */vk/
  128. Disallow: */xml/
  129. Disallow: */yml/
  130. Disallow: */turbo/
  131. Disallow: */logs/
  132. Disallow: *multiform/
  133. Disallow: *wsp-panel/
  134. Disallow: */test/
  135. Disallow: */old/
  136. Disallow: *.html
  137. Disallow: *.php
  138. Disallow: *.pdf
  139. ## info and service pages ##
  140. Disallow: *search
  141. Disallow: *mailer/
  142. Disallow: *login/
  143. Disallow: *signup/
  144. Disallow: *forgotpassword/
  145. Disallow: *order/
  146. Disallow: */cart/
  147. Disallow: *onestep/
  148. Disallow: *checkout/
  149. Disallow: */my/
  150. ## service links ##
  151. Disallow: *tel:
  152. Disallow: *skype:
  153. Disallow: *mailto:
  154. Disallow: *tg:
  155. Disallow: *viber:
  156. ## garbage and dublicates ##
  157. Disallow: *undefined
  158. Disallow: *compare/
  159. Disallow: *?
  160. Allow: *.*?
  161. Allow: *config/?
  162. Allow: *?page=
  163. Disallow: *?page=*&
  164. Disallow: *&page=
  165. Disallow: *?page=1
  166. Allow: *?page=10
  167. Allow: *?page=11
  168. Allow: *?page=12
  169. Allow: *?page=13
  170. Allow: *?page=14
  171. Allow: *?page=15
  172. Allow: *?page=16
  173. Allow: *?page=17
  174. Allow: *?page=18
  175. Allow: *?page=19
  176. Disallow: *?page=10*&
  177. Disallow: *?page=11*&
  178. Disallow: *?page=12*&
  179. Disallow: *?page=13*&
  180. Disallow: *?page=14*&
  181. Disallow: *?page=15*&
  182. Disallow: *?page=16*&
  183. Disallow: *?page=17*&
  184. Disallow: *?page=18*&
  185. Disallow: *?page=19*&
  186. Disallow: *product*/?page=
  187. Allow: *utm_source=
  188. ## blog garbage ##
  189. Disallow: */author/
  190. Disallow: */2015/
  191. Disallow: */2016/
  192. Disallow: */2017/
  193. Disallow: */2018/
  194. Disallow: */2019/
  195. Disallow: */2020/
  196. Disallow: */2021/
  197. Disallow: */2022/
  198. Disallow: */2023/
  199. Disallow: */2024/
  200. Disallow: */2025/
  201. Disallow: */2026/
  202. Disallow: */2027/
  203. Disallow: */2028/
  204. Disallow: */2029/
  205. Disallow: */2030/
  206. Disallow: */2031/
  207. Disallow: */2032/
  208. Disallow: */2033/
  209. Disallow: */2034/
  210. Disallow: */2035/
  211. Allow: /product/20*/
  212. Disallow: /product/20*/?
  213. ## individual rules ##
  214. Disallow: */tag/
  215. Disallow: */reviews/
  216. ## end ##
  217. Sitemap: https://site.com/sitemap.xml
  219. User-agent: *
  220. ## googleonly pages ##
  221. Disallow: */krakow/
  222. Disallow: */gdansk/
  223. Disallow: */wroclaw/
  224. Disallow: */warszawa/
  225. Disallow: */katowice/
  226. Disallow: */poznan/
  227. Disallow: */gdynia/
  228. Disallow: */sopot/
  229. Disallow: */bydgoszcz/
  230. Disallow: */lublin/
  231. Disallow: */gorzow/
  232. Disallow: */opole/
  233. Disallow: */rzeszow/
  234. Disallow: */bialystok/
  235. Disallow: */kielce/
  236. Disallow: */olsztyn/
  237. Disallow: */szczecin/
  238. Disallow: */lodz/
  239. ## system hidden pages ##
  240. Disallow: *admin/
  241. Disallow: *helpdesk/
  242. Disallow: *yandexmarket/
  243. Disallow: *cml1c/
  244. Disallow: */vk/
  245. Disallow: */xml/
  246. Disallow: */yml/
  247. Disallow: */turbo/
  248. Disallow: */logs/
  249. Disallow: *multiform/
  250. Disallow: *wsp-panel/
  251. Disallow: */test/
  252. Disallow: */old/
  253. Disallow: *.html
  254. Disallow: *.php
  255. Disallow: *.pdf
  256. Disallow: */amp/
  257. ## info and service pages ##
  258. Disallow: *search
  259. Disallow: *mailer/
  260. Disallow: *login/
  261. Disallow: *signup/
  262. Disallow: *forgotpassword/
  263. Disallow: *order/
  264. Disallow: */cart/
  265. Disallow: *onestep/
  266. Disallow: *checkout/
  267. Disallow: */my/
  268. ## service links ##
  269. Disallow: *tel:
  270. Disallow: *skype:
  271. Disallow: *mailto:
  272. Disallow: *tg:
  273. Disallow: *viber:
  274. ## garbage and dublicates ##
  275. Disallow: *undefined
  276. Disallow: *compare/
  277. Disallow: *?
  278. Allow: *.*?
  279. Allow: *config/?
  280. Allow: *?page=
  281. Disallow: *?page=*&
  282. Disallow: *&page=
  283. Disallow: *?page=1
  284. Allow: *?page=10
  285. Allow: *?page=11
  286. Allow: *?page=12
  287. Allow: *?page=13
  288. Allow: *?page=14
  289. Allow: *?page=15
  290. Allow: *?page=16
  291. Allow: *?page=17
  292. Allow: *?page=18
  293. Allow: *?page=19
  294. Disallow: *?page=10*&
  295. Disallow: *?page=11*&
  296. Disallow: *?page=12*&
  297. Disallow: *?page=13*&
  298. Disallow: *?page=14*&
  299. Disallow: *?page=15*&
  300. Disallow: *?page=16*&
  301. Disallow: *?page=17*&
  302. Disallow: *?page=18*&
  303. Disallow: *?page=19*&
  304. Disallow: *product*/?page=
  305. ## blog garbage ##
  306. Disallow: */author/
  307. Disallow: */2015/
  308. Disallow: */2016/
  309. Disallow: */2017/
  310. Disallow: */2018/
  311. Disallow: */2019/
  312. Disallow: */2020/
  313. Disallow: */2021/
  314. Disallow: */2022/
  315. Disallow: */2023/
  316. Disallow: */2024/
  317. Disallow: */2025/
  318. Disallow: */2026/
  319. Disallow: */2027/
  320. Disallow: */2028/
  321. Disallow: */2029/
  322. Disallow: */2030/
  323. Disallow: */2031/
  324. Disallow: */2032/
  325. Disallow: */2033/
  326. Disallow: */2034/
  327. Disallow: */2035/
  328. Allow: /product/20*/
  329. Disallow: /product/20*/?
  330. ## individual rules ##
  331. Disallow: */tag/
  332. Disallow: */reviews/
  333. ## end ##
  334. Crawl-delay: 5
  335. Sitemap: https://site.com/sitemap.xml
  337. User-agent: Mediapartners-Google
  338. Allow: /
  339. Crawl-delay: 3
Instrukcja wdrożenia robots.txt na subdomenach stron regionalnych
  1. Skopiuj cały kod głównej witryny do siebie.
  2. Jeśli używasz stron tagów jako stron docelowych - usuń linie "Disallow: */tag/".
  3. Jeśli używasz stron z opiniami o produktach jako stron docelowych - usuń linie "Disallow: */reviews/".
  4. Jeśli potrzebujesz dodać dodatkowe dyrektywy - polecam wyprowadzić je w bloku "## individual rules ##".
  5. Wprowadź kod końcowy:
    • Jeśli używasz wtyczki "SEO-regiony", przejdź do strony "/wsp-panel/shop/?plugin=regions&action=robots", wklejamy tam kod, zaznaczamy wszystkie witryny regionalne (czyli wszystkie witryny oprócz głównej) i naciskamy przycisk "Zapisz".
    • Jeśli nie korzystasz z wtyczki "SEO-regiony", przejdź do ustawień strony i zaznacz po kolei wszystkie witryny regionalne, wstaw kod i zapisz zmiany, pamiętając o zastąpieniu linii "Sitemap: https://{storefront_url}/sitemap.xml" fragment "{storefront_url}" do domeny swojej regionalnej witryny (przykład: "Sitemap: https://krakow.test.com/sitemap.xml").
  6. Od linii 8 do 10 (zaznaczone na czerwono) trzeba zastąpić swoje regiony, a jeśli jest ich więcej, dodać takie linie zgodnie z szablonem: Disallow: */region/
  7. Pamiętaj, aby po wprowadzeniu zmian sprawdzić plik robots.txt w głównej witrynie sklepu (dostępny pod adresem https://krakow.site.com/robots.txt, https://gdansk.site.com/robots.txt, https://wroclaw.site.com/robots.txt itp.).

Szablon robots.txt dla poddomen regionalnych

  1. #upd 02.09.2022
  3. User-agent: *
  4. Disallow: /
  6. User-agent: Yandex
  7. ## googleonly pages ##
  8. Disallow: */krakow/
  9. Disallow: */gdansk/
  10. Disallow: */wroclaw/
  11. ## content pages ##
  12. Disallow: */blog/
  13. Disallow: */stati/
  14. Disallow: */novosti
  15. Disallow: */seorating/
  16. Disallow: */rating/
  17. ## system hidden pages ##
  18. Disallow: *admin/
  19. Disallow: *helpdesk/
  20. Disallow: *yandexmarket/
  21. Disallow: *cml1c/
  22. Disallow: */vk/
  23. Disallow: */xml/
  24. Disallow: */yml/
  25. Disallow: */turbo/
  26. Disallow: */logs/
  27. Disallow: *multiform/
  28. Disallow: *wsp-panel/
  29. Disallow: */test/
  30. Disallow: */old/
  31. Disallow: *.html
  32. Disallow: *.php
  33. Disallow: *.pdf
  34. Disallow: */amp/
  35. ## info and service pages ##
  36. Disallow: *search
  37. Disallow: *mailer/
  38. Disallow: *login/
  39. Disallow: *signup/
  40. Disallow: *forgotpassword/
  41. Disallow: *order/
  42. Disallow: */cart/
  43. Disallow: *onestep/
  44. Disallow: *checkout/
  45. Disallow: */my/
  46. ## service links ##
  47. Disallow: *tel:
  48. Disallow: *skype:
  49. Disallow: *mailto:
  50. Disallow: *tg:
  51. Disallow: *viber:
  52. ## garbage and dublicates ##
  53. Disallow: *undefined
  54. Disallow: *compare/
  55. Disallow: *?
  56. Allow: *.*?
  57. Allow: *config/?
  58. Allow: *?page=
  59. Disallow: *?page=*&
  60. Disallow: *&page=
  61. Disallow: *?page=1
  62. Allow: *?page=10
  63. Allow: *?page=11
  64. Allow: *?page=12
  65. Allow: *?page=13
  66. Allow: *?page=14
  67. Allow: *?page=15
  68. Allow: *?page=16
  69. Allow: *?page=17
  70. Allow: *?page=18
  71. Allow: *?page=19
  72. Disallow: *?page=10*&
  73. Disallow: *?page=11*&
  74. Disallow: *?page=12*&
  75. Disallow: *?page=13*&
  76. Disallow: *?page=14*&
  77. Disallow: *?page=15*&
  78. Disallow: *?page=16*&
  79. Disallow: *?page=17*&
  80. Disallow: *?page=18*&
  81. Disallow: *?page=19*&
  82. Disallow: *product*/?page=
  83. ## blog garbage ##
  84. Disallow: */author/
  85. Disallow: */2015/
  86. Disallow: */2016/
  87. Disallow: */2017/
  88. Disallow: */2018/
  89. Disallow: */2019/
  90. Disallow: */2020/
  91. Disallow: */2021/
  92. Disallow: */2022/
  93. Disallow: */2023/
  94. Disallow: */2024/
  95. Disallow: */2025/
  96. Disallow: */2026/
  97. Disallow: */2027/
  98. Disallow: */2028/
  99. Disallow: */2029/
  100. Disallow: */2030/
  101. Disallow: */2031/
  102. Disallow: */2032/
  103. Disallow: */2033/
  104. Disallow: */2034/
  105. Disallow: */2035/
  106. Allow: /product/20*/
  107. Disallow: /product/20*/?
  108. ## individual rules ##
  109. Disallow: */tag/
  110. Disallow: */reviews/
  111. ## end ##
  112. Clean-param: from&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id
  113. Sitemap: https://{storefront_url}/sitemap.xml



Błąd w tekście? Zaznacz ją myszką i kliknij Ctrl + F1 lub kliknij na ten blok!