Plik Robots.txt jest przeznaczony dla robotów m.in. indeksujących strony do wyszukiwarek takich jak Google, Bing, Yandex. W tym pliku określamy jak mają zachowywać się roboty odwiedzające Twoje strony.
Plik Robots.txt dla Twojej witryny umieszczony jest pod adresem https://tu-twoja-domena.pl/robots.txt
W planie darmowym plik Robots.txt jest generowany automatycznie i nie masz możliwości ani potrzeby go zmieniać.
Domyślny plik Robots.txt dla Twojej strony wygląda tak:
Te ustawienia oznaczają, że wszystkie Twoje kluczowe strony dostępne są dla robotów chodzących po Internecie - są odwiedzane bez przeszkód i mogą być indeksowane przez wyszukiwarki.
Nie musisz zmieniać domyślnego pliku Robots.txt! Jego domyślna zawartość pozwala robotom odwiedzać i indeksować Twoje strony.
Jeżeli jednak chcesz zmienić plik Robots to możesz to zrobić w ustawieniach witryny.
1. Przejdź do ustawień witryny do zakładki Robots.
2. Wpisz odpowiednie wartości w polu tekstowym "Plik Robots"
Pamiętaj aby być ostrożnym przy zmianach i nie zablokować dostępu do stron jeśli chcesz aby były widoczne w wyszukiwarkach Google, Bing, Yahoo itp.
3. Zapisz ustawienia witryny.
