Jak indeksować i wyindeksować strony w wyszukiwarkach internetowych

Jak indeksować i wyindeksować strony w wyszukiwarkach internetowych


Dzisiaj chciałbym poruszyć temat indeksacji stron w wyszukiwarkach internetowych, a dokładnie w Google. Wiele osób pyta mnie o to jak szybko zindeksować (zaindeksować) stronę w wyszukiwarce, lub przeciwnie jak ją wyindeksować. Postaram się odpowiedzieć na to pytanie.

Indeksacja strony.

Zacznijmy od indeksacji, znanych mi sposobów jest kilka. Pierwszym i chyba najłatwiejszym/najszybszym sposobem na zaindeksowanie strony jest dodanie na innych stronach kilku linków do niej. Oczywiście strony te, muszą także znajdować się w zasobach wyszukiwarki. Ile może potrwać zanim robot zaindeksuje naszą witrynę ? Wszystko zależy ile dodamy linków. Im będzie ich więcej, tym lepiej. Jest jednak jedno małe ale. Gdy nasza witryna jest świeża nie należy przesadzać z dużą ilością linków, ponieważ możemy jej zaszkodzić i wyszukiwarka internetowa nałoży filtr na naszą stronę. Na początek proponuje kilka, maksymalnie kilkanaście linków. Proces indeksacji może potrwać do 2 tygodni. Jeśli po tym czasie, strony nie ma w indeksie to znaczy, że coś jest nie tak i należy się temu przyjrzeć, np. Sprawdzić logi serwera.

Drugi sposób (bywa mniej skuteczny), to zgłoszenie strony do wyszukiwarki poprzez specjalny formularz. Każda większa wyszukiwarka ma taką funkcjonalność np. w Google.pl adres formularza to: http://www.google.pl/addurl

Trzeci sposób to pingowanie. Pingi są to „sygnały” aktualizacji wysyłane do wyszukiwarek internetowych. Informują one o tym, że na danej stronie pojawiły się nowe treści i zachęca roboty do odwiedzin i aktualizacji informacji. Pingowanie bywa średnio skuteczne, czasem trzeba kilkanaście razy pingować daną stronę, aby robot dodał ją do indeksu wyszukiwarki. Przykładowy adres do pingowania stron: http://pingomatic.com

Innym sposobem na indeksowanie, który swoją drogą daje dodatkowe możliwości jest dodanie strony do narzędzi dla webmasterów Google: http://www.google.com/webmasters/tools/?hl=pl
Narzędzie to daje nam sporo możliwości i dodatkowych informacji o stronie. Możemy dodać np mapę strony, co także powinno zwiększyć ilość zaindeksowanych podstron. Polecam to zrobić, a także podlinkować samą mapę strony.

Usuwanie strony z zasobów wyszukiwarki (wyindeksowanie)

Jeśli już wiemy jak dodać stronę do zasobów wyszukiwarki, teraz kilka słów o tym, jak ją usunąć z indeksu.
Osobiście znam 3 sposoby: poprzez plik robots.txt, poprzez odpowiednie meta tagi w nagłówku pliku strony głównej, lub poprzez narzędzia dla webmasterów Google.

Zacznijmy od pliku robots.txt. Aby zabronić robotom wyszukiwarek dostęp do treści strony i zakazać im jej indeksowania, należy w głównym katalogu strony utworzyć plik robots.txt o następującej treści:

User-agent: *
Disallow: /

Co oznacza ten zapis ? User-agent jest oznaczeniem pająka wyszukiwarki. Z kolei znaczek * odnosi się do każdego robota. Tak więc zapis ten odnosi się do wszystkich robotów wyszukiwarek.
Disallow :/ mówi o tym, że cała zawartość strony, z wszystkimi plikami i katalogami ma być blokowana dla robotów.

Drugim sposobem na wyindeksowanie strony, jest użycie specjalnych meta tagów w nagłówku strony, między znacznikami <head> … </head>
Wstawiamy tam znacznik: <meta name=”robots” content=”noindex, nofollow”>, który mówi o tym, aby roboty wyszukiwarek nie indeksowały strony, oraz nie podążały za linkami na stronie.

Trzeci znany mi sposób na usunięcie witryny z zasobów wyszukiwarki Google to zablokowanie strony poprzez narzędzia dla webmasterów Google: http://www.google.com/webmasters/tools/?hl=pl

W narzędziach przechodzimy do: Konfiguracja witryny/dostęp dla robotów/Usuń adres URL i klikamy Nowa prośba o usunięcie i zaznaczamy Cała witryna (Usuń witrynę z wyników wyszukiwania Google).

I to chyba na tyle, życzę pomyślnych indeksacji i wysokich „site’ów” waszych witryn 😉

Foto: marketplanet.pl

Kategoria

7 Komentarze

Dodaj własny
  1. 1
    anitka

    z tym wyindeksowywaniem to powiem ci nie taka prosta sprawa, chciałam wyindeksować kilka podstron i mimo zastosowania się do procedur google dalej widnieją w wynikach

    • 3
      Grzegorz Strzelczyk

      Po „disallow” czyli blokadzie w robots.txt strona może nawet nigdy nie zniknąć z indeksu 😀 Robots.txt nie zabrania indeksacji strony ale dostępu do niej dla robotów stąd jeżeli już strona została zaindeksowana to w tym indeksie zostaje. Jedynie zmienia się to, że w SERPach zamiast opisu danego wyniku pojawia się informacja, że zawartość strony jest zablokowana w robots.txt – robot nie może wejść na stronę więc i nie może wyświetlić jej zawartości. Mało tego, jeżeli na stronie coś się zmieni (np. pojawi się na niej noindex, który powinien powodować, że strona z indeksu zostanie usunięta) Googlebot może tego nie zauważyć.
      Dlatego do usunięcia z indeksu tego co już w nim się znajduje lepiej używać meta tagu robots noindex lub nagłówka HTTP X-Robots-Tag: noindex.

      • 4
        Bartłomiej Speth

        Tak jest, stąd jeśli chcieć wyindeksować stronę/podstrony tym sposobem poprzez plik robots.txt. Najpierw zbieramy adresy, udajemy się do Google Search Console i tam wysyłamy prośbę i ich usunięcie (tymczasowe ukrycie) i dopiero po tej procedurze dodajemy regułę do pliku robots.txt. Powinno być wszystko ok. U mnie zielono 😉

  2. 5
    Marcin Pawlak

    W chwili obecnej przy wyindeksowaniu najlepiej posiłkować się Narzędziami Google dla Webmasterów – one również mają opcję usunięcia podstron z wyników.

Odpowiedz na „Bartłomiej SpethAnuluj pisanie odpowiedzi