Dzisiaj chciałbym poruszyć temat indeksacji stron w wyszukiwarkach internetowych, a dokładnie w Google.
Wiele osób pyta mnie o to jak szybko zindeksować (zaindeksować) stronę w wyszukiwarce, lub przeciwnie jak ją wyindeksować. Postaram się odpowiedzieć na to pytanie.
Indeksacja strony.
Zacznijmy od indeksacji, znanych mi sposobów jest kilka. Pierwszym i chyba najłatwiejszym/najszybszym sposobem na zaindeksowanie strony jest dodanie na innych stronach kilku linków do niej. Oczywiście strony te, muszą także znajdować się w zasobach wyszukiwarki. Ile może potrwać zanim robot zaindeksuje naszą witrynę ? Wszystko zależy ile dodamy linków. Im będzie ich więcej, tym lepiej. Jest jednak jedno małe ale. Gdy nasza witryna jest świeża nie należy przesadzać z dużą ilością linków, ponieważ możemy jej zaszkodzić i wyszukiwarka internetowa nałoży filtr na naszą stronę. Na początek proponuje kilka, maksymalnie kilkanaście linków. Proces indeksacji może potrwać do 2 tygodni. Jeśli po tym czasie, strony nie ma w indeksie to znaczy, że coś jest nie tak i należy się temu przyjrzeć, np. Sprawdzić logi serwera.
Drugi sposób (bywa mniej skuteczny), to zgłoszenie strony do wyszukiwarki poprzez specjalny formularz. Każda większa wyszukiwarka ma taką funkcjonalność np. w Google.pl adres formularza to: http://www.google.pl/addurl
Trzeci sposób to pingowanie. Pingi są to „sygnały” aktualizacji wysyłane do wyszukiwarek internetowych. Informują one o tym, że na danej stronie pojawiły się nowe treści i zachęca roboty do odwiedzin i aktualizacji informacji. Pingowanie bywa średnio skuteczne, czasem trzeba kilkanaście razy pingować daną stronę, aby robot dodał ją do indeksu wyszukiwarki. Przykładowy adres do pingowania stron: http://pingomatic.com
Innym sposobem na indeksowanie, który swoją drogą daje dodatkowe możliwości jest dodanie strony do narzędzi dla webmasterów Google: http://www.google.com/webmasters/tools/?hl=pl
Narzędzie to daje nam sporo możliwości i dodatkowych informacji o stronie. Możemy dodać np mapę strony, co także powinno zwiększyć ilość zaindeksowanych podstron. Polecam to zrobić, a także podlinkować samą mapę strony.
Usuwanie strony z zasobów wyszukiwarki (wyindeksowanie).
Jeśli już wiemy jak dodać stronę do zasobów wyszukiwarki, teraz kilka słów o tym, jak ją usunąć z indeksu.
Osobiście znam 3 sposoby: poprzez plik robots.txt, poprzez odpowiednie meta tagi w nagłówku pliku strony głównej, lub poprzez narzędzia dla webmasterów Google.
Zacznijmy od pliku robots.txt. Aby zabronić robotom wyszukiwarek dostęp do treści strony i zakazać im jej indeksowania, należy w głównym katalogu strony utworzyć plik robots.txt o następującej treści:
User-agent: *
Disallow: /
Co oznacza ten zapis ? User-agent jest oznaczeniem pająka wyszukiwarki. Z kolei znaczek * odnosi się do każdego robota. Tak więc zapis ten odnosi się do wszystkich robotów wyszukiwarek.
Disallow :/ mówi o tym, że cała zawartość strony, z wszystkimi plikami i katalogami ma być blokowana dla robotów.
Drugim sposobem na wyindeksowanie strony, jest użycie specjalnych meta tagów w nagłówku strony, między znacznikami <head> … </head>
Wstawiamy tam znacznik: <meta name=”robots” content=”noindex, nofollow”>, który mówi o tym, aby roboty wyszukiwarek nie indeksowały strony, oraz nie podążały za linkami na stronie.
Trzeci znany mi sposób na usunięcie witryny z zasobów wyszukiwarki Google to zablokowanie strony poprzez narzędzia dla webmasterów Google: http://www.google.com/webmasters/tools/?hl=pl
W narzędziach przechodzimy do: Konfiguracja witryny/dostęp dla robotów/Usuń adres URL i klikamy Nowa prośba o usunięcie i zaznaczamy Cała witryna (Usuń witrynę z wyników wyszukiwania Google).
I to chyba na tyle, życzę pomyślnych indeksacji i wysokich „site’ów” waszych witryn ;)
