Powiadomienia wysyłane są z platformy Google Webmaster Tools (GWT) i dotyczą oczywiście tych stron, które zostały tam dodane i zweryfikowane. Jeśli posiadasz stronę, która jeszcze nie została dodana do GWT, koniecznie się tym zajmij.
Przykład powiadomienia (fundacja.joomla.pl)
Jakiś czas temu, w artykule "Zaktualizuj swój plik robots.txt" pisałem o zmianach, jakie wprowadzone zostały w pliku robots.txt w wersji Joomla! wyższej niż 3.2. Warto go przeczytać i poznać opisane zmiany.
Niestety w większości przypadków, zmiany dotyczące dostępu dla robota Google do katalogów /images /templates itd mogą być niewystarczające. Przeanalizujmy całą procedurę na przykładzie strony www.fundacja.joomla.pl.
Zablokowany dostęp do plików CSS i JS
Jak już wcześniej wspomniałem, wszystko zaczęło się od powiadomienia, jakie dostałem na swój adres e-mail - "Nasze systemy wykryły niedawno problem związany z Twoją stroną główną. Problem ten obniża jakość renderowania i indeksowania Twoich treści przez nasze algorytmy. Googlebot nie może uzyskać dostępu do plików JavaScript i/lub CSS". Oczywiście zależało mi, aby jak najszybciej wprowadzić zmiany na stronie, które będą spełniały nowe wymagania Google.
Pobierz i zrenderuj (GWT)
Po zalogowaniu się do GWT, zbadałem stronę aby dowiedzieć się jakie elementy są blokowane przez plik robots.txt i tym samym, robot Google nie ma do nich dostępu.
Po krótkiej chwili otrzymamy wynik, w który należy kliknąć (zaznaczone strzałką na powyższym zdjęciu). Dzięki temu, uzyskamy pełne informacje dotyczące "widoczności" naszej strony przez robota Google.
Jak widać, mimo, że my na swoich komputerach widzimy stronę "normalnie", Google nie widzi jej tak samo jak my. Zdecydowanie należy to zmienić. Aby umożliwić robotowi Google poprawnie zobaczyć naszą witrynę, musimy wprowadzić pewne zmiany w naszym pliku robots.txt.
Analiza renderowania
W momencie, kiedy przeprowadzimy renderowanie, otrzymamy także pełną listę elementów, do których powinniśmy dać dostęp dla robota Googla. W zależności od strony, może to być kilka lub kilkanaście zablokowanych elementów. Im więcej używanych jest na stronie dodatków, modułów, komponentów - lista będzie dłuższa, a tym samym czekać nas będzie więcej pracy. Tak czy inaczej, warto ją wykonać.
Wprowadzamy niezbędne zmiany
Wszystkich zmian będziemy dokonywać w naszym pliku robots.txt, który znajduje się w głównym katalogu naszej strony. Zabierzmy się zatem do pracy, aby spełnić wymagania Google.
W opisywanym przypadku, po wykonaniu analizy wiem, że Google nie ma dostępu do katalogów takich jak:
/libraries/gantry/css/
/libraries/gantry/js/
/modules/mod_customsidetabs/css/
/modules/mod_roknavmenu/themes/default/
/components/com_roksprocket/assets/
/media/system/js/
/media/system/css/
Jak dostosować stronę do wymagań Google
Spełnienie wymagań Google jest bardzo prostą czynnością. Musimy pozwolić na dostęp dla robota do zablokowanych zasobów. Jak to Zrobić? Wystarczy dodanie odpowiednich wpisów do naszego pliku robots.txt. Przed jakimikolwiek zamiami zalecam wykonanie kopii tego pliku, aby móc przywrócić go, jeśli cokolwiek się nie powiedzie. Nie edytujcie pliku żadnym "wbudowanym" w systemie notatnikiem, wordpadem - do edycji plików polecam użyć np Notepad++
Otwórzmy swój plik robots.txt i wprowadźmy niezbędne zmiany. Aby pozwolić na dostęp do jakiegoś katalogu, musimy użyć funkcji Allow (Zezwalaj) a następnie wskazać ścieżkę katalogu. W moim przypadku, po wprowadzeniu wszystkich niezbędnych zmian plik wygląda następująco:
Warto tu zwrócić uwagę, że użyłem Allow ale tylko dla User-agent: Googlebot. Oznacza to, że dostęp do katalogów wskazanych w pliku ma tylko robot Google. Inne roboty nadal będą blokowane. Po zapisaniu pliku i ponownym teście "Pobierz i zrenderuj" otrzymujemy już zadowalający nas wynik. Google widzi naszą stronę poprawnie, a wszystkie zablokowane dla robota pliki są już dla niego dostępne.
Jak widać zmiany jakie musimy wprowadzić nie są skomplikowane. Na ich wprowadzenie w średniej wielkości witryny będziemy potrzebować około 10 - 15 min czasu. Warto jednak się tym zająć jak najszybciej aby po kolejnym sprawdzeniu naszej strony przez roboty Google, spełniała wszystkie jego wytyczne.
Pozycja w rankingach wyszukiwarki Google
Czy warto wprowadzić zmiany i zezwolić na dostęp do plików CSS i JS ? Jak można przeczytać w wiadomości od Google:
"Dzięki tym plikom możemy się dowiedzieć, czy Twoja witryna działa poprawnie, dlatego blokowanie dostępu do tych zasobów może doprowadzić do uzyskania przez witrynę gorszej pozycji w rankingu."