Joomla! - Googlebot nie może uzyskać dostępu do plików CSS i JS

czwartek, 30 lipiec 2015 21:30 | Napisał:  Michał Trzepizur

Jeśli ostatnio otrzymaliście powiadomienie o braku dostępu robota Google do plików css i js w waszych witrynach, warto przyjrzeć się problemowi i poprawić kilka rzeczy w pliku robots.txt

Powiadomienia wysyłane są z platformy Google Webmaster Tools (GWT) i dotyczą oczywiście tych stron, które zostały tam dodane i zweryfikowane. Jeśli posiadasz stronę, która jeszcze nie została dodana do GWT, koniecznie się tym zajmij.

Przykład powiadomienia (fundacja.joomla.pl)

powiadomienie gwt compressor

 

Jakiś czas temu, w artykule "Zaktualizuj swój plik robots.txt" pisałem o zmianach, jakie wprowadzone zostały w pliku robots.txt w wersji Joomla! wyższej niż 3.2. Warto go przeczytać i poznać opisane zmiany.

Niestety w większości przypadków, zmiany dotyczące dostępu dla robota Google do katalogów /images /templates itd mogą być niewystarczające. Przeanalizujmy całą procedurę na przykładzie strony www.fundacja.joomla.pl.

Zablokowany dostęp do plików CSS i JS

Jak już wcześniej wspomniałem, wszystko zaczęło się od powiadomienia, jakie dostałem na swój adres e-mail - "Nasze systemy wykryły niedawno problem związany z Twoją stroną główną. Problem ten obniża jakość renderowania i indeksowania Twoich treści przez nasze algorytmy. Googlebot nie może uzyskać dostępu do plików JavaScript i/lub CSS".  Oczywiście zależało mi, aby jak najszybciej wprowadzić zmiany na stronie, które będą spełniały nowe wymagania Google.

Pobierz i zrenderuj (GWT)

Po zalogowaniu się do GWT, zbadałem stronę aby dowiedzieć się jakie elementy są blokowane przez plik robots.txt i tym samym, robot Google nie ma do nich dostępu.

pobierz renderuj 2 compressor


Po krótkiej chwili otrzymamy wynik, w który należy kliknąć (zaznaczone strzałką na powyższym zdjęciu). Dzięki temu, uzyskamy pełne informacje dotyczące "widoczności" naszej strony przez robota Google.

widok strony gwt compressor

Jak widać, mimo, że my na swoich komputerach widzimy stronę "normalnie", Google nie widzi jej tak samo jak my. Zdecydowanie należy to zmienić. Aby umożliwić robotowi Google poprawnie zobaczyć naszą witrynę, musimy wprowadzić pewne zmiany w naszym pliku robots.txt.

Analiza renderowania

W momencie, kiedy przeprowadzimy renderowanie, otrzymamy także pełną listę elementów, do których powinniśmy dać dostęp dla robota Googla. W zależności od strony, może to być kilka lub kilkanaście zablokowanych elementów. Im więcej używanych jest na stronie dodatków, modułów, komponentów - lista będzie dłuższa, a tym samym czekać nas będzie więcej pracy. Tak czy inaczej, warto ją wykonać.

analiza renderowania compressor

Wprowadzamy niezbędne zmiany

Wszystkich zmian będziemy dokonywać w naszym pliku robots.txt, który znajduje się w głównym katalogu naszej strony. Zabierzmy się zatem do pracy, aby spełnić wymagania Google.

W opisywanym przypadku, po wykonaniu analizy wiem, że Google nie ma dostępu do katalogów takich jak:

/libraries/gantry/css/
/libraries/gantry/js/
/modules/mod_customsidetabs/css/
/modules/mod_roknavmenu/themes/default/
/components/com_roksprocket/assets/
/media/system/js/
/media/system/css/

Jak dostosować stronę do wymagań Google

Spełnienie wymagań Google jest bardzo prostą czynnością. Musimy pozwolić na dostęp dla robota do zablokowanych zasobów. Jak to Zrobić? Wystarczy dodanie odpowiednich wpisów do naszego pliku robots.txt. Przed jakimikolwiek zamiami zalecam wykonanie kopii tego pliku, aby móc przywrócić go, jeśli cokolwiek się nie powiedzie. Nie edytujcie pliku żadnym "wbudowanym" w systemie notatnikiem, wordpadem - do edycji plików polecam użyć np Notepad++

Otwórzmy swój plik robots.txt i wprowadźmy niezbędne zmiany. Aby pozwolić na dostęp do jakiegoś katalogu, musimy użyć funkcji Allow (Zezwalaj) a następnie wskazać ścieżkę katalogu. W moim przypadku, po wprowadzeniu wszystkich niezbędnych zmian plik wygląda następująco:

plik robots compressor

Warto tu zwrócić uwagę, że użyłem Allow ale tylko dla User-agent: Googlebot. Oznacza to, że dostęp do katalogów wskazanych w pliku ma tylko robot Google. Inne roboty nadal będą blokowane. Po zapisaniu pliku i ponownym teście "Pobierz i zrenderuj" otrzymujemy już zadowalający nas wynik. Google widzi naszą stronę poprawnie, a wszystkie zablokowane dla robota pliki są już dla niego dostępne.

strona po poprawkach compressor

Jak widać zmiany jakie musimy wprowadzić nie są skomplikowane. Na ich wprowadzenie w średniej wielkości witryny będziemy potrzebować około 10 - 15 min czasu. Warto jednak się tym zająć jak najszybciej aby po kolejnym sprawdzeniu naszej strony przez roboty Google, spełniała wszystkie jego wytyczne.

Pozycja w rankingach wyszukiwarki Google

Czy warto wprowadzić zmiany i zezwolić na dostęp do plików CSS i JS ? Jak można przeczytać w wiadomości od Google:

"Dzięki tym plikom możemy się dowiedzieć, czy Twoja witryna działa poprawnie, dlatego blokowanie dostępu do tych zasobów może doprowadzić do uzyskania przez witrynę gorszej pozycji w rankingu."

 

Czytany 35855 razy Ostatnio zmieniany środa, 22 styczeń 2020 15:15
Oceń ten artykuł
(8 głosów)
Michał Trzepizur

Michał Trzepizur

Administrator Joomla! Wiceprezes Fundacji PCJ "Otwarte Źródła". Twórca programu JAMP (lokalny serwer dla Joomla!). Administrator Polskiego Centrum Joomla!. Zawodowo związany z branżą IT. Od wielu lat zajmuje się administracją witryn opartych o CMS Joomla!.

comments powered by Disqus