Zaktualizuj swój plik robots.txt

środa, 13 maj 2015 12:40 | Napisał:  Michał Trzepizur

Możesz tego nie wiedzieć, ale od wersji Joomla! 3.3 plik robots.txt został nieco zmodyfikowany aby poprawić SEO. Ma to także wpływ na wynik testu "Mobile-Friendly Test - Google". Jeśli zależy ci na optymalizacji Twojej strony, sprawdź i zaktualizuj swój plik robots.txt

Od wersji 3.3 wprowadzono pewne zmiany, które niestety nie nadpisywały oryginalnego pliku robots.txt w Joomla. Nadpisanie nie było wskazane, bo każdy z użytkowników Joomla mógł korzystać i modyfikować swój plik tak, jak było mu to potrzebne. Automatyczna aktualizacja tego pliku nadpisała by wszystkie ustawienia, a to nie było by dobrym rozwiązaniem. Dlatego zmiany musimy wprowadzić samodzielnie.

Joomla! i robots.txt - co się zmieniło

Przede wszystkim warto porównać swój plik z oryginalnym plikiem z wersji 3.4.1. Zauważyć można pewne różnice.

Plik z wersji 3.x

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Plik z wersji 3.4.1

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Różnice

Jak widać, w nowym pliku usunięto "blokowanie" robotów dla /media i /templates  a także /images, które blokowane było we wcześniejszych wersjach - co pozwala na "indeksowanie" tych katalogów. Po co? Znajdują się tam pliki, które mogą być potrzebne robotom do poprawnego pobrania wszystkich elementów strony i sprawdzenie jej poprawności. Tu przechodzimy do testu "Mobile-Friendly Test - Google"

Mobile-Friendly Test - Google i Joomla

Przykładem niech będzie strona www.trzepizur.pl Aby pokazać różnicę wykonam test ze starym plikiem robots.txt i z jego "zaktualizowaną" wersją.

 

Test ze starym plikiem robots.txt

Mobile Friendly Test Google joomla no ok compressor

 

Test z nowym plikiem robots.txt

Mobile Friendly Test Google joomla ok compressor

 

Podsumowanie

Jak widać, bardzo prosty zabieg może sprawić, że da Google wypadniemy o wiele lepiej, co może mieć przełożenie na wyniki i naszą pozycję w wyszukiwarce. Oczywiście sama modyfikacja pliku robots.txt może nie być wystarczająca aby pozytywnie przejść test "Mobile-Friendly Test - Google" - warto wówczas dokładniej przeanalizować witrynę i wdrożyć niezbędne rozwiązania. Pamiętajcie także, aby na wszelki wypadek zrobić kopię pliku, który będziecie zmieniać a zmian dokonujcie rozważnie i ostrożnie.

Warto sprawdzić

W niektórych przypadkach, szczególnie kiedy używamy kompresorów dla plików CSS i JS konieczne może być "odblokowanie" także katalogu /cache (lub innego), w którym przechowywane są skompresowane wersje naszych plików CSS i JS.

 

robots.txt.dist
Czytany 18007 razy Ostatnio zmieniany środa, 13 maj 2015 13:37
Oceń ten artykuł
(1 głos)
Michał Trzepizur

Michał Trzepizur

Administrator Joomla! Wiceprezes Fundacji PCJ "Otwarte Źródła". Twórca programu JAMP (lokalny serwer dla Joomla!). Administrator Polskiego Centrum Joomla!. Zawodowo związany z branżą IT. Od wielu lat zajmuje się administracją witryn opartych o CMS Joomla!.

comments powered by Disqus