Od wersji 3.3 wprowadzono pewne zmiany, które niestety nie nadpisywały oryginalnego pliku robots.txt w Joomla. Nadpisanie nie było wskazane, bo każdy z użytkowników Joomla mógł korzystać i modyfikować swój plik tak, jak było mu to potrzebne. Automatyczna aktualizacja tego pliku nadpisała by wszystkie ustawienia, a to nie było by dobrym rozwiązaniem. Dlatego zmiany musimy wprowadzić samodzielnie.
Joomla! i robots.txt - co się zmieniło
Przede wszystkim warto porównać swój plik z oryginalnym plikiem z wersji 3.4.1. Zauważyć można pewne różnice.
Plik z wersji 3.x
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Plik z wersji 3.4.1
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Różnice
Jak widać, w nowym pliku usunięto "blokowanie" robotów dla /media i /templates a także /images, które blokowane było we wcześniejszych wersjach - co pozwala na "indeksowanie" tych katalogów. Po co? Znajdują się tam pliki, które mogą być potrzebne robotom do poprawnego pobrania wszystkich elementów strony i sprawdzenie jej poprawności. Tu przechodzimy do testu "Mobile-Friendly Test - Google"
Mobile-Friendly Test - Google i Joomla
Przykładem niech będzie strona www.trzepizur.pl Aby pokazać różnicę wykonam test ze starym plikiem robots.txt i z jego "zaktualizowaną" wersją.
Test ze starym plikiem robots.txt
Test z nowym plikiem robots.txt
Podsumowanie
Jak widać, bardzo prosty zabieg może sprawić, że da Google wypadniemy o wiele lepiej, co może mieć przełożenie na wyniki i naszą pozycję w wyszukiwarce. Oczywiście sama modyfikacja pliku robots.txt może nie być wystarczająca aby pozytywnie przejść test "Mobile-Friendly Test - Google" - warto wówczas dokładniej przeanalizować witrynę i wdrożyć niezbędne rozwiązania. Pamiętajcie także, aby na wszelki wypadek zrobić kopię pliku, który będziecie zmieniać a zmian dokonujcie rozważnie i ostrożnie.
Warto sprawdzić
W niektórych przypadkach, szczególnie kiedy używamy kompresorów dla plików CSS i JS konieczne może być "odblokowanie" także katalogu /cache (lub innego), w którym przechowywane są skompresowane wersje naszych plików CSS i JS.