Googlebot toegang geven tot CSS- en JS-bestanden

Eind juli 2015 ontvingen veel webmasters een mail van het Search Console Team van Google met daarin de volgende waarschuwing:

Googlebot kan geen toegang krijgen tot CSS- en JS-bestanden op http://...

Google wil graag toegang tot deze bestanden met behulp van hun Googlebot, maar wordt daarbij geblokkeerd door een of meer regels in het bestand robots.txt.

Hierdoor kan Google niet controleren of de site optimaal werkt voor gebruikers en dit kan leiden tot “suboptimale posities” in de zoekresultaten.

Met andere woorden: je website kan zakken in de resultaten en dit is niet wat je wilt!

Opvallend veel WordPress-gebruikers hebben deze melding ontvangen. Daarom zal in dit artikel uitgelegd worden hoe je dit dient te veranderen in WordPress. Maar de uitleg hieronder is ook grotendeels toepasbaar op websites die niet op WordPress draaien.

 

Moet je actie ondernemen?

Je bent niet verplicht tot het ondernemen van actie. Je website blijft gewoon werken, ook al breng je geen wijzigingen aan. Maar ben je een van de vele webmasters die belangrijk vindt om zijn/haar website zo hoog mogelijk in Google te krijgen dan is het wel aan te raden om dit probleem zo snel mogelijk op te lossen.

 

Probleem opsporen en oplossen

Google legt in de mail niet echt duidelijk uit hoe je dit probleem precies kunt opsporen en oplossen. Daarom onderstaand stappenplan:

• Ga naar Google Webmastertools
• Selecteer de website waar het om gaat
• Klik in het menu aan de linkerkant op Crawlen – Fetchen als Google
• Laat het invulveld leeg en klik op de rode knop [Ophalen en weergeven] (dit kan even duren)
• Klik vervolgens op een rij om meer details te bekijken

Je krijgt dan twee afbeeldingen te zien. Eentje is zoals gebruikers de website zien en de ander is zoals de Googlebot de website kan zien. Onderaan de screenshots vind je een tabel die er ongeveer zo uit kan zien:

 

 

Achter sommige meldingen zie je “robots.txt-tester” staan. Wanneer je daarop klikt krijg je precies te zien welke regel in het bestand robots.txt ervoor zorgt dat de Googlebot geen toegang heeft. Deze regel wordt namelijk in het rood aangegeven:

 

 

Robots.txt handmatig aanpassen

Het robots.txt-bestand wordt meestal automatisch aangemaakt door WordPress. Maar het kan ook zijn dat je in het verleden zelf om bepaalde redenen een eigen (aangepast) robots.txt-bestand hebt aangemaakt. Dit dien je eerst te controleren door via ftp te kijken of er in de “root” (de hoofdfolder waarin je WordPress installatie staat) het bestand Robots.txt aanwezig is.

Is dit het geval, pas het robots.txt-bestand dan zodanig aan zodat de Googlebot toegang heeft tot CSS- en JS-bestanden en ga verder met de stap hieronder “controleren of het probleem is opgelost”.

 

Robots.txt aanpassen met behulp van een plugin

Er is een eenvoudige plugin die het mogelijk maakt om de inhoud van je robots.txt bestand aan te passen. Deze plugin heet WP Robots txt. Na installatie kun je de tekst van je robots.txt-bestand in het Dashboard aanpassen via de opties Instellingen – Lezen. Maar voordat je deze plugin installeert, kun je beter eerst even kijken of een van je huidige plugins niet al de mogelijkheid biedt om robots.txt aan te passen.

Een veel geïnstalleerde plugin is Yoast SEO. De optie voor het wijzigen van robots.txt vind je in het Dashboard onder SEO – Extra – Bestandsbewerker. Het kan zijn dat hier de melding wordt weergegeven dat er nog geen Robots.txt-bestand aanwezig is. Je kunt er dan eentje aanmaken en deze vervolgens wijzigen.

Yoast zelf raadt aan om het Robots.txt-bestand zo leeg mogelijk te houden. Hij blokkeert alleen de map met uitgaande affiliatelinks. Heb je deze niet, dan kun je volstaan met:

User-agent: *
Disallow:

Controleren of de Googlebot toegang heeft

Controleer in de Webmastertools via Crawlen – robots.txt-tester of er geen regels meer rood gemarkeerd zijn. Zie je hier nog je oude robots.txt-file staan? Dit kan een opgeslagen versie van Google zijn. Klik dan even op “Live robots.txt bekijken” om te controleren of Google bij de volgende update de goede versie kan ophalen. Dit gebeurt meestal binnen enkele uren.

Je kunt dit update-proces versnellen door onderaan de Robots.txt-tester op de knop Verzenden te klikken. Kies daarna meteen voor optie 3 (Verzenden).

Blijf je ondanks je wijzigingen een oude Robots.txt-file zien, ook wanneer je deze live bekijkt? Dan kan het nodig zijn om de cache te legen van je (eventuele) cache-plugin. Ook hostingproviders willen nog wel eens cache-mogelijkheden bieden. Deze cache kun je legen via het controlpanel van je hostingprovider.

 

Nog vragen?

Is het niet gelukt om met bovenstaand stappenplan de Googlebot toegang te geven tot CSS- en JS-bestanden op je website? Loop je tegen problemen aan? Laat het hieronder weten!