Transcript Robots.txt Quick Guide voor het toestaan van css, javascript en media

Robots.txt Quick Guide voor het toestaan van
css, javascript en media
Quick guide voor het toestaan van css, javascript en media
via de robots.txt
Achtergrond
Google gaat websites steeds meer crawlen als een browser . Hiermee wordt bedoeld dat niet alleen de tekstuele inhoud (de
html) belangrijk is maar ook de visuele, de layout. De reden is dat de visuele kwaliteit van een website steeds belangrijker
wordt in het Google algoritme, onder andere om een oordeel te kunnen geven over de mobiele gebruiksvriendelijkheid van
een site.
Van veel sites is alle inhoud (pagina’s maar ook alle files op de server) voor Google doorzoekbaar. Bij complexe sites zoals
Magento webshops met heel veel bestanden probeer je dit te voorkomen omdat Google anders teveel tijd bezig is met
crawlen van onnodige bestanden, mappen en pagina’s en is de kans groot is dat deze na een bepaalde tijd afhaakt. Het
uitsluiten van mappen en bestanden op een server kan met een robots.txt file die wordt geplaatst in de hoofdmap van een
website.
Het advies voor een robots.txt is tot nu altijd geweest om bestanden die zorgen voor visuele aanpassingen op de site (css
files) in de robots.txt uit te sluiten voor crawlen. Hetzelfde geldt voor javascript bestanden. Recente geluiden vanuit Google
wijzen erop dat deze praktijk tegenwoordig juist ten koste kan gaan van de Google indexering van je webshop http://googlewe
bmastercentral.blogspot.co.uk/2014/10/updating-our-technical-webmaster.html
Quick Test
1. Heeft mijn Magento webshop een robots.txt?
Heeft mijn Magento shop een robots.txt en hoe kan ik zien of deze voldoet aan de laatste Google webrichtlijnen voor
robots.txt?
Dat kun je heel makkelijk zelf controleren. Surf in je browser naar de robots.txt onder je eigen domein, bijvoorbeeld ht
tp://mijnmagentowebshop.com/robots.txt
Wordt je doorgestuurd naar de ‘pagina niet gevonden’ dan heeft je webshop geen robots.txt en adviseren we je
contact met ons op te nemenhttp://www.supportdesk.nu/help .
Want zonder robots.txt kan Google je site niet effectief crawlen.
Heb je een account bij Google Webmaster tools dan kan je dit ook controleren binnen de sectie Crawlen. Als bij
"Ophalen van robots.txt" een groene vink staat heeft je site een robots.txt.
Page 1
2. Voldoet mijn robots.txt aan de nieuwe Google richtlijnen?
Krijg je in de webbrowser of Google Webmaster Tools wel een robots.txt te zien zoek dan of je een van de volgende
robots.txt regels tegenkomt:
Disallow: /media/
Disallow: /media/css/
Disallow: /media/css_secure/
Disallow: /skin/
Disallow: /js/
Als je een van deze regels tegenkomt dan voldoet je robots.txt niet aan de laatste Google Webrichtlijnen en kan je
deze regels het beste als volgt aanpassen:
Allow: /media/
Allow: /media/css/
Allow: /media/css_secure/
Allow: /skin/
Allow: /js/
Page 2
Disclaimer: dit is een quick fix die grote gevolgen kan hebben voor je Google Indexering. Een robots.txt is maatwerk en de
juiste invulling hang heel erg af van hoe je Magento webshop is ingericht. Gebruik je bijvoorbeeld css en js optimalisatie
tools, of een thema die de css en js in andere mappen opslaat , maak je gebruik van een Content Delivery Network voor je
css , javascript en media. Dus als je niet zeker weet wat je aanpast, neem dan contact met ons op http://www.supportdesk.nu
/help voor een op-maat -advies.
Quick Fix
Je kunt de Robots.txt aanpassen via:
1) FTP . Als je niet weet wat FTP is dan kan je deze optie overslaan
Open de FTP verbinding naar je webshop, in de root van je Magento installatie vind je het robots.txt bestand
Page 3
Download de robots.txt en wijzig deze met een tekst-only editor (zoals kladblok op Windows).
Heb je een account bij Google Webmaster Tools dan kan je de robots.txt via Crawlen -> robots.txt-tester ook
Page 4
aanpassen. Het voordeel is dat fouten en waarschuwingen vanuit Google direct zichtbaar zijn en kunnen worden
aangepast.
Upload de robots.txt die je hebt aangepast met een tekst-editor of via de Google Webmaster Tools vervolgens weer
naar dezelfde lookatie (de public root van je Magento installatie).
2)
Een Magento SEO extensie die het mogelijk maakt om robots.txt aan te passen via de Magento backend. Er zijn
Magento SEO extensies waarmee jezelf de robots.txt kunt aanpassen vanuit de Magento backend. Bijvoorbeeld deze
extensie http://www.magentocommerce.com/magento-connect/creare-seo.html die geinstalleerd kan worden via Magento
Connect Manager
3)
Door ons laten doen, aangezien een echt goede robots.txt maatwerk is. Bel ons op 020 - 337 59 61 of vraag een offerte
op maat http://www.supportdesk.nu/stel-je-vraag
Tip: kijk na het aanpassen van de robots.txt via de webmaster tools hoe Google je site nu leest (zie Google Webmaster Tools
-> Crawlen -> Fetchen als Google) . Doe je dit ook voor het aanpassen dan kan je het verschil echt zien.
Page 5
Related articles
[intern] Robots.txt aanpassen zodat css, js en media kunnen worden gecrawled
Page 6
Robots.txt Quick Guide voor het toestaan van css, javascript en media
Lokaal een site neerzetten (nginx)
Page 7