#upload altijd een robots.txt, ook al is deze leeg. #Elke keer dat een spiderbot geen robots.txt kan vinden, dan krijg je een 404 en dat betekent lange error logs. User-agent: * Crawl-Delay: 10 Sitemap: http://www.musicmol.nl/sitemap.xml