Robots.txt is een tekstbestand in de hoofdmap van je website dat zoekmachines vertelt welke delen ze wel en niet mogen crawlen. Het stuurt het crawlgedrag, maar is geen slot: het houdt pagina's niet gegarandeerd uit de index. Daarvoor gebruik je een noindex-instructie.
Een verkeerd ingestelde robots.txt is een klassieke en kostbare fout: blokkeer je per ongeluk je hele site, dan verdwijn je uit de zoekresultaten. Correct gebruikt help je zoekmachines hun crawlbudget richten op wat telt. Het hoort bij de basis van je technische SEO.
Niet gegarandeerd. Robots.txt stuurt het crawlen, maar om een pagina echt uit de index te houden gebruik je een noindex-instructie.
In de hoofdmap van je domein, bereikbaar via jouwdomein.be/robots.txt.
Plan een vrijblijvend kennismakingsgesprek. We bekijken waar je staat in zoekmachines en in AI, en waar de grootste kansen liggen.
20 minuten · online of telefonisch · vrijblijvend
