User-agent: Spidex Disallow: # Zorgt er voor dat Spidex alles mag User-Agent: Owlin Bot v. 3.0 Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: Owlin Bot Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: Owlin Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-agent: Slurp Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-agent: Baiduspider Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-agent: Yandex Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-agent: SputnikBot Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: bingbot Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: TEOMA Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: Siteimprove Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: SemrushBot Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: Company.info Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: Tube Runner Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: majestic12 Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: opensiteexplorer Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-Agent: LivelapBot Disallow: / # Zorgt er voor dat deze robot niks mag spideren User-agent: Googlebot Disallow: /algemene-onderdelen/zoeken/ # Zorgt er voor dat Google het zoeken niet mag spideren Disallow: /bestuur/provinciale-staten/statenarchief-(sis)/zoeken-sis/ # Zorgt er voor dat Google het sis-zoeken niet mag spideren Disallow: /loket/provinciale/*.pdf$ # Zorgt er voor dat Google de Regelingen PDFs niet mag spideren Disallow: /loket/kennisgeving/*.pdf$ # Zorgt er voor dat Google de Bekenmakingen PDFs niet mag spideren Noindex: /loket/provinciale/*.pdf$ # Google specifieke directive om Regelingen PDFs totaal uit zoekresultaten te verbergen Noindex: /loket/kennisgeving/*.pdf$ # Google specifieke directive om Bekendmakingen PDFs totaal uit zoekresultaten te verbergen Crawl-delay: 10 User-agent: * Disallow: /algemene-onderdelen/zoeken/ # Zorgt er voor dat overige robots het zoeken niet mogen spideren Disallow: /bestuur/provinciale-staten/statenarchief-(sis)/zoeken-sis/ # Zorgt er voor dat overige robots het sis-zoeken niet mogen spideren Disallow: /sis/*.pdf$ # Zorgt er voor dat overige robots SIS PDFs niet mogen spideren Disallow: /loket/provinciale/*.pdf$ # Zorgt er voor dat overige robots Regelingen PDFs niet mogen spideren Disallow: /loket/kennisgeving/*.pdf$ # Zorgt er voor dat overige robots Bekenmakingen PDFs niet mogen spideren Crawl-delay: 10