# robots.txt fuer www.wigobau.de
# ------------------------------------------------

# Welche Crawlwer werden ausgeschlossen

User-agent: HTTrack
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: TwengaBot
Disallow: /

# Für die anderen Crawler gilt:
User-agent: *

# diese Verzeichnisse sollen nicht gecrawlt werden
Disallow: /_DA-FormMailer/
Disallow: /_DA_FormMailer/
Disallow: /_mysqdumper/
Disallow: /_piwik/

# diese Dateien sollen nicht gecrawlt werden
Disallow: /bl282667a52e1460302.gif
Disallow: /cp282667a52e1460302.gif
Disallow: /mywot76d7191b218677bda8c6.html
Disallow: /w2dacl.php
Disallow: /w2dfgw.php

# die Sitemap liegt wo?
Sitemap: https://www.wigobau.de/sitemap.xml