## robots.txt ## für bayernstift.de ## 19.08.2009 # Für bekannte Massendownloader die Site ganz von der Indexierung ausschließen User-agent: wget User-agent: webzip User-agent: webmirror User-agent: webcopy Disallow: / # Alle Robots aus den aufgeührten Verzeichnissen ausschließen User-agent: * Disallow: /bilder/ Disallow: /cgi-bin/ Disallow: /css/ Disallow: /digits/ Disallow: /edit/ Disallow: /js/ Disallow: /login/ Disallow: /media/ Disallow: /yazar/