robots.txt

www.affiliates.de » Suchmaschinenoptimierung » robots.txt..

Auf Beitrag antworten Letzte Beiträge Alle Foren als gelesen markieren

  • DialerTipps.de Mitglied seit: 16.08.2003
    Beiträge: 85
    Wohnort: bei Frankfurt
    Antworten mit Zitat Beitrag Verfasst am: 25.08.2003, 04:35
    moin moin...

    mich interessiert gerade mal brennend, welche robots man per robots.txt aussperren sollte.

    im moment rödelt gerade http://www.miragorobot.com/scripts/mrinfo.asp seit X stunden über ein und die selbe .html auf einer meiner domains.

    ein exlude wie in der datei beschieben hat leider nicht gewirkt.

    meine aktuelle robots.txt sieht so aus:

    User-agent: mirago
    Disallow: /

    habt ihr evtl. noch ein paar empfehlungen, was da noch mit reinsollte?

    _________________
    Image

    Profile Private Nachricht WWW

  • hailstorm Mitglied seit: 21.06.2003
    Beiträge: 204
    Antworten mit Zitat Beitrag Verfasst am: 25.08.2003, 09:16
    Warum willst du überhaupt Bots aussperren? Solange da nicht wirklich signifikant Traffic dabei rumkommt, würde ich mir das doch einfach sparen...
    Aber ansonsten könntest du noch "Turnitin" sperren, der dient nämlich zum auffinden von geklauten Texten in Aufsätzen und nicht für eine Suchmaschine. Derer gibts noch ein paar, aber meist machen die auch keinen ernsthaften Traffic.

    Gruss, Hailstorm

    Profile Private Nachricht

  • DialerTipps.de Mitglied seit: 16.08.2003
    Beiträge: 85
    Wohnort: bei Frankfurt
    Antworten mit Zitat Beitrag Verfasst am: 25.08.2003, 09:48
    weil dieser eine bot halt seit stunden die immer wieder ein und die selbe datei bügelt. vielleicht gibt's ja noch mehr solcher widerlinge?

    _________________
    Image

    Profile Private Nachricht WWW

  • Assman Mitglied seit: 19.08.2003
    Beiträge: 11
    Antworten mit Zitat Beitrag Verfasst am: 25.08.2003, 10:45
    Viele Bots scheren sich nicht um die robots.txt - die kannst du dann damit nicht aussperren.

    Glaube du könntest per .htaccess die IP sperren, weiß aber nicht genau wie und ob dann auch andere außen vor sind, die du gar nicht aussperren wolltest.

    Profile Private Nachricht

  • Ralf Goetz / Fridaynite Mitglied seit: 18.06.2003
    Beiträge: 156
    Wohnort: München Viktualienmarkt
    Antworten mit Zitat Beitrag Verfasst am: 30.08.2003, 08:19
    das mit dem spidern von verzeichnissen ist schon ne seltsame sache.
    google hat bei mir eine seite gespidert, die nirgends verlinkt ist und ich habe in der config ausgeschlossen, dass das verzeichnis durchsucht werden kann. wie gibts denn das?

    _________________
    PP: Geld verdienen mit
    http://www.mp3-player.tv
    [url=http://www.mp3-player.tv]
    Image [/url]

    http://www.raucher-warnung.de

    Profile Private Nachricht WWW


Auf Beitrag antworten

Forum Information

Sie können keine Beiträge in dieses Forum schreiben.
Sie können auf Beiträge in diesem Forum nicht antworten.
Sie können Ihre Beiträge in diesem Forum nicht bearbeiten.
Sie können Ihre Beiträge in diesem Forum nicht löschen.
Sie können an Umfragen in diesem Forum nicht mitmachen.

Ähnliche Beiträge