macherportal.de
Kostenlos eintragen

MacherportalBot

Der Crawler von macherportal.de. Diese Seite ist die Adresse aus seinem User-Agent.

Was er tut

macherportal.de ist ein Verzeichnis für Agenturen, Freelancer und Dienstleister. MacherportalBot lädt Webseiten, die mit einem Unternehmen aus diesem Verzeichnis zu tun haben: Treffer einer Websuche zum Firmennamen und Seiten der Firmenwebsite selbst. Aus dem Inhalt entstehen Hinweise auf Unternehmensaktivitäten wie Erwähnungen, Referenzen und Beiträge sowie kurze Zusammenfassungen für das Profil im Verzeichnis.

Gespeichert werden Adresse, Titel, eine kurze Zusammenfassung und eine Bewertung der Relevanz. Volltexte werden nicht veröffentlicht und nicht dauerhaft aufbewahrt. Jede gezeigte Fundstelle verlinkt auf die Quelle.

Wie er sich verhält

  • Er stellt sich mit diesem User-Agent vor:MacherportalBot/1.0 (+https://macherportal.de/bot; hallo@macherportal.de)
  • Er liest vor jedem Abruf die robots.txt der Website und hält sich an die Gruppe für MacherportalBot, sonst an die Gruppe für alle. Allow, Disallow und Crawl-delay bis 10 Sekunden werden beachtet.
  • Er lädt nur HTML-Seiten und Sitemaps, höchstens ein Megabyte je Seite, mit zehn Sekunden Zeitlimit und höchstens drei Weiterleitungen.
  • Er meldet sich nirgends an, füllt keine Formulare aus und folgt keinen Links in Konto- oder Verwaltungsbereiche.
  • Je Unternehmen gibt es höchstens einen Lauf pro Woche mit wenigen Seiten. Die Anfragen laufen nacheinander, nie parallel gegen denselben Server.
  • Antwortet ein Server mit einem Fehler oder liefert seine robots.txt nicht aus, lädt der Bot dort nichts.

So sperren Sie ihn aus

Ein Eintrag in der robots.txt Ihrer Website reicht. Der Bot liest sie vor jedem Abruf und hält sich daran, spätestens nach 24 Stunden auch für bereits bekannte Adressen.

User-agent: MacherportalBot
Disallow: /

Sie können auch nur Teile sperren oder den Abstand zwischen zwei Abrufen festlegen:

User-agent: MacherportalBot
Disallow: /intern/
Crawl-delay: 5

Wenn Sie lieber schreiben: eine Mail an hallo@macherportal.de mit Ihrer Domain genügt, wir nehmen sie aus dem Crawl.

Fragen zu einem Eintrag

Ihr Unternehmen steht im Verzeichnis und Sie möchten Angaben ändern oder den Eintrag übernehmen? Auf der Profilseite finden Sie dazu die Übernahme. Mehr zum Verzeichnis steht unter Über uns.