KotaBot

Sein User-Agent, so wie er in Ihren Logs ankommt:

KotaBot/1.0 (+https://machinaindex.com/bot ; argus mondial des machines industrielles ; contact@machinaindex.com)

Auf den Seiten, die er direkt liest, gibt er sich nie als Browser aus, und er legt keine Konten an.

Wir bauen einen Preisspiegel für gebrauchte Industriemaschinen: Bearbeitungszentren, Drehmaschinen, Pressen, Schleifmaschinen, Kompressoren. Für eine belastbare Notierung braucht es echte Preise, mit Datum und Quelle. Unser Crawler liest deshalb Auktionsergebnisse und Inserate mit ausgewiesenem Preis auf 55 Websites in 24 Ländern und behält davon den Preis, das Datum, das Modell, das Baujahr und den Ort. Sonst nichts: weder Ihre Fotos noch Ihre Texte noch die Kontaktdaten Ihrer Kunden.

Höchstens eine Anfrage pro Sekunde, oft eine alle drei Sekunden, und je nach Quelle ein einziger Durchlauf pro Tag oder pro Woche. Er beachtet den Retry-After-Header, hält beim ersten Zeichen wiederholter Abweisung an und wartet sechs Stunden, bevor er es erneut versucht. Wird Ihr Server langsamer, wird er langsamer. Er hat kein Interesse daran, Sie zu behindern: Eine Website, die steht, veröffentlicht keine Preise.

Tragen Sie dies in Ihre robots.txt ein:

User-agent: KotaBot
Disallow: /

Er liest sie bei jedem Durchlauf neu und zieht wieder ab. Sie können auch nur einen Teil Ihrer Website öffnen oder mit Crawl-delay einen Takt vorgeben: Er hält sich daran. Für ein besonderes Anliegen – eine Löschung von Daten oder einen vereinbarten Zugang, der uns das Lesen Ihrer Seiten erspart – schreiben Sie uns; wir antworten. contact@machinaindex.com

Preisstatistiken je Modell, nie Ihren Katalog. Eine Notierung fasst Dutzende Verkäufe aus mehreren Quellen zusammen; Ihren eigenen lässt sie sich nicht entnehmen. Jeder Preis behält die Angabe der Quelle, die ihn veröffentlicht hat, weil ein Preisspiegel ohne Rückverfolgbarkeit nichts wert ist – und weil die Arbeit, die Sie mit dem Veröffentlichen Ihrer Ergebnisse leisten, die Nennung verdient.