KotaBot
Se state leggendo questa pagina, è perché il nostro robot è passato sul vostro sito e avete voluto sapere chi fosse. Ecco la risposta completa, compreso come vietargli l'accesso.
Quello che dichiara
Il suo user-agent, così come arriva nei vostri log:
KotaBot/1.0 (+https://machinaindex.com/bot ; argus mondial des machines industrielles ; contact@machinaindex.com)
Non si traveste mai da browser sui siti che legge in diretta, e non crea nessun account.
Quello che fa
Costruiamo un listino dei macchinari industriali usati: centri di lavoro, torni, presse, rettificatrici, compressori. Per pubblicare una quotazione difendibile servono prezzi reali, datati e con la loro fonte. Il nostro robot legge quindi i risultati delle aste e gli annunci a prezzo esposto su 55 siti distribuiti in 24 paesi, e ne trattiene il prezzo, la data, il modello, l'anno di costruzione e il luogo. Nient'altro: né le vostre foto, né i vostri testi, né i recapiti dei vostri clienti.
Con che frequenza
Una richiesta al secondo al massimo, spesso una ogni tre secondi, e un solo passaggio al giorno o alla settimana a seconda della fonte. Rispetta l'header Retry-After, si ferma al primo segno di rifiuto ripetuto e aspetta sei ore prima di riprovare. Se il vostro server rallenta, rallenta anche lui. Non ha nessun interesse a darvi fastidio: un sito fermo non pubblica prezzi.
Come vietargli il vostro sito
Aggiungete questo al vostro robots.txt:
User-agent: KotaBot Disallow: /
Lo rilegge a ogni passaggio e se ne va. Potete anche aprire solo una parte del vostro sito, o fissare un ritmo con Crawl-delay: lo applica. Per una richiesta particolare, la rimozione di dati o un accesso concordato che ci eviterebbe di leggere le vostre pagine, scriveteci; rispondiamo. contact@machinaindex.com
Quello che pubblichiamo di voi
Statistiche di prezzo per modello, mai il vostro catalogo. Una quotazione aggrega decine di vendite venute da più fonti; non permette di ricostruire la vostra. Ogni prezzo conserva l'indicazione della fonte che l'ha pubblicato, perché un listino senza tracciabilità non vale nulla — e perché il lavoro che fate pubblicando i vostri risultati merita di essere citato.