KotaBot

Su user-agent, tal como llega a sus registros:

KotaBot/1.0 (+https://machinaindex.com/bot ; argus mondial des machines industrielles ; contact@machinaindex.com)

Nunca se disfraza de navegador en los sitios que lee en directo, y no crea ninguna cuenta.

Estamos construyendo una guía de precios de la maquinaria industrial de ocasión: centros de mecanizado, tornos, prensas, rectificadoras, compresores. Para publicar una cotización defendible hacen falta precios reales, fechados y con su fuente. Por eso nuestro robot lee los resultados de subastas y los anuncios con precio a la vista en 55 sitios repartidos por 24 países, y retiene el precio, la fecha, el modelo, el año de fabricación y el lugar. Nada más: ni sus fotos, ni sus textos, ni los datos de contacto de sus clientes.

Una petición por segundo como máximo, a menudo una cada tres segundos, y una sola pasada al día o a la semana según la fuente. Respeta la cabecera Retry-After, se detiene a la primera señal de rechazo repetido y espera seis horas antes de volver a intentarlo. Si su servidor se ralentiza, él se ralentiza. No tiene ningún interés en molestarle: un sitio caído no publica precios.

Añada esto a su robots.txt:

User-agent: KotaBot
Disallow: /

Lo vuelve a leer en cada pasada y se va. También puede abrir solo una parte de su sitio, o fijar un ritmo con Crawl-delay: lo aplica. Para una petición concreta, una retirada de datos o un acceso negociado que nos evitara leer sus páginas, escríbanos; respondemos. contact@machinaindex.com

Estadísticas de precios por modelo, nunca su catálogo. Una cotización agrega decenas de ventas procedentes de varias fuentes; no permite reconstituir la suya. Cada precio conserva la mención de la fuente que lo publicó, porque una guía de precios sin trazabilidad no vale nada — y porque el trabajo que usted hace al publicar sus resultados merece ser citado.