AgenziaAuditBot

Il programma con cui analizziamo i siti web. Questa pagina spiega che cosa legge, con che ritmo e come escluderlo.

In breve

Nome per robots.txt

AgenziaAuditBot

User-Agent

AgenziaAuditBot/1.0 (+https://agenzia-audit-bot.pages.dev/)

Indirizzo IP

51.15.119.101 (Amsterdam, Paesi Bassi)

Ritmo

al massimo una pagina al secondo per sito

robots.txt

rispettato

Contatto

bot@lettorebot.com

Chi siamo

AgenziaAuditBot è il lettore di un'agenzia digitale italiana. Lo usiamo per le analisi dei siti web che facciamo per i nostri clienti e per preparare le nostre proposte: come si presenta un sito, se è sicuro, come lo trovano i motori di ricerca e gli assistenti basati sull'intelligenza artificiale, come tratta la privacy di chi lo visita.

Come si riconosce

Si presenta sempre con lo stesso nome, anche quando apre la pagina con un browser per vederla come un visitatore: non finge di essere un browser, una persona o un altro bot.

Le richieste partono dall'indirizzo IP 51.15.119.101, ad Amsterdam. Dallo stesso indirizzo legge anche LettoreBot, un altro programma dell'agenzia, con regole proprie descritte su lettorebot.com.

Che cosa legge

Solo pagine pubbliche, quelle che chiunque vede senza accedere. Per ogni analisi:

• la home page, una volta come la scarica un programma e una volta come la mostra un browser, in versione computer e telefono, con una fotografia dello schermo;
• i file pensati per i programmi: robots.txt, le sitemap (al massimo tre file), llms.txt, agents.md e security.txt;
• la versione http della home, per vedere se porta alla versione sicura https;
• un indirizzo che non esiste, per vedere la pagina di errore 404;
• la pagina della privacy e quella dei contatti, se la home ha un collegamento a ognuna (una per tipo).

In tutto sono circa quindici richieste. Per mostrare la home e la pagina 404 come le vedrebbe un visitatore, il browser carica anche le risorse che la pagina chiede (immagini, fogli di stile, script, anche quelle di altri siti), al massimo 200 richieste e 5 MB per pagina. La data di registrazione del dominio la chiediamo al registro pubblico dei domini (RDAP), non al tuo sito.

Non compila moduli, non fa clic (nemmeno sui banner dei cookie), non accede ad aree riservate e non segue altri collegamenti.

Quando passa e con che ritmo

• Non visita i siti a intervalli regolari: legge un sito solo quando ne parte un'analisi, e ogni analisi lo legge una volta.
• Chiede una pagina alla volta, al massimo una al secondo per sito, e più piano se il tuo robots.txt indica un Crawl-delay (fino a 60 secondi fra due richieste).
• Se la home non risponde, riprova al massimo due volte, dopo 5 e dopo 15 secondi.
• Se il sito chiede di aspettare (429 o 503 con Retry-After), non insiste su quella pagina.
• Se il sito rifiuta l'accesso (403 o 429 sulla home o su robots.txt), mostra una verifica anti-bot o dà cinque errori di fila, il bot si ferma e per sette giorni non torna.

robots.txt

AgenziaAuditBot rispetta robots.txt secondo lo standard RFC 9309. Lo legge prima di ogni analisi e non ne tiene una copia per più di 24 ore. Per escluderlo da tutto il sito aggiungi:

User-agent: AgenziaAuditBot
Disallow: /

Con queste righe il bot legge soltanto il file robots.txt e nient'altro. Puoi anche escludere solo alcune parti, con un Disallow per ogni percorso. Se nel file non c'è un gruppo con il suo nome, vale il gruppo User-agent: *. Se robots.txt non esiste (errore 404) il sito è considerato aperto; se non risponde per un errore del server, il bot non legge nulla.

Come chiedere l'esclusione

Scrivi a bot@lettorebot.com indicando il dominio del sito. Lo escludiamo dalle analisi senza scadenza, anche se robots.txt non cambia: il bot non leggerà più le sue pagine. L'esclusione vale per il dominio e per i suoi sottodomini (www, shop e così via).

Che cosa conserviamo e per quanto

Di ogni analisi conserviamo, in archivi privati dell'agenzia:

• il risultato: punteggi, esito di ogni controllo e brevi estratti delle pagine, con indirizzi email e numeri di telefono mascherati;
• una copia di ciò che il bot ha letto (le pagine e i file elencati sopra, le fotografie dello schermo e l'elenco delle risorse caricate dal browser), per poter mostrare la prova di ogni risultato.

Per ora non c'è una cancellazione automatica: quando stabiliremo per quanto tenerli, lo scriveremo qui. Se vuoi che cancelliamo i dati delle analisi del tuo sito, scrivici all'indirizzo qui sopra.

English

The program we use to analyse websites. This page explains what it reads, how often, and how to opt out.

At a glance

Name for robots.txt

AgenziaAuditBot

User-Agent

AgenziaAuditBot/1.0 (+https://agenzia-audit-bot.pages.dev/)

IP address

51.15.119.101 (Amsterdam, the Netherlands)

Rate

at most one page per second per site

robots.txt

respected

Contact

bot@lettorebot.com

Who we are

AgenziaAuditBot is the reader of an Italian digital agency. We use it for the website reviews we carry out for our clients and to prepare our proposals: how a site looks, whether it is secure, how search engines and AI assistants find it, and how it handles its visitors' privacy.

How to recognise it

It always identifies itself with the same name, including when it opens a page in a browser to see it as a visitor would: it never pretends to be a browser, a person or another bot.

Requests come from the IP address 51.15.119.101, in Amsterdam. LettoreBot, another program of the agency with its own rules described at lettorebot.com, reads from the same address.

What it reads

Only public pages, the ones anyone can see without logging in. For each review:

• the home page, once as a program downloads it and once as a browser shows it, on desktop and on a phone, with a screenshot;
• the files meant for programs: robots.txt, sitemaps (at most three files), llms.txt, agents.md and security.txt;
• the http version of the home page, to see whether it leads to the secure https version;
• an address that does not exist, to see the 404 error page;
• the privacy page and the contact page, if the home page links to them (one of each).

That is about fifteen requests in total. To show the home page and the 404 page as a visitor would see them, the browser also loads the resources the page asks for (images, style sheets, scripts, including those from other sites), at most 200 requests and 5 MB per page. We ask the public domain registry (RDAP), not your site, for the domain's registration date.

It never fills in forms, never clicks (not even on cookie banners), never enters restricted areas and does not follow any other links.

When it visits and how fast

• It does not visit sites at regular intervals: it reads a site only when a review starts, and each review reads it once.
• It asks for one page at a time, at most one per second per site, and more slowly if your robots.txt sets a Crawl-delay (up to 60 seconds between two requests).
• If the home page does not respond, it retries at most twice, after 5 and after 15 seconds.
• If the site asks it to wait (429 or 503 with Retry-After), it does not insist on that page.
• If the site refuses access (403 or 429 on the home page or on robots.txt), shows an anti-bot challenge or returns five errors in a row, the bot stops and does not come back for seven days.

robots.txt

AgenziaAuditBot follows robots.txt according to the RFC 9309 standard. It reads the file before every review and never keeps a copy for more than 24 hours. To exclude it from the whole site, add:

User-agent: AgenziaAuditBot
Disallow: /

With these lines the bot reads only the robots.txt file and nothing else. You can also exclude only some parts, with one Disallow per path. If the file has no group with its name, the User-agent: * group applies. If robots.txt does not exist (404 error) the site is treated as open; if it fails with a server error, the bot reads nothing.

How to opt out

Write to bot@lettorebot.com with the domain of your site. We exclude it from our reviews with no expiry, even if robots.txt stays the same: the bot will not read its pages again. The exclusion covers the domain and its subdomains (www, shop and so on).

What we keep and for how long

For each review we keep, in the agency's private archives:

• the result: scores, the outcome of each check and short excerpts of the pages, with email addresses and phone numbers masked;
• a copy of what the bot read (the pages and files listed above, the screenshots and the list of resources loaded by the browser), so that we can show the evidence for each result.

For now there is no automatic deletion: when we decide how long to keep this data, we will say so here. If you want us to delete the data of the reviews of your site, write to us at the address above.