Come accediamo ai portali
GIADA, il servizio di forbuild.ai per gli studi di architettura e ingegneria, recupera i documenti di gara pubblici dalle piattaforme di approvvigionamento digitale e dai siti delle stazioni appaltanti, su richiesta di uno studio che vuole analizzare una specifica procedura, in suo nome e per suo conto. Queste sono le regole con cui lo facciamo.
1. Leggiamo e rispettiamo robots.txt
Alla prima richiesta a un dominio leggiamo il suo robots.txt e ne registriamo il contenuto con la data di lettura: le regole Disallow e Allow del gruppo che ci riguarda (quello che nomina GIADA, altrimenti *) e l'eventuale Crawl-delay. Lo rileggiamo dopo 24 ore.
2. Ci identifichiamo, andiamo piano, e ci fermiamo se ce lo chiedete
Ogni nostra richiesta si presenta con questo agente:
GIADA/forbuild.ai (+https://forbuild.ai/accesso; info@forbuild.ai)
Facciamo al più una richiesta ogni 2 secondi per dominio, o con l'intervallo indicato nel Crawl-delay se è più lungo. Se un Crawl-delay supera 30 secondi non lo accorciamo: rinunciamo al recupero e lo diciamo allo studio.
Teniamo una lista di esclusione per dominio: un portale che ci chiede di non essere letto viene escluso, con la data e il motivo, da ogni nostra lettura — sia dagli elenchi sia dai documenti delle singole gare, per tutti gli studi. Lo studio che chiede una gara di quel portale riceve l'indicazione di consultarla direttamente.
3. Gli elenchi: solo dove robots.txt li consente; i documenti: solo della gara richiesta
GIADA non legge gli elenchi dei portali che lo vietano nel robots.txt; dove è consentito, scorre le pagine pubbliche con user-agent dichiarato e una richiesta ogni due secondi, e scarica i documenti della gara che chiedi. Se il collegamento che abbiamo non porta alla pagina della procedura e la si potrebbe ritrovare solo scorrendo un elenco che il robots.txt del portale vieta — anche partendo dal suo CIG — non la cerchiamo: lo studio riceve «Documenti non disponibili (accesso)» con il motivo, e può consultarla direttamente.
Il recupero mirato dei documenti di una singola procedura, individuata dal suo CIG e richiesta da uno studio che ha titolo a consultarli come operatore economico interessato (artt. 27 e 28 del D.Lgs. 36/2023), avviene sulle pagine pubbliche della procedura, come lo studio potrebbe fare da sé: senza credenziali, senza superare protezioni o controlli automatici, senza entrare in aree riservate. Ogni recupero viene registrato con la piattaforma, il CIG, lo studio che l'ha chiesto (o la dicitura «riscarico automatico» quando un nostro passo aggiorna documenti già chiesti) e l'ora.
4. Lo studio conferma, piattaforma per piattaforma
La prima volta che uno studio ci chiede i documenti di una gara su una piattaforma, gli mostriamo il collegamento alle condizioni d'uso del portale e questa nota: «GIADA non legge gli elenchi di questa piattaforma dove il suo robots.txt lo vieta; scarica i documenti della gara che chiedi.» — e procediamo solo dopo che ha scelto «Procedi per mio conto». La conferma viene registrata (studio, piattaforma, data e versione del testo) e non viene richiesta di nuovo per quella piattaforma, finché il testo non cambia.
Contatti
Gestite un portale e volete che non lo leggiamo, o che lo leggiamo più lentamente? Scriveteci a info@forbuild.ai indicando il dominio: lo aggiungiamo alla lista di esclusione. Le stesse regole stanno nei Termini di servizio (art. 5-bis, «Recupero dei documenti di gara per conto dello Studio»).