User Agent (come nel web crawling)

Un user agent, nel contesto del web crawling, si riferisce all'applicazione software o al programma che agisce per conto di un utente per navigare, accedere e interagire con i siti web. Simula un browser web inviando richieste HTTP ai siti web, recuperando pagine web ed estraendo informazioni pertinenti per vari scopi come l'indicizzazione, l'aggregazione di dati o lo scraping.