L'indexation fait référence au processus par lequel les moteurs de recherche comme Google ou Bing collectent et stockent les informations des sites Web dans leurs bases de données, les rendant consultables et visibles pour les utilisateurs. Cependant, le processus peut être bloqué par le fichier robots.txt d'un site Web, qui empêche les robots d'exploration des moteurs de recherche d'accéder et d'indexer certaines zones ou pages du site.