L'indexation fait référence au processus par lequel les moteurs de recherche comme Google ou Bing collectent et stockent des informations provenant des sites Web dans leurs bases de données, les rendant consultables et visibles pour les utilisateurs. Cependant, le processus peut être bloqué par le fichier robots.txt d'un site Web, qui empêche les robots d'exploration des moteurs de recherche d'accéder à certaines zones ou pages du site et de les indexer.