Une liste des robots connus pour parcourir la totalité du web et une estimation de leurs intentions. Utilisé pour compléter son robots.txt.
robots.txt
The list of potential AI robots that can scrape content from your website is longer than we would like.