Les entreprises qui ont mis en place des IA génératives comme OpenAI, Meta, Anthropic, Mistral ou encore Amazon, Google et Microsoft ont besoin d'indexer des contenus sur le web en permanence pour entrainer leurs grands modèles de langage (LLM), récupérer les nouvelles informations afin que leurs outils soient capables de répondre aux demandes de leurs utilisateurs.