À quoi sert Common Crawl ?

Il fournit des données web brutes très utilisées pour pré-entraîner les grands modèles de langage et pour la recherche à grande échelle.

Comment accéder concrètement aux données de Common Crawl ?

Les archives résident dans un bucket S3 public, en lecture gratuite. Utilisez l’index CDX pour retrouver des pages par URL, récupérez les fichiers WARC/WET pour le HTML brut ou le texte extrait, et traitez à grande échelle avec Spark ou Athena.

Quelle est la taille de Common Crawl et comment l’interroger ?

Chaque instantané mensuel contient des milliards de pages (des pétaoctets de fichiers WARC compressés). Vous pouvez interroger les index par URL ou chercher le format en colonnes sur AWS Athena sans tout télécharger ; le traitement complet se fait en général sur un cluster ou un entrepôt cloud.

Jeu de donnéesAvancé

Corpus web Common Crawl

Name: Corpus web Common Crawl
Creator: Common Crawl

Common Crawl est un corpus ouvert de crawl web à l'échelle du pétaoctet qui sert de source de données fondamentale pour le pré-entraînement de nombreux grands modèles de langage. Le corpus est librement téléchargeable et largement utilisé en recherche NLP, en fouille de données et dans les expériences de ML à grande échelle.

Aperçu

« Corpus web Common Crawl » est une ressource de type « Jeu de données » sélectionnée par AI Resource Hub, classée dans la catégorie Jeux de données et adaptée aux apprenants de niveau Avancé. Elle est fournie par Common Crawl, a été mise à jour pour la dernière fois le 2026-06-12 et affiche une note éditoriale de 4.6/5 attribuée par notre équipe. Cliquez sur « Visiter la ressource » à droite pour ouvrir la page d’origine.

Notre verdict

Common Crawl est une infrastructure publique au sens le plus littéral : une archive web gratuite à l’échelle du pétaoctet, rafraîchie chaque mois, qui a silencieusement porté le pré-entraînement de nombreux grands modèles de langage. Pour la recherche NLP, la fouille de données ou la construction d’un corpus sérieux, c’est l’étape évidente. Mais c’est du minerai brut, pas un jeu de données abouti : attendez-vous à un gros nettoyage, à du dédoublonnage et à une vraie infrastructure pour télécharger et traiter en masse. Entrez avec un plan de traitement et il est imbattable ; attendez-vous à des données clés en main et vous vous noierez.