¿Para qué se usa Common Crawl?

Proporciona datos web en bruto muy usados para preentrenar grandes modelos de lenguaje y para investigación a gran escala.

¿Cómo accedo realmente a los datos de Common Crawl?

Los archivos están en un bucket público de S3, de lectura gratuita. Usa el índice CDX para localizar páginas por URL, descarga ficheros WARC/WET para HTML crudo o texto extraído, y procesa a gran escala con Spark o Athena.

¿Qué tamaño tiene Common Crawl y cómo lo consulto?

Cada instantánea mensual contiene miles de millones de páginas (petabytes de archivos WARC comprimidos). Puedes consultar índices por URL o buscar el formato columnar en AWS Athena sin descargarlo todo; el procesamiento completo suele hacerse en un clúster o almacén en la nube.

Conjunto de datosAvanzado

Corpus web Common Crawl

Name: Corpus web Common Crawl
Creator: Common Crawl

Common Crawl es un corpus abierto de rastreo web a escala de petabytes que sirve como fuente de datos fundamental para el preentrenamiento de muchos modelos de lenguaje grandes. El corpus está disponible para descarga gratuita y se usa ampliamente en investigación NLP, minería de datos y experimentos de ML a gran escala.

Descripción general

"Corpus web Common Crawl" es un recurso de tipo "Conjunto de datos" seleccionado por AI Resource Hub, clasificado en la categoría Datasets y adecuado para estudiantes de nivel Avanzado. Lo proporciona Common Crawl, se actualizó por última vez el 2026-06-12 y tiene una puntuación editorial de 4.6/5 de nuestro equipo. Haz clic en "Visitar recurso" a la derecha para abrir la página original.

Nuestro veredicto

Common Crawl es infraestructura pública en el sentido más literal: un archivo web gratuito a escala de petabytes, renovado cada mes, que en silencio ha sostenido el preentrenamiento de muchos grandes modelos de lenguaje. Para investigación NLP, minería de datos o construir un corpus serio, es la primera parada obvia. Pero es mena bruta, no un dataset acabado: espera limpieza intensa, deduplicación e infraestructura de verdad para descargas y procesamiento masivos. Entra con un plan de procesamiento y no tiene rival; espera datos llave en mano y te ahogarás.