데이터셋
고품질 오픈소스 AI 학습 데이터셋
Hugging Face 데이터셋 모음
Hugging Face가 호스팅하는 웹 최대 규모의 오픈소스 데이터셋 허브로, NLP·컴퓨터 비전·오디오·멀티모달 작업을 아우릅니다. 커뮤니티가 기여한 수십만 개의 데이터셋과 효율적인 스트리밍·로딩 도구를 제공하며, 텍스트 분류 벤치마크·이미지-캡션 쌍·음성-텍스트 말뭉치 등 고품질 학습 데이터를 찾는 곳입니다.
Kaggle Datasets Platform
Kaggle은 머신러닝 대회, 실무 문제, 학술 연구를 아우르는 수만 개의 공개 데이터셋을 호스팅합니다. 모든 데이터셋은 내장 노트북으로 온라인 분석이 가능하며, 로컬 실험과 모델 훈련을 위해 직접 다운로드할 수 있습니다.
Papers with Code 데이터셋
Papers with Code는 학술 논문의 벤치마크 데이터셋을 해당 SOTA 모델 및 오픈소스 구현과 연결하여, 방법 비교, 결과 재현, 연구에 적합한 데이터셋과 코드 베이스라인 찾기를 쉽게 합니다.
Google 데이터셋 검색
Google Dataset Search는 수천 개 출처의 공개 데이터셋을 인덱싱하는 전용 검색엔진으로, 연구자와 개발자가 호스팅 위치에 관계없이 훈련·분석·검증에 필요한 특정 데이터를 빠르게 찾을 수 있습니다.
Common Crawl 웹 코퍼스
Common Crawl는 페타바이트 규모의 오픈 웹 크롤링 코퍼스로, 많은 대규모 언어 모델의 사전학습 데이터 기반 소스로 활용됩니다. 이 코퍼스는 무료로 다운로드할 수 있으며 NLP 연구, 데이터 마이닝, 대규모 머신러닝 실험에 널리 사용됩니다.
LAION Open 멀티모달 데이터셋
LAION(Large-Scale Artificial Intelligence Open Network)은 CLIP, Stable Diffusion 등 멀티모달 모델 학습에 널리 사용된 대규모 오픈 이미지-텍스트 쌍 데이터셋을 제공합니다. 이 데이터셋은 무료로 제공되며 오픈소스 생성 AI 연구의 핵심 인프라로 활용됩니다.
UCI 머신러닝 저장소
UCI 머신러닝 저장소는 1990년대 후반부터 유지되어 온 수백 개의 정형 데이터셋 컬렉션으로, 실습, 알고리즘 벤치마킹, 전 세계 대학의 머신러닝 기초 교육에 널리 활용되고 있습니다.
The Stack 소스 코드 데이터셋
The Stack은 BigCode 프로젝트의 관대한 라이선스 대규모 소스코드 데이터셋으로, 수백 개의 프로그래밍 언어를 포괄합니다. 코드 생성 모델의 사전학습과 평가에 널리 사용되며, 책임 있는 데이터 활용을 위한 옵트아웃 메커니즘과 중복 제거 도구를 갖추고 있습니다.
ImageNet
ImageNet은 수천 개 범주에 걸친 수백만 장의 라벨링된 이미지를 갖춘 기념비적 대규모 이미지 데이터셋입니다. ILSVRC 벤치마크 대회를 통해 컴퓨터 비전의 딥러닝 혁명을 이끌었으며, 지금도 사전학습, 전이학습, 이미지 분류 모델 평가의 토대로 남아 있습니다.
Alpaca-Cleaned
Alpaca-Cleaned – Hugging Face에서 공개한 yahma의 언어 모델링 데이터셋.
Alpaca CoT
Alpaca CoT – Hugging Face에서 공개한 QingyiSi의 중국어 오픈 데이터셋.
Alpaca
Alpaca – Hugging Face에서 공개한 tatsu-lab의 언어 모델링 데이터셋.
Bad Prompt
Bad Prompt – Hugging Face에서 공개한 Nerfgun3의 오픈 데이터셋.
c4
c4 – Hugging Face에서 공개한 allenai의 다국어 언어 모델링 데이터셋.
Chinese DeepSeek R1 Distill data 110k
Chinese DeepSeek R1 Distill data 110k – Hugging Face에서 공개한 Congliu의 중국어 언어 모델링 데이터셋.
COIG CQIA
COIG CQIA – Hugging Face에서 공개한 m-a-p의 중국어 질의응답 데이터셋.
Cosmopedia
Cosmopedia – Hugging Face에서 공개한 HuggingFaceTB의 오픈 데이터셋.
CulturaX
CulturaX – Hugging Face에서 공개한 uonlp의 다국어 언어 모델링 데이터셋.
Databricks Dolly 15k
Databricks Dolly 15k – Hugging Face에서 공개한 databricks의 질의응답 데이터셋.
DiffusionDB
DiffusionDB – Hugging Face에서 공개한 poloclub의 이미지 캡셔닝 데이터셋.
Dolma
Dolma – Hugging Face에서 공개한 allenai의 언어 모델링 데이터셋.
EasyNegative
EasyNegative – Hugging Face에서 공개한 gsdf의 오픈 데이터셋.
Falcon RefinedWeb
Falcon RefinedWeb – Hugging Face에서 공개한 tiiuae의 언어 모델링 데이터셋.
📄 FinePDFs
📄 FinePDFs – Hugging Face에서 공개한 HuggingFaceFW의 언어 모델링 데이터셋.
FineWeb
FineWeb – Hugging Face에서 공개한 HuggingFaceFW의 언어 모델링 데이터셋.
🥂 FineWeb 2
🥂 FineWeb 2 – Hugging Face에서 공개한 HuggingFaceFW의 언어 모델링 데이터셋.
FineWeb-Edu
FineWeb-Edu – Hugging Face에서 공개한 HuggingFaceFW의 언어 모델링 데이터셋.
GAIA
GAIA – Hugging Face에서 공개한 gaia-benchmark의 오픈 데이터셋.
GLUE (General Language Understanding Evaluation benchmark)
GLUE (General Language Understanding Evaluation benchmark) – Hugging Face에서 공개한 nyu-mll의 텍스트 분류 데이터셋.
Grade School Math 8K
Grade School Math 8K – Hugging Face에서 공개한 openai의 언어 모델링 데이터셋.
Hh Rlhf
Hh Rlhf – Hugging Face에서 공개한 Anthropic의 오픈 데이터셋.
hle
hle – Hugging Face에서 공개한 cais의 오픈 데이터셋.
ImageNet
ImageNet – Hugging Face에서 공개한 ILSVRC의 이미지 분류 데이터셋.
IMDB
IMDB – Hugging Face에서 공개한 stanfordnlp의 텍스트 분류 데이터셋.
Infinity Instruct
Infinity Instruct – Hugging Face에서 공개한 BAAI의 중국어 언어 모델링 데이터셋.
Internship Warehouse
Internship Warehouse – Hugging Face에서 공개한 FlyRank의 오픈 데이터셋.
Llama Nemotron Post Training Dataset
Llama Nemotron Post Training Dataset – Hugging Face에서 공개한 nvidia의 오픈 데이터셋.
LLaVA Instruct 150K
LLaVA Instruct 150K – Hugging Face에서 공개한 liuhaotian의 질의응답 데이터셋.
Lmsys Chat 1m
Lmsys Chat 1m – Hugging Face에서 공개한 lmsys의 오픈 데이터셋.
medical o1 reasoning SFT
medical o1 reasoning SFT – Hugging Face에서 공개한 FreedomIntelligence의 중국어 질의응답 데이터셋.
Medical Prescription English Audio Dataset
Medical Prescription English Audio Dataset – Hugging Face에서 공개한 HumynLabs의 오픈 데이터셋.
Measuring Massive Multitask Language Understanding
Measuring Massive Multitask Language Understanding – Hugging Face에서 공개한 cais의 질의응답 데이터셋.
MNBVC
MNBVC – Hugging Face에서 공개한 liwu의 중국어 언어 모델링 데이터셋.
NuminaMath CoT
NuminaMath CoT – Hugging Face에서 공개한 AI-MO의 언어 모델링 데이터셋.
OpenAssistant Conversations
OpenAssistant Conversations – Hugging Face에서 공개한 OpenAssistant의 다국어 오픈 데이터셋.
OpenHermes 2.5
OpenHermes 2.5 – Hugging Face에서 공개한 teknium의 오픈 데이터셋.
OpenOrca
OpenOrca – Hugging Face에서 공개한 Open-Orca의 텍스트 분류 데이터셋.
OpenR1 Math 220k
OpenR1 Math 220k – Hugging Face에서 공개한 open-r1의 오픈 데이터셋.
OpenThoughts 114k
OpenThoughts 114k – Hugging Face에서 공개한 open-thoughts의 오픈 데이터셋.
Opus 4.6 Reasoning 3000x filtered
Opus 4.6 Reasoning 3000x filtered – Hugging Face에서 공개한 nohurry의 오픈 데이터셋.
PersonaHub
PersonaHub – Hugging Face에서 공개한 proj-persona의 중국어 언어 모델링 데이터셋.
PhysicalAI Autonomous Vehicles
PhysicalAI Autonomous Vehicles – Hugging Face에서 공개한 nvidia의 오픈 데이터셋.
Prompts.chat
Prompts.chat – Hugging Face에서 공개한 fka의 질의응답 데이터셋.
RedPajama Data 1T
RedPajama Data 1T – Hugging Face에서 공개한 togethercomputer의 언어 모델링 데이터셋.
ShareGPT Vicuna unfiltered
ShareGPT Vicuna unfiltered – Hugging Face에서 공개한 anon8231489123의 오픈 데이터셋.
SQuAD
SQuAD – Hugging Face에서 공개한 rajpurkar의 질의응답 데이터셋.
Synthetic Text To Sql
Synthetic Text To Sql – Hugging Face에서 공개한 gretelai의 질의응답 데이터셋.
The-Stack-v2
The-Stack-v2 – Hugging Face에서 공개한 bigcode의 언어 모델링 데이터셋.
TinyStories
TinyStories – Hugging Face에서 공개한 roneneldan의 언어 모델링 데이터셋.
UltraChat 200k
UltraChat 200k – Hugging Face에서 공개한 HuggingFaceH4의 언어 모델링 데이터셋.
+ 1,766 more — 전체 보기 →