データセット
高品質なオープンソースの AI 学習データセット
Hugging Face データセット集
Hugging Face がホストする世界最大級のオープンソースデータセットハブ。NLP、コンピュータビジョン、音声、マルチモーダルタスクを網羅し、コミュニティが貢献した数十万のデータセットと効率的なストリーミング・ローディングユーティリティを提供。テキスト分類ベンチマーク、画像キャプションペア、音声文字起こしコーパスなど、高品質な学習データを探すならまずここ。
Kaggle データセットプラットフォーム
Kaggle は機械学習コンペ、実務の問題、学術研究にまたがる数万の公開データセットをホストする。全データセットは組み込みノートブックでオンライン分析でき、ローカルでの実験やモデル訓練用に直接ダウンロードも可能。
Papers with Code データセット
Papers with Code は学術論文のベンチマークデータセットを、対応する最先端モデルやオープンソース実装にリンクする。手法の比較、結果の再現、研究に適したデータセットとコードベースラインの発見が容易になる。
Google データセット検索
Google Dataset Search は数千のソースにまたがる公開データセットをインデックスする専用検索エンジンで、研究者や開発者がホスティング先にかかわらず、訓練・分析・検証に必要な特定データを素早く特定できる。
Common Crawl Web コーパス
Common Crawl はオープンなペタバイト規模の Web クロールコーパスで、多くの大規模言語モデルの事前学習データ基盤として利用されている。コーパスは自由にダウンロードでき、NLP 研究、データマイニング、大規模 ML 実験に広く使われている。
LAION オープンマルチモーダルデータセット
LAION(Large-Scale Artificial Intelligence Open Network)は、CLIP や Stable Diffusion などのマルチモーダルモデルの学習に広く利用されてきた大規模なオープンソース画像-テキスト対データセットを提供する。データセットは自由に利用可能で、オープンソース生成 AI 研究の重要インフラとなっている。
UCI 機械学習リポジトリ
UCI 機械学習リポジトリは 1990 年代後半から維持されている数百の構造化データセットからなる古典的コレクションで、実践練習、アルゴリズムのベンチマーク、そして世界中の大学における機械学習基礎教育に広く利用されている。
The Stack ソースコードデータセット
The Stack は BigCode プロジェクトによる大規模で寛容なライセンスのソースコードデータセットで、数百のプログラミング言語をカバーする。コード生成モデルの事前学習と評価に広く使われ、責任あるデータ実践を支えるオプトアウト機構と重複排除ツールを備える。
ImageNet
ImageNet は数千カテゴリにわたる数百万のラベル付き画像を備えた画期的な大規模画像データセット。ILSVRC ベンチマーク競技を通じてコンピュータビジョンの深層学習革命を牽引し、今なお事前学習、転移学習、画像分類モデル評価の基盤であり続けている。
Alpaca-Cleaned
Alpaca-Cleanedは、yahma が Hugging Face で公開している言語モデリングデータセットです。
Alpaca CoT
Alpaca CoTは、QingyiSi が Hugging Face で公開している中国語のオープンデータセットです。
Alpaca
Alpacaは、tatsu-lab が Hugging Face で公開している言語モデリングデータセットです。
Bad Prompt
Bad Promptは、Nerfgun3 が Hugging Face で公開しているオープンデータセットです。
c4
c4は、allenai が Hugging Face で公開している多言語の言語モデリングデータセットです。
Chinese DeepSeek R1 Distill data 110k
Chinese DeepSeek R1 Distill data 110kは、Congliu が Hugging Face で公開している中国語の言語モデリングデータセットです。
COIG CQIA
COIG CQIAは、m-a-p が Hugging Face で公開している中国語の質問応答データセットです。
Cosmopedia
Cosmopediaは、HuggingFaceTB が Hugging Face で公開しているオープンデータセットです。
CulturaX
CulturaXは、uonlp が Hugging Face で公開している多言語の言語モデリングデータセットです。
Databricks Dolly 15k
Databricks Dolly 15kは、databricks が Hugging Face で公開している質問応答データセットです。
DiffusionDB
DiffusionDBは、poloclub が Hugging Face で公開している画像キャプションデータセットです。
Dolma
Dolmaは、allenai が Hugging Face で公開している言語モデリングデータセットです。
EasyNegative
EasyNegativeは、gsdf が Hugging Face で公開しているオープンデータセットです。
Falcon RefinedWeb
Falcon RefinedWebは、tiiuae が Hugging Face で公開している言語モデリングデータセットです。
📄 FinePDFs
📄 FinePDFsは、HuggingFaceFW が Hugging Face で公開している言語モデリングデータセットです。
FineWeb
FineWebは、HuggingFaceFW が Hugging Face で公開している言語モデリングデータセットです。
🥂 FineWeb 2
🥂 FineWeb 2は、HuggingFaceFW が Hugging Face で公開している言語モデリングデータセットです。
FineWeb-Edu
FineWeb-Eduは、HuggingFaceFW が Hugging Face で公開している言語モデリングデータセットです。
GAIA
GAIAは、gaia-benchmark が Hugging Face で公開しているオープンデータセットです。
GLUE (General Language Understanding Evaluation benchmark)
GLUE (General Language Understanding Evaluation benchmark)は、nyu-mll が Hugging Face で公開しているテキスト分類データセットです。
Grade School Math 8K
Grade School Math 8Kは、openai が Hugging Face で公開している言語モデリングデータセットです。
Hh Rlhf
Hh Rlhfは、Anthropic が Hugging Face で公開しているオープンデータセットです。
hle
hleは、cais が Hugging Face で公開しているオープンデータセットです。
ImageNet
ImageNetは、ILSVRC が Hugging Face で公開している画像分類データセットです。
IMDB
IMDBは、stanfordnlp が Hugging Face で公開しているテキスト分類データセットです。
Infinity Instruct
Infinity Instructは、BAAI が Hugging Face で公開している中国語の言語モデリングデータセットです。
Internship Warehouse
Internship Warehouseは、FlyRank が Hugging Face で公開しているオープンデータセットです。
Llama Nemotron Post Training Dataset
Llama Nemotron Post Training Datasetは、nvidia が Hugging Face で公開しているオープンデータセットです。
LLaVA Instruct 150K
LLaVA Instruct 150Kは、liuhaotian が Hugging Face で公開している質問応答データセットです。
Lmsys Chat 1m
Lmsys Chat 1mは、lmsys が Hugging Face で公開しているオープンデータセットです。
medical o1 reasoning SFT
medical o1 reasoning SFTは、FreedomIntelligence が Hugging Face で公開している中国語の質問応答データセットです。
Medical Prescription English Audio Dataset
Medical Prescription English Audio Datasetは、HumynLabs が Hugging Face で公開しているオープンデータセットです。
Measuring Massive Multitask Language Understanding
Measuring Massive Multitask Language Understandingは、cais が Hugging Face で公開している質問応答データセットです。
MNBVC
MNBVCは、liwu が Hugging Face で公開している中国語の言語モデリングデータセットです。
NuminaMath CoT
NuminaMath CoTは、AI-MO が Hugging Face で公開している言語モデリングデータセットです。
OpenAssistant Conversations
OpenAssistant Conversationsは、OpenAssistant が Hugging Face で公開している多言語のオープンデータセットです。
OpenHermes 2.5
OpenHermes 2.5は、teknium が Hugging Face で公開しているオープンデータセットです。
OpenOrca
OpenOrcaは、Open-Orca が Hugging Face で公開しているテキスト分類データセットです。
OpenR1 Math 220k
OpenR1 Math 220kは、open-r1 が Hugging Face で公開しているオープンデータセットです。
OpenThoughts 114k
OpenThoughts 114kは、open-thoughts が Hugging Face で公開しているオープンデータセットです。
Opus 4.6 Reasoning 3000x filtered
Opus 4.6 Reasoning 3000x filteredは、nohurry が Hugging Face で公開しているオープンデータセットです。
PersonaHub
PersonaHubは、proj-persona が Hugging Face で公開している中国語の言語モデリングデータセットです。
PhysicalAI Autonomous Vehicles
PhysicalAI Autonomous Vehiclesは、nvidia が Hugging Face で公開しているオープンデータセットです。
Prompts.chat
Prompts.chatは、fka が Hugging Face で公開している質問応答データセットです。
RedPajama Data 1T
RedPajama Data 1Tは、togethercomputer が Hugging Face で公開している言語モデリングデータセットです。
ShareGPT Vicuna unfiltered
ShareGPT Vicuna unfilteredは、anon8231489123 が Hugging Face で公開しているオープンデータセットです。
SQuAD
SQuADは、rajpurkar が Hugging Face で公開している質問応答データセットです。
Synthetic Text To Sql
Synthetic Text To Sqlは、gretelai が Hugging Face で公開している質問応答データセットです。
The-Stack-v2
The-Stack-v2は、bigcode が Hugging Face で公開している言語モデリングデータセットです。
TinyStories
TinyStoriesは、roneneldan が Hugging Face で公開している言語モデリングデータセットです。
UltraChat 200k
UltraChat 200kは、HuggingFaceH4 が Hugging Face で公開している言語モデリングデータセットです。
+ 1,766 more — すべて表示 →