Hugging Face 放流実験記 自作した4万枚の「生成AI用データセット」を巨大市場に放流してみた結果
はじめに：巨大データ市場の「凪」と「異常値」
公開1日目：19件
公開2日目：2,052件
公開3日目：前日比＋2件
以降：ずっとゼロ（凪）
これは、私が自作した4万枚の生成AI用データセットを、世界最大のAIプラットフォーム「Hugging Face」に公開した際の、リアルなダウンロード推移です。
私は普段、BlenderとPythonを組み合わせて、3D空間から画像を全自動生成する「プロシージャル生成パイプライン」を開発しています。※ツールそのものについては以下の記事を参照ください。
そこでふと、「ネットからスクレイピングした無断転載画像ではなく、自分がプログラムで完全制御して出力した『純度100%のクリーンな合成データ』を巨大市場に放り込んだら、どうなるだろうか？」という興味が湧きました。
出力された約5GBのデータを、一切の宣伝（SNS告知など）をせずに放流してみました。
そこで観測できたのは、システム制限に阻まれるデプロイの泥臭さと、一晩でデータを吸い尽くして消えていく「巨大AI企業のクローラーBot」の無慈悲な生態系でした。
1. 巨大データ放流の洗礼「2つのAPI制限」
Hugging Faceへの放流を決意したものの、最初の壁は「デプロイ（アップロード）そのもの」でした。
今回用意したデータは、ランダム生成した都市モデルを8方向から撮影し、それぞれ「RGB（メイン画像）」「Depth（深度）」「Normal（法線）」「Mask（セグメンテーション）」のパスに分けた、合計4万ファイル・約5GBのデータ群です。
これをブラウザからドラッグ＆ドロップしようとすると、当然のようにブラウザがフリーズしてクラッシュします。そこで私は、Hugging Face公式CLIに用意されていた強力なコマンドを使用しました。
# 巨大なフォルダ階層を丸ごとDatasetとしてプッシュする魔法のコマンド
# ※実行の際はご自身の環境に合わせて書き換えてください
hf upload-large-folder <your-username>/<your-dataset-name> . --repo-type dataset
これでローカルのツリー構造を維持したまま全自動でプッシュしてくれる……と安心したのも束の間、2つの強烈なシステム制限が牙を剥きました。
画像とテキストを分離するなど、この構造的な罠を回避するための再調整を行い、数時間の格闘の末……無事に4万ファイルの完全なデータセットがHugging Face上にデプロイされました。
ここから、一切の告知を行わずに放置する「観測実験」が幕を開けます。
2. 第1の実験「機械の波」〜宣伝ゼロで起きた異常な初速〜
無事に4万ファイルのアップロード（と、Hugging Face側でのParquet形式への自動変換処理）が完了したのを見届け、私はそのままPCを閉じました。
X（旧Twitter）や技術ブログでの告知は一切行っていません。 個人開発者ならご存知の通り、どれだけ凄いツールやデータを作っても、宣伝ゼロの初動は「良くて数件、基本はゼロ」が当たり前の世界です。
しかし、公開から2日目。Hugging Faceのアナリティクス画面を見た私は、我が目を疑いました。
- 公開1日目：19件
- 公開2日目：2,052件
なんと、無名の個人がひっそりと置いただけのデータセットが、一晩で2,000回以上もダウンロードされていたのです。
一体、世界中の誰が私のデータを見つけてダウンロードしたのか？
その答えは、3日目以降のデータ推移に明確に表れていました。
- 公開3日目：前日比 ＋2件
- 公開4日目以降： 0件（完全な凪）
もしこれが「人間のエンジニアたちの間で話題になった（バズった）」のであれば、緩やかな放物線を描いてDL数が伸びるはずです。しかし、現実は「一晩で一気に2,000件吸い上げられ、その後はピタッと止まる」という極端な絶壁のグラフでした。
この「2,000件」という数字の正体。
それは、世界中のAI企業や研究機関が走らせている 「クローラーBot（機械）」 たちです。
彼らはHugging Faceの新着フィードをシステム的に監視しています。そして「エラーなく読み込める構造化データ（Parquet形式など）」であり、「RGB、Depth、Normalなどが揃ったマルチパス画像」であり、「ライセンスが明記されているクリーンなデータ」を見つけると、人間が検知するよりも早く、一瞬で全データを吸い上げて自社のストレージに格納して去っていくのです。
2026/05/01 18時時点でのHFの公開ページ、ダウンロード数は右側の「Downloads last month」を参照。公開から半月以上たっているので、日に数件ずつ数が伸びていますが誤差の範疇になります。
「無宣伝で2,000件吸われる」ことの異常な引力
この「一晩で2,000件」という数字、他業種で例えるならどれほど異常なことか。相棒のAI（Gemini）と壁打ちをしていて出てきた例えが非常に的を射ていました。
- Steamに、無名のインディーゲームをひっそり置いただけで、一晩で「世界中のゲーム会社のAIが2,000回も全ソースコードをダウンロードして解析していった」
- YouTubeにタイトルもない動画を1本アップしたら、「GoogleのアルゴリズムBotが2,000回も巡回して情報を抜いていった」
通常のコンテンツ市場では絶対に起きないこの初速こそが、現在の生成AI界隈がいかに「新しいクリーンなデータ」に飢え、世界中から自動でデータを掻き集めているかという、巨大市場の圧倒的な「引力」の証明です。
「私が自作したデータセットは、世界のAI市場の品質フィルター（クローラーの対象）を確実にクリアした」。
Botによる「固定票2,000」が担保されたこと。その事実こそが、この第1の実験の最大の収穫でした。
しかし、ここで一つの疑問が湧きます。
機械（Bot）ではなく、 血の通った「人間のエンジニア」 は、このデータセットにどれほどの熱量を示してくれるのでしょうか？
それを計測するため、私は今、「第2の実験」 のスイッチを押しました。
3. 第2の実験「人間の熱量」——この記事の種明かし
無宣伝のデータ放流によって、巨大データ市場を巡回する「機械（Bot）の波」の存在と、私の生成データが彼らの品質フィルターをクリアしたことが証明されました。
しかし、私の本来の目的は「AIの餌」を供給することではありません。
血の通った「人間のエンジニアやクリエイター」は、この100%プロシージャルな合成データに対してどれほどの熱量（関心）を示してくれるのか。それを純粋に計測してみたいと考えました。
そのために、私は 「第2の実験」 を用意しました。
実は、皆さんが今この記事を読んでいる数日前、私はHugging Faceに 「第2弾のデータセット」 をひっそりと先行アップロードしています。
データ構造は第1弾と完全に同等。ランダムシード（配置）だけを変えた、スタンダードな都市モデルのマルチパス画像群です。
当然、今回もSNSでの事前告知は一切していません。
公開から1週間ほど経過した4月末日。HFのダッシュボードに刻まれた数字は、私の予想を裏切るものでした。
2026/05/01 18時時点でのHFの公開ページ、ダウンロード数は右側の「Downloads last month」を参照
結果は「77件」。第1弾の数千件という大波とは対照的な、完全な「凪（無風）」でした。
この静寂が意味するものは何でしょうか？
システムエンジニアとしてシステム挙動をプロファイリングした結果、一つの強烈な仮説に行き着きました。それは**「AIクローラーの高度な重複排除（Deduplication）能力」**です。
彼らのアルゴリズムは、第2弾のパブリッシャー、タグ、ファイル構造を瞬時にスキャンし、「これは第1弾ですでに学習したドメイン（プロシージャル都市）の単なるバリエーション違いである」と判定し、無駄な計算リソースとストレージの消費を避けるためにフルダウンロードをスキップしたのではないかということです。なお、77件という数字はタグ検索などで訪れた人間か新規で稼働を始めたクローラーが拾っていった数字ではないかと想定しています。
「AIはとにかく大量のデータを欲しがっている」というのは幻想であり、彼らは人間が想像する以上に冷酷で、極めて効率的な「目利き」を行っているのではないかというのが第2の実験結果から見えた結論です。
ここから先は「人間の数字」
ダウンロードカウンターが完全な「凪」を迎えたのを確認したうえで、私は今、このZennの記事を公開しました。
したがって、第2弾データセットのダウンロード数は、ここから先、次の方程式で構成されることになります。
すでにBotの巡回は終わっています。つまり、これ以降に新しく積み上がる「＋α」の数字はすべて、この記事を読み、「個人がBlenderで自動生成した4万枚のデータの中身、少し覗いてみるか」とリンクを踏んでくれた、血の通った人間の数だけを正確に反映します。
私が知りたいのは、データを自動で貪り食う巨大な機械の波に対して、個人の発信や技術に対する純粋な好奇心が、一体どれくらいの「α」を描き出すのかという、ただ一つの事実です。
データセットはHugging Faceに置いてあります。AI学習のテストモデルに組み込んでみるもよし、純粋に「どんな構成の画像が入っているのか」とファイルを開いてみるだけでも構いません。
巨大なデータ市場の片隅で行われているこのささやかな観測実験に、もし興味を持っていただけたなら、ぜひこの「＋α」の数字の推移を一緒に見守っていただければと思います。
4. 万能の「構成炉」を持つ強み —— 両陣営に素材を卸す工房として
今回の実験を通して、巨大なAI市場の「食欲」の凄まじさを肌で感じることができました。しかし同時に、システムエンジニアとして一つの冷酷な事実にも気づかされます。
それは、**「出力されたデータそのものはいずれ腐る」**ということです。
どれだけ高品質な4万枚の画像であっても、AIモデルが進化し「次は動画データが必要だ」「もっと複雑な物理シミュレーションのパスが必要だ」となれば、過去の静止画データセットはすぐに陳腐化します。限界効用が来るのはあっという間でしょう。
この事実から得られる教訓は、「出力されたデータ（結果）そのもの」を個人開発者の資産と考えてはいけない、ということです。
トレンドの変化に耐えうる本当の資産とは、**「条件に合わせてデータを無限に出力・再構成できる仕組み（パイプライン）」**を手元に持っておくことではないでしょうか。
私は今回のプロジェクトで構築した一連のBlender×Pythonスクリプト群を、単なるツールではなく「構成炉」として捉えています。この炉さえあれば、明日、市場が「時系列の動画データが欲しい」と言い出しても、カメラのコードを数行書き換え、キーフレームを打つだけで適応できます。
さらに重要なのは、この構成炉の恩恵を受けるのは「AI（機械）」だけではないという点です。
現在私は、同じ生成ロジックの出力設定を少し変え（カメラを正投影にし、背景を透過するだけ）、人間のインディーゲーム開発者向けの「2.5Dクォータービュー素材」としてBOOTHで展開しています（海外のitch.io等への進出も準備中です）。
今回の実験でひとまずの結論が見えたので、AI企業（機械）向けのデータ提供は今回の実験で準備した2回分までとして、今後の主体はインディーゲーム開発者（人間）向けの「AI不使用・著作権クリアの完全オリジナル背景素材」の提供としたいと考えています。
余談：AIクローラーを欺く「差分偽装」の思考実験
今回、私が放流した第2弾のデータが、クローラーの「重複排除アルゴリズム」によって見事にスルーされた事象から、システムエンジニアとして一つの面白い思考実験を思いつきました。
それは、「どうしてもAIに学習されたくない本命のデータ」を、あえてインターネットのノイズに沈めて守るというステルス戦術です。
クローラーが「限界効用の低い差分データ（既知のパターンのバリエーション）は、計算資源の無駄なのでスキップする」という冷徹な仕様を持っているのであれば、それを逆手に取れます。
- 囮（ダミー）の放流： まず、どうでもいい大量のダミーデータを「新規ドメイン」として放流し、クローラーに貪欲にフルダウンロード（学習）させる。
- 本命の擬態： 次に、本命のデータを「ダミーデータと全く同じタグ・同じパッケージ構造（Ver2などの連番）」に偽装してアップロードする。
- ノイズへの沈殿： クローラーはそれを「あ、またあのパターンね。もう十分学習したから今回はパス」と誤認して素通りする。
- 人間だけの到達： しかし、ブログやSNSの文脈（ストーリー）を読んでリンクを踏んだ「人間のエンジニア」だけは、その本命データに到達できる。
もちろん、これは特定の条件下でのみ成立するアイディアレベルの話であり、力技ですべてを吸い尽くすアグリゲーターには通用しないかもしれません。
しかし、「AIからデータを守る」ためのアプローチが、規約による制限やウォーターマークといった防御策だけでなく、「敵のアルゴリズムの癖を利用して自らをノイズ化する」という技術的なハックにも存在し得るというのは、非常に面白い気付きでした。
おわりに —— 良いも悪いも「リモコン」次第
画像生成AIの無断学習やデータ収奪という話題に対して、ただ怯えたり拒絶したりするだけでなく、「自らクリーンな構成炉を組み上げ、市場に供給する側に回ってみる」というアプローチをとってみました。
昔のロボットアニメに 「良いも悪いもリモコン次第」 という有名なフレーズがあります。私は、生成AIという底知れないテクノロジーに対するスタンスも、結局これに尽きると考えています。
AIという巨大な鉄の塊を前にして、ただ奪われ、飲み込まれるのを待つのか。それとも、自らの手でコードを書き、データを制御し、クリエイターとAIの両方に価値を提供する「強力な道具」として飼いならすのか。すべては、作り手である私たちの「リモコンの握り方」に委ねられているはずです。
今回の無告知の放流実験を通して見えたのは、ただ無慈悲にデータを吸い上げるクローラーBotの波と、その凪のあとに、新しい技術に興味を持って自らの意志でリンクを踏んでくれる「人間の熱量」のコントラストでした。
▼ 今回Hugging Faceに放流したデータセットはこちら
第1弾
第2弾
▼ 同じ構成炉から出力した「人間向け（ゲーム開発用）」のアセットはこちら
もし興味を持っていただけたなら、ぜひデータをダウンロードしてAI学習のテストに組み込んだり、ご自身のゲーム開発の背景として使い倒してみてください。
巨大な市場のうねりの中で、個人の泥臭いエンジニアリングがどこまで通用するのか。これからも、私は自作した構成炉の「リモコン」をしっかりと握りながら、この先の世界を静かに観測し続けようと思います。
Discussion