💆
データソニフィケーション入門: 準備編

2025/09/18に公開
先日、偶然「データソニフィケーション」という分野に出会いました。データを音で表現する、というアイデアです。面白そうだけど、私には、音響工学の知識も、音楽理論の素養もありません。
https://zenn.dev/xiushu53/articles/invitation-to-data-sonification
この記事は、そんな専門家ではない私がデータソニフィケーションの世界に足を踏み入れるために調べたことの記録です。

同じようにこの分野に興味を持った方への、入門のための情報として共有できればと思います。

 Step 1: 基礎を知ろう —『The Sonification Handbook』
何事も、まずは基本から。この分野の多くの専門家が「バイブル」だと語る一冊。『The Sonification Handbook』 です。幸いなことに、このハンドブックは無料でダウンロードして読むことができます。2011年出版で、まさにこれを読むことが入門と言えそうです。
とはいえ、まだ読んでないので、目次だけ列挙します。
https://sonification.de/handbook/
Contents

1 Introduction
【I Fundamentals of Sonification, Sound and Perception】

2 Theory of Sonification

3 Psychoacoustics

4 Perception, Cognition and Action in Auditory Displays

5 Sonic Interaction Design

6 Evaluation of Auditory Display

7 Sonification Design and Aesthetics 145 Stephen Barrass and Paul Vickers
【II Sonification Technology】

8 Statistical Sonification for Exploratory Data Analysis

9 Sound Synthesis for Auditory Display

10 Laboratory Methods for Experimental Sonification

11 Interactive Sonification
【III Sonification Techniques】

12 Audification

13 Auditory Icons

14 Earcons

15 Parameter Mapping Sonification

16 Model-Based Sonification
【IV Applications】

17 Auditory Display in Assistive Technology

18 Sonification for Process Monitoring

19 Intelligent auditory alarms

20 Navigation of Data

21 Aiding Movement with Sonification in “Exercise, Play and Sport”
4セクション、21章で構成され、「可聴化、音、知覚の基礎」から始まり、「可聴化の技術」「可聴化の手法」「応用」と、データソニフィケーションがどのような研究領域で、どのような基礎理論があるかなどが網羅的に書かれています。この一冊を道しるべにすることで、全体像と背後にある深い学術的知見を掴むことができそうです。ありがたい。

 Step 2: 学術コミュニティ「ICAD」
ハンドブックから約15年どのように進展し、最前線はどこかを把握したいですね。この研究分野の中心となっているのが、1992年に設立された聴覚ディスプレイに関する国際学会（International Conference on Auditory Display, ICAD） です。
https://icad.org/
ICADは、音を用いた情報表示に特化した、世界で唯一かつ最も重要な学術会議。コンピュータ科学、認知科学、人間工学、音楽、デザイン、アートなど、多様な背景を持つ研究者や実践者が一堂に会する、極めて学際的なコミュニティであることが最大の特徴です。
この分野の動向をキャッチアップするには、ICADが提供するリソースを活用するのが最も効率的でしょう。

 論文を読み解く：ICADプロシーディングス
ICADで発表された過去のすべての論文（プロシーディングス）は、ジョージア工科大学のSMARTechリポジトリにて、誰でも無料で検索・閲覧できます。これは、最新の研究成果や技術動向を追うための、最も価値のある情報源です。
ジョージア工科大学のSMARTechリポジトリ > ICAD
また年次総会も開催されており、近年のテーマを見るだけでも、この分野のトレンドが読み取れそうです。

ICAD 2023: "Sonification for the Masses"（大衆のためのソニフィケーション）: 研究者向けの専門ツールから、一般ユーザーが日常的に使えるアプリケーションやメディアへの展開が大きな焦点となりました
https://icad2023.icad.org/

ICAD 2024: "Sonification // Spatialization"（ソニフィケーションと空間音響）: 立体音響（3Dサウンド）技術を統合し、データを表現するための新たな次元として「空間」を活用する試みがテーマです。これは、WebXRやメタバースといった分野に関わる人にとっても、新たな表現の可能性を示すものです
https://icad2024.icad.org/

ICAD 2025: "Let's Play Together"（みんなで一緒に遊ぼう）: 音の社会的側面を学際的に探求し、研究者、アーティスト、実践者が協力して創造的環境で経験を交換すること目指す
https://icad2025.icad.org/

 事例から学ぶ：アワード受賞作品と事例集
優れた実践例は刺激になり、視野を広げてくれます。

ICADアワード: ICADの公式サイトでは、毎年のBest Paper Awardなどの受賞作品が公開されています。これらの論文は、その年の最も注目すべき研究成果であり、読む価値が非常に高いと言えるでしょう。

Data Sonification Archive: 世界中の優れたソニフィケーション事例を体系的に収集・公開しているオンラインアーカイブです。ジャーナリズム、アート、科学コミュニケーション、アクセシビリティといったカテゴリ別に、多種多様なプロジェクトが紹介されており、インスピレーションの宝庫です。
https://sonification.design/

 掲載事例Data Sonification Archiveには非常に多くのソニフィケーションコンテンツがまとめられています。その一部を掲載しておきます。
https://youtu.be/8h3_ijIudHo?si=LmaSt36VQw2sOIjh
https://vis.csh.ac.at/heat-chords/
https://microbial-symphony.vercel.app/

 データジャーナリズム関連の先進事例
The Guardian (ガーディアン)

アクセシビリティ向上を明確な目標として掲げ、noisychartsという独自ツールを開発したことが特筆される 。このプロジェクトは、視覚障害を持つ読者がスクリーンリーダーでグラフを「再生」できるようにするという初期の試みから発展した。noisychartsは、グラフを音声付きのアニメーションとして迅速に生成でき、ポッドキャストやTikTokのような音声・動画中心のプラットフォームでのデータ共有を容易にすることを目的としている。具体的な事例として、Meta社の株価の暴落を「悲しいトロンボーン」の物悲しい音色で表現したり、シドニーの記録的な豪雨による累積雨量の増加をピッチの急激な上昇で示したりするなど、深刻なニュースからユニークな話題まで幅広く活用し、データ報道の表現の幅を広げている
https://www.theguardian.com/news/datablog/2022/nov/16/noisycharts-sound-graphs-data-sonification-introducing-guardian-australia-software-tool-app-examples

The New York Times (ニューヨーク・タイムズ)

音の持つ「体感的」な力を巧みに利用し、読者に強烈な印象を与える報道を実践している。2017年のラスベガス銃乱射事件の報道では、半自動小銃に「バンプストック」という装置を取り付けることで連射速度がどれほど増すかを、単純なタップ音のテンポの違いで表現した 。読者はその速度差を視覚的に見るだけでなく、聴覚的に「体感」することで、銃規制に関する議論の核心を直感的に理解することができる。また、新型コロナウイルスのパンデミックによって静まり返った都市の騒音を、1年前の同じ場所の録音と比較して提示するなど、音そのものをデータとして活用するアプローチも見られる
https://www.nytimes.com/interactive/2017/10/04/us/bump-stock-las-vegas-gun.html

BBC (英国放送協会)

複雑な経済ニュースを分かりやすく伝えるためにソニフィケーションを活用している。2016年のブレグジット（英国のEU離脱）決定直後、英ポンドの為替レートが急落した際には、通貨の価値の変動を音のピッチの下降にマッピングし、その劇的な下落を聴覚的に表現した 。これにより、抽象的な経済指標の変動が、まるで物が落下するような直感的な出来事としてリスナーに伝えられた。また、COVID-19による膨大な死者数を、その規模が感覚的に理解できるように視聴覚アニメーションとして制作するなど、社会的なテーマにおいてもソニフィケーションを応用している
https://www.bbc.co.uk/news/resources/idt-7464500a-6368-4029-aa41-ab94e0ee09fb

KQED (米国公共ラジオ局)

ポッドキャストという音声メディアの特性を最大限に活かした事例として高く評価されている。過去1200年間にわたる地球の平均気温と大気中のCO2濃度を音に変換した番組では、気温の上昇を連続的な音のピッチの上昇で、CO2濃度の増加を弦楽器の音の密度と活発さで表現した 。さらに、ソニフィケーションの再生中に、マグナ・カルタの署名やニクソンの辞任といった歴史上の出来事をナレーションで挿入することで、リスナーに時間的な文脈を提供し、人間の寿命をはるかに超える気候変動の長大な時間スケールを「体験」させることに成功した
https://youtu.be/ONuA9HmkF3M?si=F3l56tkitsToiMJz

 その他
ポッドキャスト「Loud Numbers」

「データを音に変換する世界初のポッドキャスト」として、各エピソードでデータストーリーを紹介し、それをどのように音響化したかを説明し、作成した音楽トラックを再生する。気候変動、昆虫の減少、ビールの味など様々なトピックを扱い、テクノからクラシックまで幅広いジャンルの楽曲を通じてデータに生命を吹き込み、感情を呼び起こし、新たな聴衆にリーチしている。uncan GeereとMiriam Quickによって設立されたデータソニフィケーションスタジオが制作
https://www.loudnumbers.net/

 Step 3: 理論の概要を知る
本格的な実践に入る前に、ソニフィケーションの理論的な位置づけを自分なりに整理しておきます。

 概念の整理：包含関係を理解する
この分野の用語が、どのような階層構造になっているのか、AIと共に整理しました。

聴覚ディスプレイ (Auditory Display) -【大分類】

これは最も広い概念で、「音を使って情報を伝達するあらゆる仕組み」を指します。コンピュータの画面が「視覚ディスプレイ」であるのと同様に、聴覚ディスプレイは人間の聴覚チャンネルを利用するインターフェース全般を意味します。これには、後述するデータソニフィケーションだけでなく、スクリーンリーダーによるウェブページの読み上げのような音声（Speech）も含まれます

データソニフィケーション (Data Sonification) -【中分類】

データソニフィケーションは、聴覚ディスプレイという大きな枠組みの中の、より専門的な一分野です。その定義は「非言語音（non-speech audio）を用いて、データ内の関係性を、知覚できる音の関係性に体系的に変換すること」とされています。ここでの重要なポイントは、話し言葉ではない「非言語音」を用いる点です

パラメータマッピング (Parameter Mapping) - 【小分類】

データを音の属性（高さ、音量など）に割り当てる手法

オーディフィケーション (Audification) - 【小分類】

地震波など、データ波形そのものを直接音として聴く手法

モデルベース (Model-Based Sonification) - 【小分類】

データを仮想的な「音を出すシステム」への入力として利用するインタラクティブな手法。パラメータマッピングとの違いは、例えば、データを音階やコードに当てはめたり、外れ値には特定の音を割り当てるなど、出力モデルのデザインが介在する点でしょうか

聴覚アイコン (Auditory Icons) - 【小分類】

現実世界の音を比喩的に使い、特定のイベントを表現します（例：ゴミ箱を空にする時の「紙をくしゃくしゃにする音」）

イアコン (Earcons) - 【小分類】

抽象的・音楽的な合成音を使い、特定のイベントを表現します。学習によって意味を理解するもので、新着メッセージの通知音など、デザインされた「効果音」



 学際的な世界：ソニフィケーションを支える隣接領域
ICADのコミュニティが示すように、データソニフィケーションは単一の技術分野ではなく、多様な専門知識が交差する「学際的な」領域です。この分野を深めていくには、隣接する領域を知ることも必要になりそうです。

コンピュータ科学 / HCI: ソニフィケーションの技術的な基盤です。リアルタイムの音声合成アルゴリズムや、ユーザーが直感的に操作できるインターフェースの設計などが含まれます

心理学 / 認知科学: 人間が音をどう知覚し、意味を理解するのかを探求します。特に心理音響学 (Psychoacoustics) の知見は、どの音響パラメータがどのデータ表現に最も効果的かを判断する上で不可欠です

デザイン / 人間工学: 聴き手にとって分かりやすく、効果的で、心地よい聴覚体験をいかに設計するかを扱います。機能性だけでなく、ユーザー体験（UX）全体を考慮する視点が重要になります

芸術 / 音楽: 音楽理論や作曲技法は、データを単なる音の羅列ではなく、構造的で魅力的な「物語」として表現するための豊かな知見を提供します

 Step 4: 実践するには
理論を学び、事例に触れたら、いよいよ自分の手でデータを音に変換してみたいですよね。

 1: ノーコードのWebアプリケーション
まずはコンセプトを掴むために、コーディングなしでソニフィケーションを体験できるツールから。

TwoTone.io: Google News Initiativeの支援を受けて開発された、非常に使いやすい無料のWebツールです。CSVファイルをアップロードし、GUIでデータの列を楽器や音階にマッピングするだけで、MP3やWAV形式の音声ファイルを生成できます
https://twotone.io/

DataSonifyer: ジャーナリストによって開発された、こちらも無料のWebツール。周波数、リズム、エフェクトなど、より詳細な音響パラメータを直感的に操作できます
https://datasonifyer.de/en/

Highcharts Sonification Studio: 人気のグラフライブラリHighchartsが提供するツール。既存のチャートに音声を追加する感覚で、インタラクティブなオーディオグラフを簡単に作成できます。
https://sonification.highcharts.com/#/

 2: JavaScriptライブラリ
よりインタラクティブで、アプリケーションに深く統合されたソニフィケーションを実装したい場合、JavaScriptライブラリが強力な武器となります。

 Web Audio API: すべての基礎
モダンブラウザに標準で搭載されている高レベルAPIで、Webアプリケーション内で音声の処理や合成を行うための基盤技術です。音声ソース（AudioBufferSourceNode）を生成し、ゲイン（GainNode）やフィルター（BiquadFilterNode）といったノードを繋ぎ合わせ、最終的に出力先（destination）に接続するという、モジュラーシンセサイザーのような概念で動作します。
https://developer.mozilla.org/ja/docs/Web/API/Web_Audio_API
// AudioContextを作成  
const audioContext \= new AudioContext();

// Oscillator（音源）を作成  
const oscillator \= audioContext.createOscillator();  
// GainNode（音量調整）を作成  
const gainNode \= audioContext.createGain();

// データに基づいて周波数(ピッチ)と音量を設定  
// const dataPoint \= fetchData();  
// oscillator.frequency.setValueAtTime(dataPoint.value \* 100, audioContext.currentTime);  
// gainNode.gain.setValueAtTime(dataPoint.volume, audioContext.currentTime);

// ノードを接続: Oscillator \-\> Gain \-\> Destination(スピーカー)  
oscillator.connect(gainNode);  
gainNode.connect(audioContext.destination);

// 音の再生を開始  
oscillator.start();

 Tone.js: Web Audio APIの強力なラッパー
Web Audio APIを直接使うこともできますが、より音楽的で複雑な処理を簡単に行うならTone.jsがデファクトスタンダードです。DAW（音楽制作ソフト）のような使い慣れた概念を提供し、Web Audio APIの複雑さを抽象化してくれます。
https://tonejs.github.io/
import \* as Tone from 'tone';

// シンセサイザーを作成  
const synth \= new Tone.Synth().toDestination();

// ユーザーのクリックイベントでオーディオを開始  
document.querySelector('button')?.addEventListener('click', async () \=\> {  
	await Tone.start();  
	console.log('audio is ready');

    // データの配列  
    const data \= \[261.63, 293.66, 329.63, 349.23, 392.00\]; // ドレミファソの周波数(Hz)

    // データをシーケンスとして再生  
    const seq \= new Tone.Sequence((time, note) \=\> {  
        synth.triggerAttackRelease(note, 0.1, time);  
    }, data, "4n").start(0);

    // トランスポートを開始  
    Tone.Transport.start();  
})

 Chart2Music: 既存チャートに手軽に統合できるライブラリ
Chart2Musicは、RechartsやChart.jsなどで描画されたSVGグラフに、後から機能を追加できるJS/TSライブラリです。既存のプロジェクトを大幅に変更することなく、アクセシビリティを向上させることができます。視覚障害者がデータを聞き取れるようにすることを目的にしており、開発チームには視覚障害者が参加し、設計、開発、テストの各段階に関わっているようです。
https://www.chart2music.com/docs/

 5. 旅のはじまり
とりあえず、入門するぞと意気込んで、調べたことの概要です。
可聴化は古くから研究されていますが、デジタルツールの発展によって、より手軽に実装できるようになり、VRやAR、イマーシブなど聴覚というチャネルの活用機会も目に見えて増えている局面ではないでしょうか。
本記事で紹介した学習パスが、私と同じように「データの声」を聴く旅を始めようとしている、あなたの参考になれば幸いです。
私もこれから頑張って入門します！ 続編を出せるかどうかわからないけど！
Step 1: 基礎を知ろう —『The Sonification Handbook』

Step 2: 学術コミュニティ「ICAD」

論文を読み解く：ICADプロシーディングス

事例から学ぶ：アワード受賞作品と事例集

掲載事例

データジャーナリズム関連の先進事例

その他

Step 3: 理論の概要を知る

概念の整理：包含関係を理解する

学際的な世界：ソニフィケーションを支える隣接領域

Step 4: 実践するには

1: ノーコードのWebアプリケーション

2: JavaScriptライブラリ

Web Audio API: すべての基礎

Tone.js: Web Audio APIの強力なラッパー

Chart2Music: 既存チャートに手軽に統合できるライブラリ

5. 旅のはじまり

Discussion
