AI DJ Project — A dialogue between AI and a human

ABSTRACT

「AI DJ Project — A dialogue between AI and a human」は、2人のDJがお互いに曲をかけあうプレースタイル「Back to Back」を通して人間とAIの対話を目的としたプロジェクトである。

パフォーマンス中、AI DJは人間のかけた曲をその場で聞き、ビートを検出し、ジャンルを推定する。その情報を自らが学習したデータに反映し、次にかける曲を選び、ミックスまで行う。AIと人間がなるべく同じ条件下でプレーするため、両者はMP3などの楽曲データ（曲のタイトル・ジャンルなど）を含む音源ではなく、ターンテーブルとレコードを使用。AIはコンピュータの中ではなくOSC（OpenSound Control）で操作できるターンテーブルを用いてビート合わせを行う。

AI DJは流れに沿った選曲する時もあれば、人間では選ばないであろう曲：例えばアップテンポのテクノの次にフリージャズを選んだりと時折突拍子もない行動もする。
表現の分野において、私たちはAIを人間の模倣ではなく別のロジックを持った「Alternative Intelligence」と捉え、AIは人間の代わりではなく人間と共に思考できるパートナーとして活動している。本プロジェクトは、表現におけるテクノロジーと人間の関係についてDJを通し実験的に考察することを目的としている。

第21回文化庁メディア芸術祭アート部門　審査委員会推薦作品
Prix Ars Electronica 2018 Interactive Art + : Honorary Mentions

---

TECHNOLOGY

1. Deep learning system for selecting and mixing songs

1-a: 選曲

音楽ジャンル（ヒップホップ、テクノ、ダブステップ、ハウスなど）をラベリングした10,000以上の楽曲のスペクトログラムに基づいた聴覚特徴を抽出し学習させた、ジャンルを推定する畳み込みニューラルネットワーク（CNN）を開発した。一度これを学習させてしまえば、同じモデルを使用して高次元ベクトルで聴覚特徴を抽出し、T-SNEの次元削減アルゴリズムを用いてそれを3D空間に落とし込める。これにより、人間がかけている楽曲のオーディオデータをこのモデルに照らし合わせ、同じ3D空間にマップするため次の楽曲と同様のトーン／ムードを持つ最も近いものを選ぶことが可能になる。

1-b: ビート合わせ

2つめのニューラルネットワークは、人間がかけている曲のビートに対してAI DJが次にかけようとしている曲のビートを合わせるものである。「強化学習」とディープラーニングを用いて、ターンテーブルのnugde/pullを数百万回の試行錯誤を経て学習させた。

---

2. Visualization

a. 楽曲の特徴をマップしたT-SNE 3D空間
b. 次の曲を選ぶためのニューラルネットワークモデル内のアクティベーション
c. テンポ合わせのモデルの入力（ビートのタイムライン）と出力（アクション：ターンテーブルの操作）

---

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

---

PERFORMANCES
ARCHIVES

Date	Title	Place
2016/9/4	2045 Generation #4（京都岡崎音楽祭「OKAZAKI LOOPS」内）	京都国立近代美術館
2016/10/27	2045 × LIFE PAINT Supported by VOLVO CAR JAPAN	代官山UNIT
2017/2/17	DIGITAL CHOC — マシン・デジラント 欲望する機械 —	渋谷WWW
2017/9/14	Festival Speculum Artium 2017 in Slovenia	Zavod za kulturo Delavski dom Trbovlje, Slovenia
2017/9/21	SCOPITONE FESTIVAL 2017 in France	STEREOLUX, Nantes, France
2017/11/3	MUTEK.JP	日本科学未来館（Miraikan）
2017/12/15	sound tectonics #20（Guest DJ : tofubeats, Licaxxx）	山口情報芸術センター[YCAM]
2019/5/7	Google I/O 2019	Mountain View, California, USA
2019/6/1	Japan Media Arts Festival x MUTEK.JP	日本科学未来館（Miraikan）

---

REFERENCES

---

LINKS

---

CREDITS

• Concept / Programming

  Nao Tokui (Qosmo, Inc.)

• Visualization

  Shoya Dozono (Qosmo, Inc.)

• Assistant

  Yuma Kajihara (Qosmo, Inc.)

• Robot

  TASKO inc.

• Project Management / Event Produce

  Miyu Hosoi (Qosmo, Inc.)

• Project Support

  YCAM InterLab

• Special Thanks

  wasabeat, Chris Romero, Yansu Kim, Rakutaro Ogiwara