AI DJ Project — A dialogue between AI and a human

ABSTRACT

「AI DJ Project — A dialogue between AI and a human」は、2人のDJがお互いに曲をかけあうプレースタイル「Back to Back」を通して人間とAIの対話を目的としたプロジェクトです。

パフォーマンス中、AI DJは人間のかけた曲をその場で聞き、ビートを検出し、ジャンルを推定します。その情報を自らが学習したデータに反映し、次にかける曲を選び、ミックスまで行います。AIと人間がなるべく同じ条件下でプレーするため、両者はMP3などの楽曲データ（曲のタイトル・ジャンルなど）を含む音源ではなく、ターンテーブルとレコードを使用。AIはコンピュータの中ではなくOSC（OpenSound Control）で操作できるターンテーブルを用いてビート合わせを行います。

AI DJは流れに沿った選曲する時もあれば、人間では選ばないであろう曲：例えばアップテンポのテクノの次にフリージャズを選んだり…と時折突拍子もない行動もします。
表現の分野において、私たちはAIを人間の模倣ではなく別のロジックを持った「Alternative Intelligence」と捉え、AIは人間の代わりではなく人間と共に思考できるパートナーとして活動しています。本プロジェクトでは、表現におけるテクノロジーと人間の関係について、DJを通し実験的に考察しています。

第21回文化庁メディア芸術祭アート部門　審査委員会推薦作品
Prix Ars Electronica 2018 Interactive Art + : Honorary Mentions

---

TECHNOLOGY

1. Deep learning system for selecting and mixing songs

1-a: 選曲

音楽ジャンル（ヒップホップ、テクノ、ダブステップ、ハウスなど）をラベリングした10,000以上の楽曲のスペクトログラムに基づいた聴覚特徴を抽出し学習させた、ジャンルを推定する畳み込みニューラルネットワーク（CNN）を開発しました。一度これを学習させてしまえば、同じモデルを使用して高次元ベクトルで聴覚特徴を抽出し、T-SNEの次元削減アルゴリズムを用いてそれを3D空間に落とし込むことができます。これにより、人間がかけている楽曲のオーディオデータをこのモデルに照らし合わせ、同じ3D空間にマップするため次の楽曲と同様のトーン／ムードを持つ最も近いものを選ぶことが可能になります。

1-b: ビート合わせ

2つめのニューラルネットワークは、人間がかけている曲のビートに対してAI DJが次にかけようとしている曲のビートを合わせるものです。「強化学習」とディープラーニングを用いて、ターンテーブルのnugde/pullを数百万回の試行錯誤を経て学習させました。

---

2. Visualization

a. 楽曲の特徴をマップしたT-SNE 3D空間
b. 次の曲を選ぶためのニューラルネットワークモデル内のアクティベーション
c. テンポ合わせのモデルの入力（ビートのタイムライン）と出力（アクション：ターンテーブルの操作）

---

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

• 

---

PERFORMANCES
ARCHIVES

Date	Title	Place
2016/9/4	2045 Generation #4（京都岡崎音楽祭「OKAZAKI LOOPS」内）	京都国立近代美術館
2016/10/27	2045 × LIFE PAINT Supported by VOLVO CAR JAPAN	代官山UNIT
2017/2/17	DIGITAL CHOC — マシン・デジラント 欲望する機械 —	渋谷WWW
2017/9/14	Festival Speculum Artium 2017 in Slovenia	Zavod za kulturo Delavski dom Trbovlje, Slovenia
2017/9/21	SCOPITONE FESTIVAL 2017 in France	STEREOLUX, Nantes, France
2017/11/3	MUTEK.JP	日本科学未来館（Miraikan）
2017/12/15	sound tectonics #20（Guest DJ : tofubeats, Licaxxx）	山口情報芸術センター[YCAM]
2019/5/7	Google I/O 2019	Mountain View, California, USA
2019/6/1	Japan Media Arts Festival x MUTEK.JP	日本科学未来館（Miraikan）

---

REFERENCES

---

LINKS

---

CREDITS

• Concept / Programming

  Nao Tokui (Qosmo, Inc.)

• Visualization

  Shoya Dozono (Qosmo, Inc.)

• Database

  Robin Jungers (Qosmo, Inc.)

• Assistant

  Yuma Kajihara (Qosmo, Inc.), Ryosuke Nakajima (Qosmo, Inc.), Makoto Amano (Qosmo, Inc.)

• Robot

  TASKO inc.

• Project Management

  Miyu Hosoi (Qosmo, Inc.)

• Customized turntable for AI

  Mitsuhito Ando (YCAM)

• Project Support

  YCAM InterLab