AI DJ Project — A dialogue between AI and a human

  • Share

ABSTRACT

「AI DJ Project — A dialogue between AI and a human」は、2人のDJがお互いに曲をかけあうプレースタイル「Back to Back」を通して人間とAIの対話を目的としたプロジェクトである。

パフォーマンス中、AI DJは人間のかけた曲をその場で聞き、ビートを検出し、ジャンルを推定する。その情報を自らが学習したデータに反映し、次にかける曲を選び、ミックスまで行う。AIと人間がなるべく同じ条件下でプレーするため、両者はMP3などの楽曲データ(曲のタイトル・ジャンルなど)を含む音源ではなく、ターンテーブルとレコードを使用。AIはコンピュータの中ではなくOSC(OpenSound Control)で操作できるターンテーブルを用いてビート合わせを行う。

AI DJは流れに沿った選曲する時もあれば、人間では選ばないであろう曲:例えばアップテンポのテクノの次にフリージャズを選んだりと時折突拍子もない行動もする。
表現の分野において、私たちはAIを人間の模倣ではなく別のロジックを持った「Alternative Intelligence」と捉え、AIは人間の代わりではなく人間と共に思考できるパートナーとして活動している。本プロジェクトは、表現におけるテクノロジーと人間の関係についてDJを通し実験的に考察することを目的としている。

第21回文化庁メディア芸術祭アート部門 審査委員会推薦作品
Prix Ars Electronica 2018 Interactive Art + : Honorary Mentions


TECHNOLOGY

1. Deep learning system for selecting and mixing songs

1-a: 選曲

音楽ジャンル(ヒップホップ、テクノ、ダブステップ、ハウスなど)をラベリングした10,000以上の楽曲のスペクトログラムに基づいた聴覚特徴を抽出し学習させた、ジャンルを推定する畳み込みニューラルネットワーク(CNN)を開発した。一度これを学習させてしまえば、同じモデルを使用して高次元ベクトルで聴覚特徴を抽出し、T-SNEの次元削減アルゴリズムを用いてそれを3D空間に落とし込める。これにより、人間がかけている楽曲のオーディオデータをこのモデルに照らし合わせ、同じ3D空間にマップするため次の楽曲と同様のトーン/ムードを持つ最も近いものを選ぶことが可能になる。

1-b: ビート合わせ

2つめのニューラルネットワークは、人間がかけている曲のビートに対してAI DJが次にかけようとしている曲のビートを合わせるものである。「強化学習」とディープラーニングを用いて、ターンテーブルのnugde/pullを数百万回の試行錯誤を経て学習させた。

Deep Q-Network Training for Turntable Manipulation

2. Visualization

a. 楽曲の特徴をマップしたT-SNE 3D空間
b. 次の曲を選ぶためのニューラルネットワークモデル内のアクティベーション
c. テンポ合わせのモデルの入力(ビートのタイムライン)と出力(アクション:ターンテーブルの操作)



PERFORMANCES
ARCHIVES

DateTitlePlace
2016/9/42045 Generation #4(京都岡崎音楽祭「OKAZAKI LOOPS」内)京都国立近代美術館
2016/10/272045 × LIFE PAINT Supported by VOLVO CAR JAPAN代官山UNIT
2017/2/17DIGITAL CHOC — マシン・デジラント 欲望する機械 —渋谷WWW
2017/9/14Festival Speculum Artium 2017 in SloveniaZavod za kulturo Delavski dom Trbovlje, Slovenia
2017/9/21SCOPITONE FESTIVAL 2017 in FranceSTEREOLUX, Nantes, France
2017/11/3MUTEK.JP日本科学未来館(Miraikan)
2017/12/15sound tectonics #20(Guest DJ : tofubeats, Licaxxx)山口情報芸術センター[YCAM]
2019/5/7Google I/O 2019Mountain View, California, USA
2019/6/1Japan Media Arts Festival x MUTEK.JP日本科学未来館(Miraikan)

REFERENCES


LINKS


CREDITS

  • Concept / Programming

    Nao Tokui (Qosmo, Inc.)

  • Visualization

    Shoya Dozono (Qosmo, Inc.)

  • Assistant

    Yuma Kajihara (Qosmo, Inc.)

  • Robot

    TASKO inc.

  • Project Management / Event Produce

    Miyu Hosoi (Qosmo, Inc.)

  • Project Support

    YCAM InterLab

  • Special Thanks

    wasabeat, Chris Romero, Yansu Kim, Rakutaro Ogiwara

ご依頼・ご相談などは、こちらからお問い合わせください

CONTACT