Neural Beatbox

  • Share

ABSTRACT

「Neural Beatbox」は、人間自身が持つサウンドからAIがビートやリズムを生成することによって、人間とAIの共創がもたらす新しい音楽制作の可能性を考察するプロジェクトである。 鑑賞者が録音・録画した声やノイズ、拍手などの身体的なサウンドをAIが各セグメントに分類し、キックやスネアといったドラムパートに割り当て、新しいリズムを継続的に生成していく。 音楽制作の過程で、AIが犯す適度な「まちがい」が、独特の音楽体験に繋がり、人間の創造的な表現を豊かにする。

BACKGROUND

人間の持っている身体的サウンドを使い、AIが創造性の可能性を広げる本作品は、楽器を用いず、声や身体など人間が持っている創造性によって音楽を生み出すヒューマンビートボックスに近い要素を持っているとも言える。 この作品では、人間の身体から生まれるサウンドを使い、AIが音楽制作を行うというプロセスを通し、人間自身の持つ創造性をどのように拡張していくかに焦点を当てている。

TECHNOLOGY

本作品は、音楽制作の文脈における機械学習の持つ可能性を示し、鑑賞者とAIがよりインタラクティブに音楽制作を体験できるようデザインされている。
本作品はサーバ上のシステムとWebブラウザ上で動くクライアント・アプリケーションから構成されている。バックエンドでは、サーバーの役割は2つのパートに分けられる。

1. サウンドの分類

Webクライアント上で鑑賞者が録音・録画した声やノイズのデータを受信し、それらを意味のあるセグメントに分割する。ドラムの音色で学習したニューラルネットワークの分類器を用い、キックやスネアといったドラムのパートに割り当てる。

2. リズムシーケンスの生成

ニューラルネットワーク (Variational Autoencoder)を用いて、MIDIのリズムパターンのデータセットを学習。段階的に変化していく多様なリズムパターンを生成する。生成されたリズムは、1.で分類された各ドラムの音色を用いて、録画したビデオと共にWebアプリケーション上で再生される。

Barbican Centerで行われた展示では、Neural Beatboxのシステムは展示用インスタレーションに最適化され、シンプルなインターフェースとインタラクションを設計した。長期的には、それぞれの要件や環境に合わせ、適切なインタフェース、インタラクションデザイン展開を予定している。

Neural Beatbox at AI: More than Human

Design

鑑賞者とAIとのコラボレーションによる音楽制作体験を提供するため、より直感的なインターフェイスのデザインを試みた。Alvaro Arregui(Nuevo.Studio)とコラボレーションを行い、音楽のダイナミックさを反映したアニメーションのセットを開発した。

INSTALLATIONS
ARCHIVES

DateTitlePlace
2019/05 – 2019/08AI: More than HumanBarbican Centre, London UK


CREDITS

  • Concept / Direction

    Nao Tokui(Qosmo, Inc.)

  • Research / Management

    Max Frenzel(Qosmo, Inc.)

  • Development

    Robin Jungers (Qosmo, Inc.)

  • Design

    Alvaro Arregui(Nuevo.Studio)

ご依頼・ご相談などは、こちらからお問い合わせください

CONTACT