Neural Beatbox

AIがヒューマンビートボックスを生成するWebサイト

Share

ABSTRACT

Neural Beatbox」は、ユーザーが収録した身近な音から、AIがリズムを生成することによって、人間とAIの共創がもたらす新しいインスピレーションの可能性を考察するプロジェクトです。 この作品では、ユーザーが収録した声やノイズ、拍手などの音をAIが各セグメントに分類し、キックやスネアといったドラムパートに割り当て、新しいリズムを継続的に生成していきます。リズム生成の過程で、AIが犯す適度な「まちがい」が、独特の音楽体験に繋がり、人間の創造的な表現を豊かにしていくインスピレーションを与えます。

BACKGROUND

日常の音を使い、AIが創造性の可能性を広げる本作品は、楽器を用いず、声や身体など人間が持っている音によって音楽を生み出すヒューマンビートボックスに近い要素を持っているとも言えます。 この作品では、収録した声や拍手など日常にある音を使い、AIが音楽制作を行うというプロセスを通し、人間自身の持つ創造性をどのように拡張していくかに焦点を当てました。

TECHNOLOGY

本作品は、音楽制作の文脈における機械学習の持つ可能性を示し、ユーザーとAIがよりインタラクティブに音楽制作を体験できるようデザインされています。
本作品はサーバ上のシステムとWebブラウザ上で動くクライアント・アプリケーションから構成され、バックエンドでは、サーバーの役割は2つのパートに分けられます。

1. サウンドの分類

Webクライアント上でユーザーが録音・録画した声やノイズのデータを受信し、それらを意味のあるセグメントに分割。ドラムの音色で学習したニューラルネットワークの分類器を用い、キックやスネアといったドラムのパートに割り当てています。

2. リズムシーケンスの生成

ニューラルネットワーク (Variational Autoencoder)を用いて、MIDIのリズムパターンのデータセットを学習。この学習をとおし、段階的に変化していく多様なリズムパターンを生成します。生成されたリズムは、1.で分類された各ドラムの音色を用いて、録画したビデオと共にWebアプリケーション上で再生されます。

Design

2019年、Barbican Centreで行われた展示では、Neural Beatboxのシステムは展示用インスタレーションに最適化され、シンプルなインターフェースとインタラクションを設計しました。
2020年、複数のユーザーが参加できる機能をアップデートし、オンライン上で楽しめるWebアプリケーションとしてデザインを再設計しました。

Neural Beatbox for Multi Session (2020)
ビートが生成されるたびに、選ばれたビート数によって、毎回異なるレイアウトがダイナミックに生成されます。3つのテーマカラーはセッションに入るたびに変化し、各テーマの中でもユーザーごとにカラーが割り振られ、ユーザー同士のビートが重なり合う様子を視覚的に感じられる設計を試みています。

Neural Beatbox for Barbican Centre (2019)
鑑賞者とAIとのコラボレーションによる音楽制作体験を提供するため、より直感的なインターフェイスのデザインを試みています。Alvaro Arregui(Nuevo.Studio)とコラボレーションを行い、音楽のダイナミックさを反映したアニメーションのセットを開発しました。

Neural Beatbox at AI: More than Human

INSTALLATIONS
ARCHIVES

DateTitlePlace
2019/05 – 2019/08AI: More than HumanBarbican Centre, London UK



ARTICLES


CREDITS

Neural Beatbox for Multi Session (2020)

  • Development (Front-end)

    Robin Jungers (Qosmo, Inc.)

  • Development (Back-end)

    Bogdan Teleaga (Qosmo, Inc.)

  • Machine Learning / Direction

    Nao Tokui (Qosmo, Inc.)

  • Machine Learning

    Christopher Mitcheltree (Qosmo, Inc.)

  • Design

    Naoki Ise (Qosmo, Inc.)

  • Illustration

    Chisaki Murakami

  • Project Management

    Sakiko Yasue (Qosmo, Inc.), Yumi Takahashi (Qosmo, Inc.)

  • Music

    JEMAPUR

Neural Beatbox for Barbican Centre (2019)

  • Concept / Direction

    Nao Tokui (Qosmo, Inc.)

  • Research / Management

    Max Frenzel (Qosmo, Inc.)

  • Development

    Robin Jungers (Qosmo, Inc.)

  • Design

    Alvaro Arregui (Nuevo.Studio)

ご依頼・ご相談などは、こちらからお問い合わせください

CONTACT