SONIC PENDULUM with Yuri Suzuki

  • Share

ABSTRACT

Qosmoとサウンド・アーティスト Yuri Suzukiさんのコラボレーションワーク 「SONIC PENDULUM」が、ミラノデザインウィーク Audi City Labにて展示された。期間は2017年4月4日から9日まで。

会場はイタリア・ミラノの歴史ある修道院。設置された30個の振り子型スピーカーからは、会場の環境音のピッチを解析しAIが生成したエンドレスなメロディーが流れる。スピーカーから流れる音はそれぞれ異なり、振り子の動きも相まって鑑賞する場所によって聴こえ方が異なるサウンドインスタレーションである。

Photo by Audi©
Photo by Audi©

TECHNOLOGY

本作品では、サウンド生成システムにニューラルネットワークの一種「Autoencoder」(入力したデータをより少ない次元で表現した上で、入力に近いデータを出力するように学習を進めるモデル)を採用した。会場に設置したマイクで振り子から出ている音や、観客の足音や話し声などの環境音を拾い、その音程を解析。その結果をフィードバックされたハーモニーとして再びAutoencoderに入力し、また新たなハーモニーが生成する。これを繰り返し続けることで、エンドレスに揺らぎと平衡状態のバランスが保たれたサウンドが生成される。

さらに、会場の状況によって音に揺らぎを持たせるため、「鑑賞者の数」をトリガーに前述した出力されるメロディに変化を加えた。設置したWebカメラの画像から「畳み込みニューラルネットワーク(Convolutional Neural Network: CNN)」を用いて鑑賞者数をカウントし、鑑賞者が増えれば増えるほど入力されたメロディーからずれた(ゆらぎの大きい)メロディーが出力されるよう設計した。


Key Visual: Photo by YuriSuzuki©


LINKS


CREDITS

  • Concept

    Yuri Suzuki

  • Deep Learning / Sound Analysis

    Nao Tokui (Qosmo, Inc.)

  • Sound Engineering

    Manabu Shimada

  • Multi Channel Sound System

    Ray Kunimoto

  • Voice

    Miyu Hosoi (Qosmo, Inc.)

ご依頼・ご相談などは、こちらからお問い合わせください

CONTACT