人は海辺の風景を見たら波の音を、交差点の写真からはクラクションや街頭広告の音を想起するなど、一枚の写真から無意識にその場の音を想像することができます。
「Imaginary Soundscape」は、人であれば無意識に想像するサウンドスケープをAIに想起させるプロジェクトとして2017年にスタートしました。サウンドスケープとは、1970年代のカナダで提唱された考え方で「音の風景」を意味します。本プロジェクトでは、大量の動画から画像と音の関係を学習したAIが、あらかじめ用意した無数の環境音から最も風景にあった音を検索することで、架空のサウンドスケープを生成しつづけます。
本システムでは、ユーザーが選択した画像に基づき、6万個以上のサウンドクリップを含む音声ライブラリーの中からAIが最も合っている音を選び出します。また、Googleストリートビューモードでは、世界中のどこでも好きな場所を歩き回りながら、AIがその場で「想像した」サウンドスケープを体感することができます。
2022年には、最新のマルチモーダル研究を取り入れユーザー体験の向上を目指したアップデートを行いました。画像と音のマッチング精度が向上したことでより適切な音が選ばれるようになり、AIによるサウンドスケープの想起のクオリティがアップ。これまでに全世界で50万人近くのユーザーが利用しています。
共感覚的な思考をあえてシステムとして外部化することによって、誰しもが持つ「想像する力」に光をあて、AIが想像する音が人間の想像力を触発する取り組みとなります。
Imaginary Soundscape デモ
Imaginary Soundscape + Imaginary Soundwalk
Exhibitions
- 2018/02/09 – 2018/02/25 | Media Ambition Tokyo
Links
- Imaginary Soundscape Official Site - Imaginary Soundscape - How It Works - Qosmo, Inc. | Experiments with Google — AI Experimentsに「Imaginary Soundscape」が掲載されました - Qosmo, Inc. | 「Imaginary Soundscape」がFavorite Website Award (FWA) Site of the dayを受賞 - Experiments with Google — AI Experiments | Imaginary Soundscape - prosthetic knowledge | Imaginary Soundscape - engadget | AI adds background noise to Google Street View scenes - CO.DESIGN | Google Street View Now Has A Soundtrack, Thanks To AI
Articles
- Imaginary Soundscape — AIが「想像」するサウンドスケープ
Credits
Project Direction: Akira Shibata (Qosmo, Inc.) Technical Direction: Nao Tokui (Qosmo, Inc.) Front-end: Robin Jungers (Qosmo, Inc.) Back-end: Bogdan Teleaga (Qosmo, Inc.) Machine Learning: Ryosuke Nakajima (Qosmo, Inc.) Web Design: Tomoyuki Yanagawa
Product
こちらのプロジェクトはQosmo Music & Sound AIを使用しています。 Img2Sound イメージtoサウンド