Tone Explorer テクノロジー・プレビュー版 / Roland Future Design Lab
AIを用いた音色検索の開発
日本大手の電子楽器メーカー ローランド株式会社の研究開発部門Roland Future Design Labとの共同プロジェクトで、弊社はAI共同開発とUI/UXデザインを担当しました。
共同開発をした「Tone Explorer」は、入力されたMIDIフレーズと相性の良い音色を自動的に検索する次世代の音色提案機能です。Rolandのサウンドを1台に融合した楽器「GALAXIAS」の大量のプリセットから最適な音色を探す作業をお手伝いします。
入力されたMIDIフレーズとプリセットとの相性を求めるために、プリセットの音色とMIDIフレーズの2種類のデータを処理するマルチモーダルAIモデルを開発し、Rolandの保有するデータによって訓練しました。このモデルの訓練には距離学習(Metric Learning)と呼ばれる機械学習の手法を用いており、MIDIフレーズとそれを鳴らすために用いられたプリセットの埋込みベクトルがお互いに空間上で近い点に分布するように訓練します。この近さに基づいて相性のスコアを定義し、ユーザーには相性の良い音色が優先的に提示される仕組みです。
UIデザインでは、GALAXIASにちなみ宇宙をモチーフとし、太陽系を模した「Solar view」と星座を模した「Constellation view」を採用しています。
「Solar view」では、惑星の軌道をイメージしたカテゴリーごとの探索が可能で、ユーザーは直感的に操作しながらマッチ度の高い音色を見つけることができます。一方、「Constellation View」では、二次元空間上に広がるプリセットを俯瞰的に捉え、大量の音色から探索していきます。
「Tone Explorer」は、最先端の技術とデザインを融合させ、音楽制作の新たな可能性を広げる画期的なツールです。
Links
- Tone Explorer: Technology Preview for GALAXIAS
Client
Roland株式会社
Interview:「AIを作ります」というより 「体験を一緒にデザインする」(Roland株式会社 笹森一義様)
Credit
Creative Direction: Nao Tokui (Qosmo) Machine Learning / Technical Direction: Bogdan Teleaga, Naotake Masuda (Qosmo) Interface Design: Naoki Ise (Qosmo), Liu Jinhe (Qosmo) Icon Design: Mike Sekine (Qosmo)