DJ機器・ソフトウェアを展開するAlphaTheat株式会社との共同研究で、楽曲の中のボーカルの有無と位置を検出する深層学習モデルを開発し、同ブランドのDJ向けソフトウェアに提供しました。
レコードとターンテーブルのみでミックスをしていた往年のDJたちは、曲ごとにボーカルの位置を必死に記憶してきました。歌やラップが入っているハウスやヒップホップなどの曲を扱うDJにとって、曲のボーカルに別のボーカルを被せてしまうことは一番避けたいことのひとつだからです。
近年はデータを使ったDJが一般的になり、波形が可視化されることで曲の構造の視認性は格段に向上しましたが、それでも波形のみからボーカルの位置を識別することは容易ではありません。
本プロジェクトでは、ディープラーニング（深層学習）を用いて、歌、ラップ、コーラスなどのボーカルを「含んだ／含まない」曲それぞれのデータを学習し、曲のどこにボーカルが含まれているのかを予測します。検出されたボーカルの位置は、ソフトウェア上の波形にオーバーレイされて表示されるため、楽曲中のボーカルの位置を一目で正確に把握し、ミキシングなどのパフォーマンスに活用することができます。
今回開発したエンジンは、2020年5月にリリースされた「rekordbox for Mac/Windows (ver. 6.0.1)」に搭載されました。
Links
- AI技術を用いた楽曲のボーカル位置解析とBeatsource LINKに対応したDJアプリケーション rekordbox for Mac/Windows (ver.6.0.1) をリリース - Higher Frequency - DJアプリケーション「rekordbox」が、AI技術を用いた楽曲のボーカル位置解析機能とBeatsource LINKに対応
Client
AlphaTheta 株式会社
Credits
Machine Learning / Technical Direction: Nao Tokui (Qosmo, Inc.), Max Frenzel (Qosmo, Inc.) Project Management: Jun Kato (Dentsu Craft Tokyo), Yumi Takahashi (Qosmo, Inc.)
Product
こちらのプロジェクトはQosmo Music & Sound AIを使用しています。 Playlist Generation 自動選曲