動画の雰囲気にピッタリ来るBGMやシーンの感情をうまく表現した楽曲を選曲するには幅広い音楽に関する知識を持っている必要がありますが、QosmoのVideo2Musicは動画をアップロードするだけで、瞬時に選曲候補を探してきてくれます。

本製品はジャンルや曲の特徴を指定することによって自動的に作曲を行い、音楽を生成することのできるシステムです。小節ごとに楽曲内容を設定でき、リアルタイムに変更を受け付けるため、生体反応や場の雰囲気などに合わせてきめ細かい操作を動的に行うことができます。

本製品はこれまで深層学習モデルでは難しいとされていたリアルタイムでの音生成技術を応用した音色変換を行います。人間の声をドラムやサックスなどの楽器音や他人の声に変換したり、リバーブやディストーションなどのエフェクト処理やその逆処理を行うことができます。これ迄にはあり得なかったような音表現の可能性を広げることができる注目の技術です。

本製品は、弊社のフラッグシッププロジェクトであるAI DJプロジェクトの発展とともにその精度を向上してきました。深層学習に音楽を「聞かせる」事によって、各曲の関連性を定量化し、DJの選曲ノウハウを自動化し、様々な音楽ライブラリーに応用することに成功しています。