動画にしっくりくる音楽を検索するAI
ビデオtoミュージック
動画の雰囲気にピッタリ来るBGMやシーンの感情をうまく表現した楽曲を選曲するには幅広い音楽に関する知識を持っている必要がありますが、QosmoのVideo2Musicは動画をアップロードするだけで、瞬時に選曲候補を探してきてくれます。
Feature
本製品の特徴
動画に「しっくりくる」楽曲を探す
与えられた動画に「しっくりくる」楽曲を、対象音楽ライブラリーの中から瞬時に複数曲、選択します。対象音楽のジャンルに制限はありません。
無声映画『メトロポリス』のにVideo2Musicを使用し音をつけてみました
「音楽→ビデオ」の検索
「ビデオ→音楽」に加え「音楽→ビデオ」の検索も可能。つまり、特定の音楽にぴったりくる動画を選ぶこともできます。
Feature
本製品の特徴
Feature
本製品の特徴
類似曲候補の提案
更に弊社の音楽検索アルゴリズムを合わせて使うことで、選ばれた曲の類似曲の候補を複数提案するなど、自由度の高い使い勝手の良い検索サービスの構築が可能になります
Use Case
想定利用シーン
映像制作会社・TV局などでの動画コンテンツ作成時のBGM選曲
動画の撮影と編集は終わったのになかなかしっくりくるBGM、音楽が見つからない。いつも同じような音楽ばかり選んでしまう。そんな悩みを抱える方は少なくないと思います。動画クリエイターのためにVideo2Musicは、BGMの選曲をお手伝いすることが可能です。使い方は自分が作った動画をアップロードするだけで、ぴったりくる音楽の候補を複数提示してくれます。
音源提供会社での映像制作クライアントからのマッチング依頼解決
動画の雰囲気にピッタリなBGMや、シーンの感情をうまく表現した楽曲を選曲するには幅広い音楽に関する知識が必要となります。また、映像に音楽が合っているかどうかは感覚的にしか評価できないため、個人個人による捉え方の差も大きく、多くの候補曲の中から様々な人の意見をもとに選曲を行う必要がありました。Video2Musicを使ってお手持ちの音楽ライブラリを事前にスキャンすることで、音楽ライブラリーの内容を熟知していない選曲者でも、短時間で候補曲の絞り込みを行うことが可能になります。
音声・動画素材販売サイトで、購入率を改善
大量にあるストック音源やストック動画から、ユーザーが探し物を見つけるためにはタグや検索ワードなどが使われています。そのような検索方法では十分に充足することのできない「この動画に合う音を見つけたい」という課題を直接的に解決するための手段を提供できます。
動画作成ツールへの機能導入
多くの映像制作ソフトウェア製品には、ユーザーが使える音楽ライブラリー機能が存在します。そのような製品が制作中のコンテンツに合った音楽をタイムリーにレコメンドすることで、ユーザーエクスペリエンス向上が期待されます。
Implementation
実装例
本製品の詳細な出力結果は、こちらからご覧いただけます。与えられた映像に対して選ばれたトップ３の楽曲候補を掲載しています。
また実際にお手持ちの動画で試してみたい場合は、こちらのオンライン・デモをご利用ください。動画をアップロードすることで、弊社が用意した音源ライブラリの中かからぴったりくる音楽が検索される過程が体験できます。お手持ちの音源ライブラリで試してみたいという場合は、お気軽に弊社（Contactページ）よりお問い合わせください
Technology
テクノロジー
時系列性のあるデータを解釈するのに優れたTransformerという深層学習手法を応用し、動画・音楽双方を相互に比較可能な潜在ベクトル値に変換します。このアプローチを使いオンライン上の動画コンテンツなどを入力に学習を行い、コントラスティブ学習という手法でモデル化することで、動画と音楽という異なる種類の情報の類似度を定量的に計算することができるようになりました。本ライセンスにて提供する学習済みモデルは既に幅広い入力動画・選択音楽に対応していますが、コズモでは追加のデータを使った再学習することで、特定用途における精度向上を行うこともにも対応可能です。
Tech Spec
技術仕様
価格体系
初期導入費用（ライブラリー初期インデックス費、インテグレーションなど） 月額利用費：API利用時には一定回数のAPIコール及びインデックスコールが含まれる
入出力
入力：動画（30秒以上） 出力：楽曲候補 （入出力逆も可能）
動作環境
クラウド提供：標準API提供 オンプレ環境：Linux・GPU環境に対応
処理速度
インデックス作成：3秒以内 (x ライブラリ曲数） マッチング（検索）：1秒以内
Other products
その他のプロダクト
