Qosmo Music & Sound AI
Video2Music
ビデオtoミュージック
FEATURES
特徴-
与えられた動画に「しっくりくる」音楽を対象音楽ライブラリーの中から短時間で抽出します。対象音楽のジャンルや形態などに制限はありません
-
「ビデオ→音楽」に加え「音楽→ビデオ」の検索もできる。クロスメディア情報検索サービスへの実装によりユーザーエクスペリエンスを向上
-
更に弊社の音楽検索アルゴリズムを合わせて使うことで、類似曲候補の提案など、幅広い検索サービスの構築が可能になります
-
与えられた動画に「しっくりくる」音楽を対象音楽ライブラリーの中から短時間で抽出します。対象音楽のジャンルや形態などに制限はありません
-
「ビデオ→音楽」に加え「音楽→ビデオ」の検索もできる。クロスメディア情報検索サービスへの実装によりユーザーエクスペリエンスを向上
-
更に弊社の音楽検索アルゴリズムを合わせて使うことで、類似曲候補の提案など、幅広い検索サービスの構築が可能になります
USE CASE
使用事例-
音声・動画素材販売サイトで、購入率を改善
大量にあるストック音源やストック動画からユーザーが探し物を見つけるためにはタグや検索ワードなどが使われていますが、そのような検索方法では十分に充足することのできない「この動画に合う音を見つけたい」という課題を直接的に解決するための手段を提供できます。
-
音源提供会社での映像制作クライアントからのマッチング依頼解決
動画の雰囲気にピッタリなBGMや、シーンの感情をうまく表現した楽曲を選曲するには幅広い音楽に関する知識が必要となります。また、映像に音楽が合っているかどうかは感覚的にしか評価できないため、個人個人による捉え方の差も大きく、多くの候補曲の中から様々な人の意見をもとに選曲を行う必要がありました。Video2Musicは音楽ライブラリーの内容を熟知していない選曲者でも、短時間で候補曲の絞り込みを行えるようになります。
-
動画作成ツールへの機能導入
多くの映像制作ソフトウェア製品には、ユーザーが使える音楽ライブラリー機能が存在します。そのような製品が製作中のコンテンツに合わせた音楽のレコメンデーションをタイムリーに行ってくれれば、ユーザーエクスペリエンスを大きく向上してくれるでしょう。
IMPLEMENTA-
TION
IMPLEMENTATION
製品実装-
本製品の詳細な出力結果は、こちらからご覧いただけます。与えられた映像に対して選ばれたトップ３の楽曲候補を掲載しています。ご利用ご検討のために御社独自の映像でお試しいただきたい場合には、お気軽に弊社（Contactページ）よりお問い合わせください。
Video2Musicの出力例
Video2Musicのオンラインデモ
TECHNOLOGY
技術-
時系列性のあるデータを解釈するのに優れたTransformerという深層学習手法を応用し、動画・音楽双方を相互に比較可能な潜在ベクトル値に変換します。このアプローチを使いオンライン上の動画コンテンツなどを入力に学習を行い*、コントラスティブ学習という手法でモデル化することで、動画と音楽という異なる種類の情報の類似度を定量的に計算することができるようになりました。本ライセンスにて提供する学習済みモデルは既に幅広い入力動画・選択音楽に対応していますが、コズモでは追加のデータを使った再学習することで、特定用途における精度向上を行うこともにも対応可能です。
-
*オンライン上の著作物を学習データとする機械学習モデルの構築・利用は日本国においては、営利・非営利に関わらず、著作権法上適法とされています。
TECH DIAGRAM
技術-
価格体系
初期導入費用（ライブラリー初期インデックス費、インテグレーションなど）
月額利用費：API利用時には一定回数のAPIコール及びインデックスコールが含まれる
-
入出力
入力：動画（30秒以上）
出力：楽曲候補 （入出力逆も可能）
-
動作環境
クラウド提供：標準API提供
オンプレ環境：Linux・GPU環境に対応
-
処理速度
インデックス作成：3秒以内 (x ライブラリ曲数）
マッチング（検索）：1秒以内
OTHER
PRODUCTS
他製品
製品に関するお問い合わせはCONTACTフォームよりお願いいたします。
CONTACT