「Qosmo Music and Sound AI」の展開を開始 最新の音楽・サウンド関連AIの4製品を同時リリース

音楽・サウンド分野における最先端のノウハウ・モデル・アルゴリズムをライセンス販売

AIの活用による創造性の発展に取り組む株式会社Qosmo（本社：東京都目黒区、代表取締役社長：徳井直生、以下「コズモ」）は、音楽・サウンド分野において当社が蓄積してきたノウハウ・モデル・アルゴリズムを用いた製品群「Qosmo Music and Sound AI」の、ライセンス提供を開始しました。本製品は5月11日〜13日に東京ビッグサイトで予定されている第6回 AI・人工知能EXPO【春】のQosmoブースにて実際にお試しいただけるインスタレーションや、技術を実装した製品のご紹介も含めて展示予定です。

4つの製品を提供開始

この度の発表には下記4つの製品が含まれます。

• 音楽生成AI / Music Generation AI – リアルタイムにコントロール可能な音楽生成

• 音楽選曲AI / Music Selection AI – AI DJがプレイリストを自動生成

• 音色変換AI / Timbre Transfer AI – 入力音を別音にリアルタイム変換

• イメージtoサウンド / Img2Sound – 入力画像にマッチしたサウンドを選択

図：Qosmo Music and Sound AIのロゴ

■ 音楽生成AI – リアルタイムにコントロール可能な音楽生成

本製品はジャンルや曲の特徴を指定することによって自動的に作曲を行い、音楽を生成することの出来るシステムです。小節ごとに楽曲内容を設定でき、リアルタイムに変更を受け付けるため、生体反応や場の雰囲気などに合わせてきめ細かい操作を動的に行うことができます。主な機能は下記のとおりです：

1. 与えられたジャンルや曲の特徴などを指定することにより、瞬時に作曲しMIDI信号を生成

2. テンポ、楽器、音数、展開のスピードなどを小節ごとにリアルタイムに制御することが可能

3. 生体反応や場の環境変化などに応じて求められている効果を得るために音楽を使うことができる

図：音楽生成AIシステム概念図

■ 音楽選曲AI – AI DJがプレイリストを自動生成

本製品は、弊社のフラッグシッププロジェクトであるAI DJプロジェクトの発展とともにその精度を向上してきました。深層学習に音楽を「聞かせる」事によって、各曲の関連性を定量化し、DJの選曲ノウハウを自動化し、様々な音楽ライブラリーに応用することに成功しています。主な機能は下記のとおりです：

1. 任意の音楽ライブラリーを深層学習モデルを使ってインデックス化することで、メタデータに頼らずにプレイリスト生成

2. それまでに再生された楽曲の内容に基づいて動的にプレイリスト内容を生成・変更する事が可能

3. 世界各地でのフロアパフォーマンスでも実証済み。プロのDJも異口同音に認めるセンスの良い選曲

図：音楽選曲AIシステム概念図

■ 音色変換AI – 入力音を別音にリアルタイム変換

本製品はこれまで深層学習モデルでは難しいとされていたリアルタイムでの音生成技術を応用した音色変換を行います。人間の声をドラムやサックスなどの楽器音や他人の声に変換したり、リバーブやディストーションなどのエフェクト処理やその逆処理を行うことができます。これまでにはあり得なかったような音表現の可能性を広げることができる注目の技術です。

1. リアルタイムAI音声処理技術により、入力音のコンテクストを踏まえながら任意の音色にリアルタイムに高音質(48kHz16bits)変換

2. ターゲット音の学習モデルをSDKを使って事前生成し、追加学習を行うことなく、あらゆる入力音を変換できる

3. 楽器音、動物、音声、エフェクター、エフェクタの除去等、応用の可能性が非常に広い技術を汎用CPUで実行可能

図：音色変換AIモデル概念図

■ 「Img2Sound(イメージtoサウンド)」- 入力画像にマッチしたサウンドを選択

本製品はAPIを通じてアップロードされる画像に対して最適な環境音または楽曲を見つけてきます。対応する画像の幅は広く、例えばGoogle Street Viewの任意の場所の写真などに対しても質の高いマッチを得ることができます。初期バージョンにおいては入力は静止画に限られますが、今後のバージョンアップによって映像を対象にすることが予定されています。主な機能は下記のとおりです

1. 与えられた画像に「合っている」サウンドクリップをライブラリーの中から短時間で抽出 

2. 短時間のインデクシングを実行すれば、モデルの再学習の必要なく、任意のサウンドライブラリーに検索を実行可能 

3. 「画像→音楽」だけでなく「音楽→画像」「テキスト→音」「ビデオ→音」など多種類のメディアに拡張可能

図：Img2Sound(イメージtoサウンド)システム概念図

■ AI EXPO2022春にて展示予定

コズモは、5月11日〜13日に東京ビッグサイトで開催される第6回 AI・人工知能EXPO【春】に出展予定です。代表の徳井による音楽生成AIを用いたAI DJパフォーマンスを含め、本作品及び他の音楽・音関連の最新技術を体感いただける展示を予定しておりますので、ぜひお立ち寄りください！

＜AI DJパフォーマンスの実演タイムテーブル＞

• 5/11 11:00~, 16:00~

• 5/12 11:00~, 16:00~

• 5/13 11:00~, 16:00~ (金曜日は弊社COOシバタによる技術デモを行います） ※当日の状況に応じてパフォーマンス時間が前後する可能性がございます。