リアルタイム音色変換AI
タンバー・トランスファー
本製品はこれまで深層学習モデルでは難しいとされていたリアルタイムでの音響合成技術を応用した音色変換を行います。人間の声をドラムやサックスなどの楽器音や他人の声に変換したり、リバーブやディストーションなどのエフェクト処理やその逆処理を行うことができます。これ迄にはあり得なかったような音表現の可能性を広げることができる注目の技術です。
Feature
本製品の特徴
リアルタイムに高音質(48kHz)変換
リアルタイムAI音声処理技術により、入力音のコンテクストを踏まえながら任意の音色にリアルタイムに高音質(48kHz)変換
追加学習が不要
ターゲット音の学習モデルをSDKを使って事前生成し、追加学習を行うことなく、あらゆる入力音を変換可能
Feature
本製品の特徴
Feature
本製品の特徴
応用の可能性が広い
楽器音、動物、音声、エフェクター、エフェクト除去等、応用の可能性が非常に広い技術を汎用CPUで実行可能
Use Case
想定利用シーン
創造性パフォーマンス
演奏中の楽器を全く別の音に変換したり、自分の声を有名人の声に変換するなど、いままでにはあり得なかったような創造的パフォーマンスを実現します。
音響環境修正
これまでの手法では取り除くことの難しかったノイズやエコーなどの音響環境をAI技術によって自動的に修正することが可能になります。
Implementation
実装例
リアルタイムの音色変換や音響処理が可能なオーディオ・プラグイン「Neutone Morpho」にて使用。詳細はこちら
Samples
サンプル
人の声をドラムの音にリアルタイム変換した例
シンセサイザーの音を琵琶の音にリアルタイム変換した例
Technology
テクノロジー
本技術はオーディオ処理をリアルタイムで行うためのインターフェイス部分と、深層学習を使った処理を行うモデル部分に別れます。インターフェイス部分は現行VST, AUプラグインに対応しており、汎用的なDAW(Digital Audio Workstation)のインターフェースやPC, スマートフォンなどで活用いただけます。モデル部分は変分オートエンコーダーと敵対的学習を組み合わせた学習アーキテクチャーを応用しており、エンコーダー層が入力音を潜在空間に展開し「解釈」した上で、デコーダー層を制御することで、ターゲット音を再構築します。
Tech Spec
技術仕様
価格体系
ライセンス期間：月単位 開発者用ライセンス：有
入出力
入力：音声 出力：音声
動作環境
ローカル環境での動作を前提とするプログラムとしての提供
処理速度
リアルタイム
Other products
その他のプロダクト
