QosmoがAIオーディオ・プラグイン「Neutone」を発表 深層学習AIモデルがリアルタイム音楽制作で利用可能に

AI研究者・エンジニアが深層学習型DSPモデルをクリエーターと共有できるコミュニティー型プラットフォームを公開

深層学習AIを用いた新しい音色の生成、エフェクトを実現するリアルタイムDSP(デジタル信号処理)モデルをDAW(デジタル・オーディオ・ワークステーション)上で利用可能にするプラグイン「Neutone」のβ版をリリースしました。音楽制作においてこれまでアーティストやクリエーターにとっては敷居の高かったAIの利用を、汎用的なプラグインを通じて、簡単に創作プロセスに導入することができます。また、AIの研究者やエンジニアは、本プラットフォームを通じて、新規に開発されたモデルを、簡単に音楽制作者と共有することができるようになります。

ダウンロードはNeutone公式サイトより https://neutone.space/

製品紹介ビデオ https://vimeo.com/714346096

Standalone-1-scaled

Neutoneプラグインインターフェース

■ Neutoneプラグインの主な機能 これまでAIモデルを利用する上ではPythonプログラミングの習得やGPUマシンなどの環境構築が不可欠でした。NeutoneはVST及びAudio Unit形式のプラグインとして開発され、汎用的なマシン上で動作するAbleton LiveやLogicなどのDAW上でリアルタイムに動作させることができます。 すでに多数のAI音声変換モデルが本プラグイン向けに発表されており、プラグイン内のレポジトリーよりダウンロードできます。

Screen-Shot-2022-05-26-at-11.41.45-1024x701

Neutoneモデルレポジトリーページ

下記は現在利用可能なモデルの一部の説明となります:

  • RAVE.amen – 入力音をAmen Breakに変換

  • RAVE.drumkit – 入力音をドラムキットに変換

  • RAVE.evoice 及び RAVE.jvoice – 入力音を声に変換

  • RAVE.NASA – 入力音を月面宇宙飛行士との交信風に変換

  • RAVE.kora – 入力音をkora (アフリカのハープ)に変換

  • RAVE.violin – 入力音をバイオリンに変換

  • convld-overdrive.random – 深層学習を使ったオーバードライブ

  • temporalconv.reverb – 深層学習を使ったリバーブ

これらのモデルはまだ実験的な段階のものもありますが、今後の開発によって更に量・質ともにアップデートされていく予定です。これらモデルの詳細はNeutone公式ウェブサイトよりご覧いただけます。

850cb32329b89879fbf2c7de15eedabf

Neutoneサーバ上のAIモデルのリスト(一部)

また、AI研究者・開発者の方々は、ご自身の開発したモデルをNeutoneプラットフォーム上で公開することが可能です。弊社の提供するNeutoneSDKでモデルをラップすることにより、簡単にNeutoneプラグインに対応させることができます。

開発者向けSDK https://github.com/QosmoInc/neutone_sdk

Screen-Shot-2022-05-27-at-9.30.57-1024x862

GitHub上の開発者向けNeutone SDK

■ AIモデルはAI音楽コミュニティの中で共創していく

NeutoneはAIモデルをホストするためのプラットフォームを提供しますが、中身のAIモデルはこれから参加される研究者・エンジニア・アーティストの皆さんと作っていきたいと考えています。特にAIモデルの開発に興味のある研究者・エンジニアやテストに興味があるアーティストの方々は、NeutoneのDiscordチャネルにご参加ください。

ご依頼・ご相談などはこちらよりお問い合わせください

お問い合わせ