SUNTORY TOKUCHA MUSIC

OVERVIEW

Dentsu Craft Tokyoで、サントリー「伊右衛門 特茶」新サービス「TOKUCHA MUSIC」を制作しました。「TOKUCHA MUSIC」は、その日食べたものを入力するだけで、AIによって曲が自動生成されるミュージックメーカーです。栄養バランスや料理の種類によって、テンポやメロディー、音色などが変化し、オリジナル楽曲がつくられ、音楽から毎日の食事バランスを見直すきっかけを与えるものを目指しました。Qosmoは独自開発のAI音楽生成システムを本プロジェクトに提供いたしました。

BACKGROUND

2020年秋にサントリーで実施した調査から、コロナ禍をきっかけとした新しい生活様式において、「朝食を摂取する」や「野菜から食べる」などといった食事に関する健康行動が2019年と比べ上昇しており、食事への意識が高まっているという傾向がわかりました。そこで、サントリーの「伊右衛門 特茶（特定保健用食品）」ブランドは、毎日の食事を気軽に音楽に変換するサービス「TOKUCHA　MUSIC」を開発することになりました。本プロジェクトの背景には、音楽を通して、楽しく健康になるチャンスへの気づきを作りたいという思いがあります。

TECHNOLOGY

今回提供したシステムは、独自の深層学習モデル(Transformerをエンコーダ、デコーダに利用したVariational Autoencoder)を中心にしたもので、音程の高低、音符の密度、コード進行、協和音/不協和音のバランスなどの条件に基づいて、ドラム、メロディー、ベースライン、ハーモニーからなるマルチトラックのMIDIファイルを生成することが可能です。

今回のシステムでは、ユーザがWeb上で入力した食事内容を四郡点数法と呼ばれる栄養学の観点から評価した結果を、深層学習モデルへの入力に紐付けることで、栄養バランスを音楽の雰囲気に反映しました。

栄養バランスが悪かったり、脂肪や炭水化物が過剰に摂取しているような場合には、マイナーコードで不協和音混じりの楽曲が生成される一方、野菜や果物をきちんととって健康的な食事をとったユーザには、軽やかなアップテンポの曲になります。また、料理のジャンルにあった楽器の音色を使うことで、食事の雰囲気を音楽的に表現しています（和食には琴や尺八。スペイン料理にはアコースティックギターなど）。約2,000種類の食事から入力できるため、AIによって生成される無数のバリエーションを繰り返し楽しむことができます。楽器音の再生にはWeb Audioのテクノロジーを利用し、モバイルデバイスを含むWebブラウザー上で動くシステムとして構築しました。

このように本プロジェクトでは、AIの音楽生成技術を用いることで、音楽を通して、日々の食生活を楽しく見直してもらうきっかけづくりに成功しました。

今回のプロジェクトは、AIを用いたデータの可聴化(ソニフィケーション)・音楽化の例としても興味深い事例です。また、特定のデータ入力に基づいて即座に無数のバリエーションの音楽を生成することは、人間の作曲家には不可能なことで、AIならでは音楽のかたちともいえます。QosmoとしてはAIを用いることで広がる音楽の新しい用途や新しい音楽の探求に、今後も励んでいきたいと考えています。

---

LINKS

---

CLIENT

---

CREDITS

• Creative Direction

  川島 高 （Studio Kawashima）

• Technical Direction/Machine Learning

  徳井直生（Qosmo）

• Art Director

  櫻井 優樹（Metamosphere inc.)

• Planning

  曽根 良介（Dentsu Craft Tokyo）

• Produce

  多田 真穂（Dentsu Craft Tokyo）、加藤 純（Dentsu Craft Tokyo）、安東 岐国子（Dentsu Craft Tokyo）

• Project Management

  馬庭 達也（Dentsu Craft Tokyo）、安江 沙希子 （Qosmo）、高橋 ゆみ（Qosmo）

• Audio Development

  Robin Jungers（Qosmo）

• Machine Learning

  Christopher Mitcheltree（Qosmo）

• Technical Direction

  村田 洋敏（Dentsu Craft Tokyo）

• Front Engineering

  黒川 瑛紀（Dentsu Craft Tokyo） 、朝倉淳（Dentsu Craft Tokyo）、田辺 雄樹 （Dentsu Craft Tokyo）

• Direction Support

  佐藤 慧 （Dentsu Craft Tokyo）

• Backend Engineering

  佐々木 一（株式会社マウントポジション）

• Sound Design/Sound Produce

  野田 眞如 （invisible design lab）

• Design

  駒本 幾子（電通クリエーティブX）

• Copy Writing

  田口 恵子 （電通クリエーティブX）、佐々木 志帆（電通クリエーティブX）、間宮結以（電通クリエーティブX）