JAGDA AIと共創するグラフィックデザイン展

  • Share

ABSTRACT

2019年3月15日~29日に東京ミッドタウン・デザインハブにて、第78回企画展「AIと共創するグラフィックデザイン」が開催された。2017年よりQosmoは、近未来におけるグラフィックデザインの発展と可能性を探ることを目的に、公益社団法人日本グラフィックデザイナー協会(JAGDA)と共同で機械学習を用いた実験を行ってきた。

その成果の一部を発表したこの展覧会では、ある決められたルールでAIがイメージをつくっていく過程を記録したポスターやAIが生成するアルファベット書体、楽譜の学習による作曲を展示。またJAGDA年鑑に掲載された作品をAIが様々な特徴によって分類を行ったビジュアル作品も発表した。

Exhibited Works

《造形に学ぶ – バウハウスの積み木》JAGDAインターネット委員会 + Qosmo

《バウハウスの積み木》は、バウハウスで学んだドイツ人デザイナーアルマ・シードホフ・ブッシャーがデザインしたバウハウスの積み木を3Dモデル化し、AIが学習を進めながら、3次元の仮想空間にオブジェクトを生成していく様子をアニメーションポスターに落とし込んだ作品である。このプロセスの中での創作性は、無数の組み合わせの可能性を評価する、組み合わせの空間を探索する課程にある。創造性とは何かという疑問に新しい角度から光をあてることに試みた。

《バウハウスの積み木》は、アルゼンチンの作家ボルヘスの短編『バベルの図書館』から着想を得ている。物語の舞台は、アルファベットのあらゆる組み合わせを網羅した、組み合わせ的にありうる本がすべて収蔵されているという、架空の図書館。主人公の司書は、この宇宙にある原子の数をはるかに超える数の本が収蔵されているこの広大な図書館の中で、意味のある本を探すことに一生をかけている。
文章、音楽、そしてグラフィックを生成するAIは、ありえる文字、音符、デザイン要素の組み合わせの中で、美しいもの・面白いものを探すという点において、この司書のような存在といえるかもしれない。

では、AIはどのように「美しい」「面白い」を判断するのか。囲碁や将棋のようにルールが明確な世界とは異なり、抽象的な作品の「良さ」を定量的に評価することは非常に難しい。現在のAIの考え方では、過去の作品のパターンとの直接/間接的な類似の度合いにより、作品の善し悪しを評価するのが一般的である。そのプロセスにおいて、シェークスピアらしい文章、バッハらしいメロディーは作れるかもしれない。しかしそのプロセスから、新しい表現を生み出すことは可能といえるだろうか。


この作品では、作品の善し悪しとは異なる評価かつAIにとって定量的に評価することが簡単な評価軸にしたがい、組み合わせの空間のなかで「良い」ものを探すことを試みている。具体的には、一般的な画像認識の学習済みモデルを用い、積み木を組み合わせて作った画像がどのくらい○○(飛行機、傘、うさぎなどの事物)らしく見えるかという評価を利用している。システムの中で、積み木の選択とその配置は一定の長さの数列で表現される。配置を表現した「遺伝子」のようなものと考えてほしい。ランダムに複数の遺伝子を生成し、その中で少しでもより○○のように見えると評価された遺伝子同士を掛け合わせ、次の世代の遺伝子(=新しい積み木の配置)を作っていく。この「世代交代」を重ねることで、徐々により○○らしくなっていくことが期待される。これは進化の仕組みを模倣した最適化手法の一つで、遺伝的アルゴリズムと呼ばれる。こうして生成されたグラフィックは、AIによる「見立て」の結果だといえる。人の目で理解できる見立てもあれば、到底そうは見えない場合もある。積み木の見た目の特性からか、AIは飛行機のような無機物を見立てることは比較的得意だったようだ。こうした予想を超えるAIの見立ては、人間の想像力を刺激する材料を与えてくれる。

《作曲をする – 楽譜からうまれるメロディ》Qosmo

主人公の魔法によって、古い羊皮紙の上に音符が次から次へと浮き上がってくる。この作品は、そんなファンタジー映画のワンシーンから着想を得ている。Generative Adversarial Network(GAN)の手法を使い、楽譜を生成することを試みた。

GANでは、学習データを真似してデータを生成するネットワーク(Generator)と、入力されたデータが学習データに含まれる「本物」なのか、それともGeneratorが生成した「偽物」なのかを見分けようとするネットワーク(Discriminator)の二つのニューラルネットワークを用いる。この仕組みでは、この二つが相互に互いを出し抜こうと学習することにより、高い精度での生成が可能になる。実在しない人の顔も非常にリアルな写真並みの精度で生成できることは話題となった(参照サイト)。GANのGeneratorは、乱数列を入力として、学習したデータを模倣するデータを生成する。似た数列を入力すれば、似たデータが生成されることになる。今回は、入力の乱数列を線形補間し、徐々に変化する楽譜を生成した。こうして生成された楽譜は、時に元の楽譜の特徴を忠実に反映しつつ、音楽的におかしな楽譜にもなりえる。

英語で楽譜はMusical Score、あるいは単にMusicと呼ばれる。楽譜というグラフィック表現を通して、そこから生まれるMusicを生成することに挑戦している。

CVC-MUSCIMA dataset : Alicia Fornés, Anjan Dutta, Albert Gordo, Josep Lladós. CVC-MUSCIMA: A Ground-truth of Handwritten Music Score Images for Writer Identification and Staff Removal. International Journal on Document Analysis and Recognition, Volume 15, Issue 3, pp 243-251, 2012. (DOI: 10.1007/s10032-011-0168-2).

《JAGDAの実験 – 年鑑掲載作品マトリックス》JAGDAインターネット委員会 + Qosmo

この作品では、画像の分類方法を学習したAIが、2013年から2017年までの5年間のJAGDAの年鑑『Graphic Design in Japan』の掲載作品(1,500点以上のポスター、ロゴなど)を、さまざまな特徴を考慮し分類を行っている。AIによる認識は、基本的な色や形による分類から内容を判断したより高いレベルでの分類まで5段階で調整でき、表示方法も2D/3Dマトリックス表示、3次元空間表示の3タイプと様々な視点から、過去のアーカイブの閲覧が可能。


AIはグラフィック作品をどう見るのか。各作品を画像認識用モデルに入力して得られる高次元の特徴量を、3次元/2次元に圧縮し、画面上にマッピングしている。画像認識のモデルは、学習済みの畳み込みニューラルネットワークとして一般的な、VGG16モデルを用いた。色やかたちといった物理的な特徴を反映するとされる低レベル(入力に近い)のレイヤーの出力から、事物のカテゴリーを反映する上位のレイヤーの出力まで、複数のレイヤーの出力(=特徴量)を切り替えてマッピングすることで、AIがさまざまな角度で作品を解析、解釈しているのが分かる。

注意すべきなのは、ここで使っているAIは、あくまでも一般的な画像認識用のモデルであり、書かれている文字を読むこと等はできないという点。当然、作品の意味やコンテクストを理解することもできない。しかし、それらを超越(無視)したところで、人間がこれまで気づかなかった作品間の意外な類似性・関連性が見えてくる作品である。

《JAGDAの実験 – 文字を生成する》 JAGDAインターネット委員会 + Qosmo

この作品では、Generative Adversarial Network(GAN)の手法を使って、フォントを生成するという試みている。

GANでは、学習データを真似してデータを生成するネットワーク(Generator)と、入力されたデータが学習データに含まれる「本物」なのか、それともGeneratorが生成した「偽物」なのかを見分けようとするネットワーク(Discriminator)の二つのニューラルネットワークを用いる。この仕組みでは、この二つが相互に互いを出し抜こうと学習することにより、高い精度での生成が可能になる。GANのGeneratorは、乱数列を入力として、学習したデータを模倣するデータを生成。入力の乱数列を線形補間で少しずつ変えていくことで、徐々に変化するフォントを生成している。学習元のフォントの特徴が直接的に反映されているような見覚えのあるフォントとフォントの合間に、不思議な造形のフォントが顔をだす瞬間が見どころである。




LINKS


CREDITS

《造形に学ぶ - バウハウスの積み木》

  • Planning / Direction

    JAGDA インターネット委員会

  • Planning / Technical Direction

    Qosmo

  • Planning / Supervision

    徳井直生(Qosmo)

  • Poster Design

    ロビン・ジャンガス(Qosmo), 堀川淳一郎

  • Animation

    堂園翔矢(Qosmo)

  • Project Management

    安江沙希子(Qosmo)

  • Support

    堀川淳一郎

《作曲をする - 楽譜からうまれるメロディ》

  • Planning / Direction

    Qosmo

  • Programming

    徳井直生(Qosmo)

  • Assistant

    天野真(Qosmo)

  • Project Management

    安江沙希子(Qosmo)

  • Sound Support

    大石亜希子

  • Installation Design

    JAGDA インターネット委員会

  • Instrument Support

    株式会社ヤマハミュージックジャパン

《JAGDAの実験 - 年鑑掲載作品マトリックス》

  • Planning / Direction

    JAGDA インターネット委員会

  • Planning / Technical Direction

    Qosmo

  • Technical Direction

    徳井直生(Qosmo)

  • Data Analysis / Web Programming

    ロビン・ジャンガス(Qosmo)

  • Project Management

    安江沙希子(Qosmo)

《JAGDAの実験ー文字を生成する》

  • Planning / Direction

    JAGDA インターネット委員会

  • Programming

    徳井直生(Qosmo)

ご依頼・ご相談などは、こちらからお問い合わせください

CONTACT