UNLABELED – Camouflage Against the Machines

OVERVIEW

Dentsu Lab Tokyoと共同でテキスタイルレーベル「UNLABELED(アンラベルド)」を立ち上げ、AI監視社会から身を守るためのカモフラージュ柄を開発しました。本プロジェクトでは、AIによって画像や動画などから性別、年齢、人種、外見などの情報を検出する機能に着目し、AIに人として認識されにくくなるカモフラージュの制作を試みます。Qosmoは、画像に特定の柄を加えることでAIの誤認識を誘発する技術を応用した、カモフラージュ柄生成システムの開発を担当しました。10月22日（金）より開催する日本最大級のデザイン＆アートの祭典「DESIGNART TOKYO 2021」に参加し、初の新作展示会『Camouflage Against the Machines』を開催。

TECHNOLOGY

Qosmoが開発したカモフラージュ柄の生成システムは、監視カメラに対して生成したカモフラージュ柄をかざすことで、人としての認識率を減少させることが可能となります。カモフラージュ柄は、深層学習を用いた物体認識モデル(YOLOv2)に対して機能するよう学習を行っています。
正しく機能している分類モデルに対して、人にはほとんど認識でない微小なノイズを加えることにより誤認識を誘発するAdvesarial Exampleという手法があります。元の入力画像に微小なノイズを付与してどの程度認識率が下がるかを計算し、少しでも認識率が下がるように画像を繰り返し最適化していくことで、分類モデルを騙すことができる画像（＝Adversarial Example）を生成することができます。

一方で、入力画像にノイズを乗せるのではなく、入力となる画像の中にパッチを含めることで分類モデルの誤認識を誘発するAdversarial Patchという手法もあります。Adversarial Exampleとの大きな違いとしては、入力画像の中にパッチを含めれば良いので、実際に印刷して実世界で使用することができる点があります。本プロジェクトではこの点に注目し、実際に着用できる服としてのAdversrial Patchを開発しました。

実際に着用できる服をAdversarial Patchとして機能させるためには、単純に人の画像の上にパッチを2D的に重ねて学習する方法ではうまくいきません。服のシワやたわみを考慮する必要があるためです。また、一枚の画像であるパッチを服に展開する場合、画像のどの位置が服のどの位置にあたるかなど、実際に服にした場合の見え方も考慮して学習を行う必要があります。この問題を解決するために、本プロジェクトでは3Dファッションデザインソフトウェアを用いて服の3Dモデルを作成し、ゲームエンジン内で生成したパッチを貼り付けて撮影した画像を学習データとしました。これにより、実際にパッチから服にした場合と同じ条件で学習を行うことができるようになりました。
（慶應義塾大学SFC 徳井直生研究室のメンバー 天野真・斉友華・中嶋亮介・平田英子を中心に行った研究がベースになっています。）

また、服を制作する際には、そのデザインも大きな要素の一つとなります。生成するパッチの柄をコントロールしデザインの幅を広げるために、深層学習を用いた画風変換のアルゴリズムを組み込み、任意のデザイン画像を基に様々なカモフラージュ柄を生成することを可能にしました。

---

LINKS

---

CREDITS

• Creative Director

  Nao Tokui （株式会社Qosmo）、Naoki Tanaka（Dentsu Lab Tokyo）

• Art Director

  Yusuke Koyanagi（Dentsu Lab Tokyo）

• Planner

  Yuma Shingai（Dentsu Lab Tokyo）

• Copywriter

  Risako Kawashima（Dentsu Lab Tokyo）

• Technical Direction/Programmer

  Makoto Amano（慶應義塾大学SFC）

• Design Direction

  Hanako Hirata（慶應義塾大学SFC）

• Design Assistant

  Yuka Sai（慶應義塾大学SFC）

• Machine Learning

  Ryosuke Nakajima（慶應義塾大学SFC/株式会社Qosmo）

• Visual Programmer

  Shoya Dozono（株式会社Qosmo）、Robin Jungers（株式会社Qosmo）

• Producer

  Ryotaro Omori（Dentsu Craft Tokyo）、Kohei Ai（Dentsu Lab Tokyo）、Miyuki Fujishima（Dentsu Lab Tokyo）

• Designer

  Naoki Ise （株式会社Qosmo）、Takumi Saito（Dentsu Lab Tokyo）

• Project Manager

  Sota Suzuki（Dentsu Craft Tokyo）

• Engineer

  Yuki Tanabe（Dentsu Craft Tokyo）

• Exhibition Director

  Kei Murayama、Yusuke Yamagiwa

• Photographer

  Ryo Funamoto

• Product Director

  Tomohiro Konno（NEXUSⅦ.）

• Product Manager

  Tomotaka Inoue（NEXUSⅦ.）

• Movie Producer

  Takahiko Kajima（P.I.C.S.）

• Movie Production Manager

  Shogo Honda（P.I.C.S.）

• Movie Director

  Sotaro Ogi

• Cinematographer

  Sho Takahashi