山口情報芸術センター［YCAM］が企画した体験型展示「YCAM Dance Crew 2024 ダンスブース展示」のAIシステムとインタラクション技術のエンジニアリングを担当しました。
本展示では、参加者がプロンプト（指示文）を入力することで、画像生成AIを活用し、ダンス映像にエフェクトを加えたり、映像自体を別の映像へと変換する体験ができます。また、プロンプトの作成が難しいと感じる参加者向けに、提示された単語を組み合わせるだけで文章が生成されるモードを実装し、誰でも簡単に体験できるよう工夫しています。
さらに、体験者のダンスの様子を録画し、その録画データを使用しAI活用した映像変換を施した映像を制作。体験終了後に掲示されるQRコードを取得することで、後日ダウンロード可能なコンテンツとして提供しました。
メインツールとして TouchDesigner を使用し、Stable Diffusion を基にしたリアルタイム処理に適応した技術 Stream Diffusion を画像生成AIとして採用しました。また、プロンプトの生成には LLM（大規模言語モデル） を活用し、参加者が単語を組み合わせることで自然な指示文を作成できるようにしています。体験者のダンス映像の変換には AnimateDiff と IP-Adapter を組み合わせ、高品質な映像変換処理を実施しました。
システム図
本展は、ダンサーが新しい振り付けや動きを発見・習得する機会を提供するとともに、子どもやダンス初心者など、幅広い人々が楽しく体を動かし、ダンスを身近に感じられるような体験を創出することを目指しています。体の動きに追従して映像が変化するAIミラー（鏡）が、新しい振り付けのアイデアを誘発し、身体表現を拡張する新たな体験を生み出します。
Links
- Tokyo Art Beat - 「YCAM Dance Crew 2024 メディア・テクノロジーでダンスをパワーアップするワークショップ＆ダンスブース」 - Qosmo Lab - AIを使って新しいダンス表現を引き出す [YCAM Dance Crew 2024]
Exhibition
2024.06.29 - 2024.11.10 | YCAM Dance Crew 2024 ダンスブース展示（山口情報芸術センター［YCAM］）
Credits
［2024年版ダンスブース］ テクニカルディレクション、音響デザイン：中上淳二（YCAM） システムデザイン／開発：中上淳二（YCAM）、中嶋亮介（Qosmo）、高石圭人（Qosmo）、三浦陽平（YCAM） ハードウェアデザイン／制作：板倉勇人（YCAM）、太田遥月（YCAM） UIデザイン：高原歩美（YCAM） ダンス楽曲制作：toiret status、nulye、DJJJ 展示制作サポート：山岡大地（YCAM）、大場美葵（YCAM）、今野恵菜（YCAM） 企画・制作：竹下暁子（YCAM）、秋山きらら（YCAM） 主催：公益財団法人山口市文化振興財団 後援：山口市、山口市教育委員会 助成：文化庁文化芸術振興費補助金（劇場・音楽堂等機能強化推進事業）│ 独立行政法人日本芸術文化振興会 開発：YCAM InterLab 企画制作：山口情報芸術センター [YCAM]