テクノロジーを起点とした社会課題の解決や、あたらしい表現開発を実践する Dentsu Lab Tokyo は、エンターテイメントの再発明をミッションに掲げる株式会社 stuとともに、AI 生成技術を用いたリアルタイム参加型バーチャルライブツール「LAIV(ライヴ)」のプロトタイプを開発。アーティストと参加者による双方向演出を可能とする VR ライブの新しい体験を提供する。
昨今 AI を活用したチャット機能や画像生成ツールが登場し、注目を集めているなか、今回は、画像生成を用いた新しいバーチャル空間上でのライブ体験を開発。ユーザーが AI で生成した画像をライブパフォーマンスの一部としてリアルタイムに組み込むことで、従来難しかったアーティストとユーザーの双方向演出という新たな楽しみ方を生み出した。
なお、今回はプロトタイプの試験運用第一弾として、V シンガーのhaju:harmonics と共創型バーチャルライブを実施。参加者が入力したプロンプトから生成される画像が、リアルタイムにライブ演出として投影されるなど、ライブ参加者がより楽しめる参加型のライブ演出を実現し、ツールの有効性を確認した。
- バーチャルライブツール「LAIV(ライヴ)」の特徴
1. アーティスト応援の新たなかたち
AIによる素材生成支援により、アーティストにとってはより多様な視覚的演出を強化することが可能となります。テストライブでは1万枚以上のAIによる生成素材を使用致しました。ユーザーもアーティストへ向けた応援を画像生成という新たな形で届ける事が出来ます。
2. ユーザーによってリアルタイムに変化するライブ体験
リアルタイムに生成した画像をライブ中に使用することで、ユーザーにとってより参加感のあるライブ体験となり、ユーザー同士のコミュニケーション活性化に繋がります。さらに同一の公演であっても何度も生成の異なる演出を楽しむ事が可能となります。
３. プラットホームへのAI生成システムの組み込み
「LAIV」はアーティストと参加者が共同でコンテンツを作り上げる新たな場です。画像生成によるパーソナライズによって個々のユーザーが自分だけの特別なライブを体験することが可能となります。楽曲に留まらず、アーティストとユーザーによって共同のインタラクティブな物語を創り上げることができます。
使い方
・参加者は任意のPCからライブに参加。
・ライブ画面上にある テキスト記入欄に任意のプロンプト (テキスト )を記入することで画像生成 AIが自動でオリジナルの画像を生成 します。
・生成された画像は自動でライブ中の会場に投影され、演出を盛り上げることができます。
共同開発により生み出された技術
「LAIV」はstuが提供するホワイトレーベル型メタバースプラットフォーム「RemoteStudio」をベースに開発しました。「RemoteStudio」の柔軟に実行環境をカスタマイズできる特徴を活かし、画像生成AIをアドオン。ユーザーがライブ画面上にプロンプトを打ち込むことで、リアルタイムに生成した素材をライブに取り込むことを可能とし新しい演出表現を可能としました。
- Vシンガー「haju:harmonics」によるバーチャルライブを演出
本ツールの検証を行うため、Vシンガーの「haju:harmonics」に協力頂き、バーチャルライブを実施。エシカルなAI表現の課題やならでのパフォーマンスの模索を行いました。
▼生成されたAI画像
▼バーチャルライブの様子
開発者コメント
Dentsu Lab Tokyo Planner 末冨 亮
新しいバーチャルライブツール「LAIV」はユーザーとアーティストによる双方向体験をコンセプトに設計されました。このツールは、AI技術を活用して、アーティストとユーザーが互いに影響を与え合い、共同で新しい表現を創造する機会を提供します。バーチャルライブで大切な熱量の可視化、その瞬間立ち会うことでしか生まれない風景を楽しんで頂ければと思います。
stu 機械学習エンジニア 神庭 広希
今回開発した「LAIV」では、弊社プロダクトのRemoteStudioをベースシステムとして活用しております。RemoteStudioは拡張性が高く設計されており、昨今発展が著しい AI をアプリケーションの中に取り込むことができます。今回は画像生成にフューチャーし、素材としての活用に留まらない演出の可能性を検証しました。今後も、AIを用いた新しい体験を探っていきます。