株式会社Preferred Networksは、クリエイティブ産業向けに好みのキャラクターや高精細な3Dモデルが簡単に生成できるデジタル素材生成システムを発表した。
同社はこの技術を使ったミュージックビデオを公開。主人公はキャラクター自動生成システムが生成したキャラクターを元にデザインされ、スマートフォンや背景の文房具などのアイテムは高精細3Dモデル生成機能を用いて実物から生成されたものが元になっている。
この技術の根幹にあるのは、2Dキャラクターを自動で生成する「Crypko」と、実在の物品を専用の3Dスキャナで取り込み3Dモデルを作るシステムのふたつだ。
「Crypko」は、深層学習の一種であるGAN（Generative Adversarial Network）を利用し、高品質の2Dキャラクターの立ち絵を自動生成することができるシステム。2020年に技術が公開されたときからさらに進歩し、現在は上半身全体を高解像度でデザインできるようになった。
上記のミュージックビデオではここでデザインされたキャラクターを元に3Dモデルを起こしている。なお、Crypkoを使った2Dキャラクターを自動的に3Dにする機能はないようだ。
実物から3Dモデルを作るシステムは、小型のアイテムであれば約6時間の撮影作業で当日中に200点以上の3Dモデル化が可能だという。動画の背景で使われている文房具やスマホはこの技術で3Dモデル化された。
さまざまな材質や大きさの被写体に対応しており、制作したデータは市販の編集ソフトで自由に加工・複製し、映像作品やゲーム等で使用できる。ビデオゲームでも一般的になった「フォトグラメトリ」技術のひとつといえるだろう。
主人公がかき鳴らすギターの3Dモデルは、細部の質を上げるため外部クリエイターと共同作業を行っている。自動生成した3Dモデルをアーティストの手でさらにブラッシュアップできるので、3Dアーティストが作業時間を短縮することもできるだろう。
本システムによる実物の3Dスキャンで生成された高精細3Dモデルです。 pic.twitter.com/7hzQ3DaNz7
— Preferred Networks (@PreferredNetJP) March 10, 2021
この技術は、経済産業省の令和元年度補正予算「コンテンツグローバル需要創出促進・基盤整備事業費補助金（J-LOD)」第4弾の採択事業として開発された。“作品制作に関わるプロフェッショナルからアマチュアまで広く利用可能なプラットホームとして提供”するということなので、小規模チームによるゲーム開発などでも利用できそうだ。
