デクタースタジオがAIベースのVFX（視覚特殊効果）新規特許を取得し、VFX制作の効率化と品質向上のための技術革新の意志を示した。
コンテンツ専門企業デクタースタジオは28日、AIディエイジング、アップスケーリングなど合計4件の新規特許登録を完了したと発表した。
新規登録されたAI特許は、▲ビデオシーケンスディエイジング恒常性維持技術 ▲マルチレイヤー画像高品質アップスケーリング技術で、ディープラーニングベースの映像処理方式に高度化されたアルゴリズムを組み合わせ、制作効率はもちろん完成度向上も期待できる技術である。
AIディエイジング技術の特許名は「ビデオシーケンスに対するディエイジング恒常性維持のための映像制作方法」である。従来は各フレームごとに個別処理していたディエイジング効果を映像全体に自動適用しながらも自然で一貫した外観を実現するのが特徴である。
全体映像で表情、照明などが大きく変わる「キーフレーム」をディープラーニングで集中学習した結果を、類似の構造を持つ残りのフレームに全体適用する方式で、連続したフレームに対する一貫性のあるディエイジング効果を実現した。また、首、肩、髪の毛などは除外し、顔の肌だけの色分布をディエイジング処理された画像の色とマッチさせて、原本の雰囲気、肌のトーンまで保持される一貫性の高いディエイジング効果を実現する。
パーソナライズ機能を通じて年齢、性別などを認識しディエイジング強度を調整できるため、エイジング（Aging）とディエイジング（De-aging）が両方可能で、年齢層が大きく変わるシーンにも対応できる。グローバルOTTなどのプロジェクトにこの技術が適用されており、撮影された俳優の顔を他の俳優の顔・表情に変える「フェイススワップ（Face Swap）」にも活用できる。
特許名「マルチレイヤー画像に対する高品質アップスケーリングのための映像制作方法」は、VFXおよび高解像度コンテンツ制作に最適化されたアップスケーリング技術である。従来の単一画像基準のアップスケーリング方法とは異なり、EXR（Extended Range）フォーマットのようなマルチレイヤー画像の各レイヤー（色、照明、深さ、位置など）を分離して独立にアップスケーリングした後、再構成する方式である。各レイヤーの特性データが保持される必要があるマルチレイヤー画像を最終制作品質レベルの超解像度（Super Resolution）でアップスケーリングする場合でも、データ損失なしに高い処理効率で質感とディテールを向上させることができる。
このほかにもデクスターはフルボディスキャンおよびモーションキャプチャを活用した3Dボディプロファイル制作、バーチャルプロダクション環境でデジタルヒューマンを活用した撮影システムに関する特許まで合計4件の特許を新規登録した。AIディープラーニングベースのマッチメイション技術、フォトグラメトリー撮影自動化技術など新規VFX技術多数も特許出願状態である。AIアーティストとAIエンジニアで構成されたAI専任チームを運営し、AI制作ノウハウの蓄積および生成型AIなど新技術開発にも集中している。
デクスターR&D研究所のソン・ジェウォン所長は「今回の特許技術をはじめ、VFX制作パイプラインに直接連動する多数のAI技術を通じて作業効率を着実に向上させており、映画、ドラマ、CFなどさまざまな領域のプロジェクトで技術適用範囲を拡大している」と述べ、「効率性最大化で確保される資源は、主役級キャラクターに活用可能なディープラーニングベースの『デジタルヒューマンフェイシャルシステム』開発など独自の技術優位確保のために投入中」と説明した。
