ポスター発表プログラム
10月6日(木) 17:15-18:25 ポスターセッション1
[P1] 連続的な感情パラメータの操作による顔画像の表情操作
概要
本研究では人物の顔画像を様々な表情の間で連続的に変更できる手法を提案する。既存手法は、喜びや悲しみといった離散的な感情に基づいて画像中の人物の表情を変化させられるが、複数の感情の間の表情の再現が困難である。そこで、感情の正負 (感情価) や激しさ (覚醒度) といった連続的な感情値に基づいて画像中の人物の表情を対話的に変化させる手法を提案する。これにより、感情パラメータを制御して複数の感情の間で滑らかに画像中の人物の表情を操作することが可能になる。本研究では、感情価と覚醒度を入力として、人物の顔の概形 (口の開閉、眉間のしわなど) をパラメトリックに制御可能な3 次元頭部モデル (3DMM) の感情パラメータを推定する。得られた3DMMで人物の顔画像を合成するアーキテクチャ (StyleGAN) を制御することによって、多様な表情かつ写実的な人物顔画像を出力する。
[P2] 高さマップからの気候や季節を考慮した地形テクスチャ生成
概要
地形3Dモデルの制作支援を目的として、地形の形状を表す高さマップの生成手法が提案されている。しかし、地形の色情報を表すテクスチャの生成手法は少なく、特に、地形テクスチャ生成の既存研究では気候や季節の変化は考慮されていない。そこで本研究では、高さマップから気候や季節を反映した地形テクスチャを生成する、ニューラルネットワークを用いた教師あり画像対画像変換手法を提案する。本研究では、地球各地の実測値に基づくデータセットを構築し、高さマップに加えて月別の気温・降水量などの気象観測データを周期的な時系列情報として入力することで 、地理的・時間的に多様な地形テクスチャの生成を試みる。
[P3] 高周波の照明と影を考慮した人物全身画像の再照明
概要
ニューラルネットを用いた人物全身画像の再照明手法が提案されている．既存手法では影や光沢を直接ニューラルネットで推定しているが，人物全身画像のバリエーションの多さから十分に学習しきれず，光源の入射方向が変化するとちらつきが生じる．本研究では，照明計算に基づいた定式化により，光源の変化に対しても一貫した影と光沢を再現できる教師あり学習ベースの再照明手法を提案する．具体的には，入力画像から深度マップと複数の平行光源を推定してハードシャドウを描画しつつ，拡散・鏡面反射成分を推定して陰影を計算する．平行光源に基づく照明計算により，既存手法では再現の難しかった高周波の影と光沢を含む再照明を実現する．
[P4] Neural Radiance Fieldsの昆虫標本のデジタルデータ化への応用に関する検討
概要
昆虫標本のデジタルデータ化は，経時劣化や保管場所の確保という問題に対処するために非常に重要な課題である．現在の主流は，多視点写真からメッシュモデルを復元する手法である．しかし，この手法には，細く薄い構造の復元や複雑な反射特性の再現が難しいという問題がある．一方，Neural Radiance Fields（NeRF）は多層パーセプトロンを用いて3次元シーンを表現することで，複雑な構造や多様な反射特性の表現に成功している．そこで本研究では，昆虫標本のデジタルデータ化へのNeRFの応用可能性について検討する．具体的には，既存手法とNeRFを用いて昆虫標本のデジタルデータ化を行い，復元時間，レンダリング精度などについて比較し考察する．
[P5] キャラクタイラスト線画の顔を対象としたテクスチャ詳細が反映可能な自動着色
概要
近年、カラーキャラクタイラスト制作を効率化するため、線画の自動着色手法が提案されている。手書き線画を人が着色する際、色だけでなく、ハイライトや瞳の詳細といった要素を描いていくが、既存の自動着色手法はこれらの詳細を表現することができない。本手法では、参照画像を用い、これらの色と詳細を線画に反映することで、これらの問題の解決を目指した。
[P6] 深層学習ネットワークに基づく複数物体の識別のための視点提案技術
概要
視点選択技術は、CG分野の主要なテーマの一つである。また、近年の深層学習の急速な発展に伴い、深層学習の技術を応用した視点選択技術も少なからず提案されてきたが、これらの技術は単一の物体に対しての提案にのみ対応しており、ユーザとのインタラクションに対応していない技術も多い。本研究では、複数物体に対する視点提案のための新たな枠組みを提案する。ネットワークは、さまざまな角度から撮影された複数の物体の写真を入力として、「これらの物体を見分け、特徴を把握するために有用な視点」を提案するものである。今後は、ユーザの目的に合わせたインタラクションの支援や、ユーザースタディによる本手法の検証実験も実施する予定である。
[P7] ヘルムホルツの相反性を利用した多視点ステレオ
概要
本発表では，ヘルムホルツの相反性を利用した多視点ステレオによる形状復元手法を提案する．提案手法では，フラッシュライトを搭載した２台のカメラを利用し，一方のカメラがライトを点灯した状態で他方が撮影することでヘルムホルツ画像ペアの取得を行う．このような撮影を多視点で行った後，形状の復元を行う．本アプローチにより，等方性の反射特性を持つ表面であれば，反射特性に依存しない形状の復元が期待できる．また，形状復元は，陰関数表現を用いたニューラルネットワークの最適化によって実現する．
[P8] DiffMask2Face: Latent Diffusion Modelによる編修可能な人物顔生成
概要
近年，拡散モデルを用いた「画像生成 AI」に関する技術が多数考案され，世界中の注目を集めている（例：DALL·EやStable Diffusion）．しかし，既存の（拡散モデルによる）画像変換手法は，ユーザによる「スケッチ」とコンテンツ内容を表す「テキスト」情報を入力しなければならず，テキスト依存性に加え，意図したスケッチ内容を正確に反映することができない点が問題視されている．これらの課題を解決するため，本研究ではLatent Diffusion Model を基に，スケッチ（顔領域のマスク）から高品質な顔写真を生成する手法を提案する．提案手法を用いることで，顔マスクの領域に対する指定や編集操作のみで，生成される顔画像結果のコントロールを実現する．
[P9] 特徴表現の解きほぐしによる制御可能な人間行動予測に関する研究
概要
(非公開)
[P10] Patch-based Memory Efficient Diffusion Probabilistic Models
概要
Diffusion models have emerged as a member of generative models, and shown its astonishing ability to sample high quality images. In the sampling phase, however, the diffusion models suffer from high memory consumption. To mitigate this issue, we propose patched diffusion model (PDM), which processes only smaller split patches instead of the full-size image. The patch-based processing avoids high memory consumption. However, splitting an image to the patches causes losing several information. To compensate for the lacking information, we propose a method named Global Content Conditioning. We conducted several experiments on the CelebA and LSUN bedroom datasets, varying the patch division numbers and layer settings. We showed that PDM reduces memory consumption with mitigating losing the quality of generated images.
[P12] HyperNeRF を用いた任意視点・表情コントロール可能な発話動画生成
概要
本研究では，表情・動きのコントロールが可能な任意視点の発話動画の生成をおこなう．発話動画生成は，口元や表情の合成や転写・生成したアバターのレンダリングといった手法が提案されてきたが，任意視点動画の生成が可能ではなかったり，生成結果にリアルさや本人らしさが欠けていたりしていた．また，近年はニューラル輝度場 (NeRF) を用いることによって任意視点が可能なリアルな三次元表現を行える手法が提案されているが，表情等の顔の動きをコントロールできない．本研究では，顔の3Dモデルの表情パラメータとNeRFの変形場を対応付けることによって，任意視点で描画可能な顔のモデルの生成および表情パラメータによるコントロールを可能とした．学習の際，時刻と表情パラメータのネットワークの出力の誤差を最小化することにより，安定的な学習が可能となった．
[P13] StyleGAN2を用いたゲームキャラクタの表情差分付き顔画像自動生成システム
概要
キャラクタを動かすゲームの開発においては、ゲームキャラクタの顔画像の作成に合わせて顔向きや表情の異なる表情差分付き顔画像が必要になる。通常は、デザイナーに依頼するか自ら制作する必要があり、費用と時間がかかってしまうという問題があった。このような背景のもと、本研究では、GANの一方式であるStyleGAN2を用いたゲームキャラクタの顔画像の自動生成とStyle Mixingを用いたスタイル適用を組み合わせることで、表情差分付き顔画像の自動生成を行う方式について提案する。提案方式を用いて顔画像の自動生成システムを構築し、ユーザビリティ評価を行った結果、その有効性について確認することができた。
[P14] エンドツーエンドなテキスト表現からのレイアウト自動生成
概要
近年，深層学習を用いたText-to-Imageの分野の研究は非常に盛んであり，人が描いたイラストに近い品質の画像生成も可能になりつつある．現在のText-to-Imageの生成手法は，生成画像に含まれる物体の内容を陽には指定できず，結果に対する説明性に欠ける．また，生成画像の制御や再編集も言語を介した間接的な手段しか無いので，利用者が画像の構図に任意の変更を加えて再生成させることが難しい．そこで，本研究では物体の構図と属性（大きさ，アスペクト比）に着目し，テキスト表現からのレイアウト生成手法を提案する．画像生成の中間状態としてレイアウトを生成することで，軽量な生成モデルでの生成品質の向上も期待できる．
[P15] 深層学習による顔アニメーションリターゲティングの検討
概要
ゲームや映画などにおいて高品質なフェイシャルアニメーションに対する需要が高まっているが、制作のためには高価な計測環境やアニメーターによる手動調整に大きなコストを伴う問題がある。そこで，既存の顔のアニメーションを様々な顔のモデルに適用するために、本研究ではニューラルネットワークを用いた顔アニメーションリターゲティングの手法を提案する。具体的には、Skeleton-Aware Networks と Graph Convolutional Networksの組合せによって、表情変形を異なる顔モデルに転写することでブレンドシェイプアニメーションを生成する技術を開発する。
[P16] カメラポーズが未知の環境下での少ない画像からのNeRFの学習
概要
複数枚の画像から現実世界のシーンをフォトリアルに新規ビュー合成することができる Neural Radiance Fields (NeRF)が注目を集めている．しかし，NeRFの制約として，視点の異なる多くの画像と正確なカメラポーズを必要とするこの2つの制約を同時に解決するため，本稿では，少ない画像と不正確なカメラポーズから深度画像を用いて新規ビュー合成する手法を提案する．提案手法では，推定された深度が正解の深度に近づくように損失を追加した．深度画像に基づく損失を加えることで，既存研究よりもカメラポーズ推定とビュー合成の性能が良くなることを定性的および定量的に示す．
[P17] ボリューム表現アニメーションのための姿勢とボーンウェイトの統一的学習
概要
ニューラルネットワークを用いて実写画像群から自由視点画像を構成する Neural Radiance Field (NeRF) という技術に端を発して、微分可能ボリュームレンダリングの研究が加熱している。一連の研究は、実写画像に対して忠実な静的三次元ボリューム表現を簡便に獲得できる利点がある一方で、動的な形状表現として活用するための研究はまだ少なく、課題も多い。本研究では、こうしたボリューム表現に対してスケルトンベースのアニメーションを明示的に行うための手法を開発することで、ボリューム表現の学習手法を 3DCG において応用することを目指す。
[P18] AFSM: Adversarial Facial Style Modification for Privacy Protection from Deepfake
概要
Deepfakeの脅威から人々のプライバシーを保護するために, 敵対的摂動を用いてDeepfake生成モデルを誤作動させる手法が提案されている. 従来手法ではピクセル空間に摂動を加えているが, 摂動が微小な場合は画像変換によって回避される可能性があり, 摂動が大きい場合は画像の視覚品質が低下する可能性がある. 本研究では, "人間の知覚に影響が少ない編集であれば, 大きな摂動を与えても画像の品質を低下させずに済むのではないか？"という着想に基づき, StyleGANの特徴量空間で摂動を加えることで, 人間の知覚にとって自然な敵対的サンプルを生成し, かつ敵対的サンプルの汎化性能向上を実現した.
[P19] ニューラルネットワークを利用したマスクテクスチャの提案
概要
3DCGによるアニメ表現では、セルシェーディングでの影領域などの色の塗り分けのマスクの生成が重要となる。本研究ではマスクのためのテクスチャを多層パーセプトロンのニューラルネットワークにエンコードした。ランタイムでニューラルネットの評価を行うことで、カメラ角度やライト角度に応じて変化する高解像度なマスクテクスチャを実現できた。
[P48] 音声からの表情生成技術を活用した広告動画作成パイプライン
概要
本発表では，NVIDIA社のOmniverse Audio2Faceと表情転写技術を組み合わせて，多様な広告動画を効率的に作成するシステムを紹介する．インターネット広告では，ユーザに合わせた多様な広告動画を制作する必要がある．そのため，撮影と編集に関するコストや工数が課題となっている．既存の表情転写技術を利用することで，複数回の撮影を必要とせず広告動画の制作が可能となるが，表情を制御するための演者が別途必要であった．そこで本研究では，Audio2Faceといった音声から表情を生成する技術を活用することで，演者を必要としない人物動画生成を実現することによって，広告動画制作フローの加速を目指す.
10月7日(金) 17:15-18:25 ポスターセッション2
[P20] リアルタイムレンダリング可能なNeRFの動的シーンへの拡張
概要
NeRF:Neural Radiance Fieldsは、多視点画像から高品質な新規視点画像生成を行う手法として注目を集めている。しかし、NeRFは基本的に対象が静的なシーンに限定されることや、レンダリングが遅い等の制約がある。そこで我々は、静的なシーンに限定されるものの、レンダリングを大幅に高速化したPlenOctreesを動的なシーンに拡張することで、上記2つの制約を解消することを試みる。まずは入力に時刻を加えたNeRFの学習を行い、各時刻におけるPlenOctreeを時刻分生成する。加えてレンダラーを時刻方向に拡張することで、動的シーンにおけるNeRFのレンダリング速度の高速化を行う。
[P21] 適応刻み幅制御型シンプレクティック数値解析法による強い重力影響下におけるレイトレーシング高速化の検討
概要
本研究では，シンプレクティック数値解析法を適応刻み幅制御に変え，ハミルトンの正準方程式を数値的に解くことで，高速にブラックホール光景のCG画像を作成する．従来研究では，ハミルトンの正準方程式を精度良く解くことができる数値解法として，シンプレクティック数値解析法が採用された．この数値解法は刻み幅固定であるため，計算に時間がかかる．一方，高速に計算するため，Runge-Kutta Fehlberg 法など，適応刻み幅制御の数値解法も採用された．しかし，これは正確さの面でシンプレクティック数値解析法より劣る．本手法と従来手法の精度と計算時間の比較実験を行ったため，その報告をする．
[P22] つるバラのプロシージャルモデリングに向けた検討
概要
本研究では、誘引を考慮したつるバラのプロシージャルモデル手法を開発する。誘引とは植物を人が構造物に枝を固定する作業を指す。特にバラの誘引においては、構造物全体を見ながら枝を配置する必要がある。したがって、自ら構造物に這うようなつる植物や自然に育った樹木とは異なる樹形となるため、従来のプロシージャルモデリング手法は適さない。そこで本研究では全体のバランスが取れた樹形を生成するために、一般的な手入れ手順にもとづいて枝ぶりを最適化する手法を検討する。
[P23] 嚥下4DCT画像の領域分割のための曲線制約指定による標準モデル変形手法
概要
嚥下動作の詳細な理解のため嚥下動作を撮影した4DCT画像を利用した解析が行われている．本研究では，4DCT画像から嚥下関連組織を効率的に領域分割できるツールの実現を目的とし，3D空間中に配置した複数の曲線制約により標準モデルを変形できる手法を提案する．提案手法において，まずユーザは，分割対象組織の標準モデルと標準モデルの変形用ケージを入力する．続いて，ユーザは，CT画像中の分割対象組織の境界に曲線制約を複数配置する．すると，システムは，標準モデルの元形状がなるべく保たれ，かつ，その境界が曲線制約に近づくように変形用ケージの頂点を移動する．これにより，ケージを用いたFFD変形の枠組みと，曲線制約による直接的な変形の指定の両立が可能になる．
[P24] 3人称視点VRアプリケーションにおけるアバターの大きさとユーザ動作の関係の予備調査
概要
Virtual Realityを用いたゲームにて3人称視点でアバターを操作する際，操作する対象のアバターの大きさに依存して，プレイヤーの操作時の動きの大きさが変化すると考えられる．そこで本研究では，3人称視点でアバターを操作するVRアプリケーションにおいて，アバターの大きさがユーザの動きに与える影響を調査する．具体的には，一般的なVRゲームを用意し，異なる大きさのアバターにより同じ動作を行った際のユーザの動きの大きさの変化を調査する．
[P25] 板状透明物体のための屈折を考慮したモーションベクトルの一検討
概要
レイトレーシング法を用いたリアルタイムレンダリングにおけるノイズ除去手法に時間的フィルタリングがある。時間的フィルタリングでは，連続するフレーム間において物体表面上の同じ点に対応するピクセルを追跡したモーションベクトルを計算する必要があり、フレームごとのピクセルの色をブレンドすることでノイズを除去する手法である。フレーム間のピクセルの追跡手法の一つとして、シーン中の影や光沢反射、物体による遮蔽を追跡するモーションベクトルが提案されている。本研究ではレイトレーシング法の利点である光の屈折に着目し、透明な物体における屈折を考慮したモーションベクトルの導出手法について検討する。
[P26] ARによる食品の詳細度変更と食感の違いの検証
概要
人間が食事をするとき，五感をすべて活用して食べ物を味わっている。視覚・触覚・聴覚と味覚によるクロスモーダル現象を用いた研究は多くなされている。また，VR技術を使って視覚と味覚の関連性を調べた研究も近年増加している。本研究では3Dモデルの詳細度に着目した。VR技術を用いて，3Dモデルのポリゴン数の増減・テクスチャの変化によって，実際に食べたときの味が変化するのかを実験・検証する。
[P27] CG画像における倍率色収差の表現
概要
この論文ではCG画像における倍率色収差の表現方法について紹介する。はじめになぜCGで色収差を表現しようとしたかについて説明する。次にどのようにして色収差を再現するか説明する。最後にカメラレンズモデルを作成して、色収差を再現するが、その時のレンズの形状やパラメータを説明する。
[P28] アカンサス装飾モデリングのための曲線デザイン手法の検討
概要
アカンサス装飾は中世ヨーロッパを舞台とする3DCGコンテンツにおいて頻繁に見受けられる。しかし植物をモチーフとする造形は複雑であり、モデリングには多くの時間や労力を要する。そこで本研究では、事前分析を通じて定めたアカンサス模様の基本形状一覧をユーザに提示し、選択された形状を直観的に制御できるプロシージャルシステムを開発する。特に、アカンサス模様に特有の曲線や分岐構造を操作するためのユーザインターフェースとして、円と線を用いた操作ハンドルを検討している。こうした手法により、ユーザが望む形状を持つ多様な装飾を短時間で展開できるシステムを目指す。
[P29] 直線光源環境下における鏡面反射成分分離を用いた昆虫標本の反射特性推定
概要
本研究では，昆虫標本などの微小物体を対象とし，多視点写真から形状・テクスチャ・表面粗さを推定可能な，反射特性を考慮したデジタルデータ化手法を提案する．具体的には，対象物体を直線光源環境下にて複数視点からフォーカスブラケット撮影し，深度合成と多視点ステレオ法により精密な3 次元形状モデルを取得する．続いて，撮影した一連の写真に対して二色性反射モデルに基づく解析を行うことで，モデル表面の色（Diffuse Color）と鏡面反射成分をそれぞれ抽出する．さらに，取得した鏡面反射成分より表面粗さを推定する．提案手法の有用性を確認するため，複数の昆虫標本をデジタルデータ化した例を紹介する．
[P30] 人物画像に対する仮想試着における三次元変形の考慮
概要
人物画像や映像に対して異なる衣服を着せた際の見た目をシミュレートする仮想試着技術は，アパレル用途のみでなく，再撮影することなく元の画像・動画コンテンツに様々な変化を与えることができる．既存の仮想試着手法の多くは，衣服画像を二次元平面上で変形させることで試着後の衣服画像を生成しているが，その際に各パーツの前後関係が無視される，不自然なテクスチャの歪が生じる，などの問題点がある．そこで本研究では，入力となる人物映像および衣服画像から三次元情報を復元し衣服画像の変形に利用することによって，より高品質な仮想試着映像の生成を目指す．
[P31] 映像内のオブジェクトをVR空間内に再現し臨場感を高める動画鑑賞システム
概要
誰しも過去に撮った動画を楽しい思い出として見返す機会はあるものだ。その際、ただ動画を見返すだけでは味気ない気がしてしまう。そこで本研究では、ユーザが動画を後から見返す際に味わえる臨場感を演出することを目的とし、その達成のためにVR空間内に映画館を作成した。その映画館では、動画に含まれるピクセルから色を取得したり、映像のフレームに画像処理を施して館内に表示したりする。それにより、映像に連動したライティングや映像内のオブジェクトを出現させる機能が実現した。このシステムでは、映像内に出てくる色や物が実際にVR映画館内にも出現するという点で、ユーザに没入感や臨場感を与える。
[P32] GPUを用いた曲率単調領域可視化に基づく曲線描画ツール
概要
本研究では，3次多項式Bezier曲線について，曲率変化が単調となる制御点の範囲をGPUを用いてリアルタイムに可視化する手法を提案する．κ-curvesで生成された曲線について，曲率の極値で曲線を分割し，さらに次数上げによって3次Bezier曲線とする．提案手法により，G1連続性を維持したまま，曲率変化が単調になる制御点の領域が表示され，ユーザはどの範囲まで制御点を移動できるのかが分かる．本研究により，κ curves や εκ curves で生成された曲線について，曲率変化の単調性を維持したまま，形状の局所的な変更が可能となる．
[P33] アニメ調イラストから3Dの顔の半自動モデリング
概要
本研究では，アニメ調の顔のイラストから半自動で顔の3Dモデルを生成する手法を提案する．顔の正面と側面の2枚のイラストを用意し，顔のパーツや輪郭などの特徴的な位置にユーザは点を配置する．そして正面と側面に置いた点の対応から3次元空間上に点を配置していき，できた点群に対してボールピボットアルゴリズムを用いて面を生成する．
[P34] 補助骨を用いた皮膚変形リグの転写に関する研究
概要
３次元アニメーションではキャラクタのリアルな皮膚変形が重要である。しかし、一般的には変形のアニメーションを与えるリグは手動で製作されるため、キャラクタの種類が増えるほど作業量は大きくなる。本研究では単一参考キャラクターに対してデザイナーが入念に作り上げた補助骨リグを、簡単かつ高速に複数のキャラクターに転写する技術を開発する。そのために、手動指定された代表点に基づいて転写先のキャラクタとの対応情報を半自動生成し、転写先の皮膚形状に応じて転写情報を最適化する方法を検討している。
[P35] Blow-up Print: 布シミュレーションによるメッシュの圧縮を用いた高速な 3D プリント技術
概要
3Dプリンティングは、造形物が大きくなるにつれて、造形時間や材料消費量、保管スペースが増えるという課題がある。本研究では、任意の入力形状に対して、これらの課題を解決しつつもなるべく入力形状に似た形状を再現する3Dプリンティング技法として、「Blow-up Print」を提案する。本手法では、弾性体シミュレーションにより潰した3Dモデルを印刷し、実世界で風船のように膨らませることで元の形状を再現する。
[P36] 凹凸形状を持つTent機構で構成されたポップアップカード表現の提案
概要
従来のポップアップカードは紙から構成されるため，平面を組み合わせた形状しか表現できない．本研究では，3Dプリンタを活用することで，凹凸を持つ要素で構成された新たなポップアップカード表現を提案する．具体的には，まずユーザが，二つ折りになる土台の上にマウスクリック操作によりポップアップカードの基本構造であるTent機構を複数配置する．続いて，作成したTent機構に重なるように3Dモデルを配置する．すると，提案システムは，折り畳み可能な構造を維持しながら，3Dモデルを利用してtent機構に凹凸をつける．提案手法により，動物・昆虫・建物など，紙では表現が難しい凹凸を持つ3Dモデルをポップアップカード化することができる．
10月8日(土) 14:10-15:20 ポスターセッション3
[P11] 3D-GANを用いた破壊形状生成にもとづく脆性破壊シミュレーション
概要
剛体破壊アニメーションは，物理シミュレーションを用いることで印象的な効果を得ることができる．しかし，物理シミュレーション手法によるリアルな破壊アニメーションは計算コストが高くなる傾向にある．一方で，ゲームなどのリアルタイムアプリケーションでは，あらかじめ破壊された単調なボロノイ図パターンが使用されることが多い．したがって，計算コストを抑えつつ，リアルな破壊形状を実現できるトレードオフの手法が求められている．本研究では，まず2次元の平面物体に対し cGAN を用いて破壊パターンを生成する先行検証実験を紹介した上で，3次元敵対的生成ネットワーク(3D-GAN)に基づく脆性破壊の3次元形状の生成手法へ拡張する．
[P37] Exponential Mapを用いた3次元心房モデル上の興奮伝播可視化
概要
不整脈の一種である心房細動の治療において，心房内の興奮動態を観察・把握する必要がある．本研究では，心房上の3次元的な興奮伝播を把握しやすい環境の実現を目的とし，興奮伝播の様子を心房モデル上で3次元的に可視化できる手法を提案する．提案システムへの入力は，心房モデル，20極カテーテルにて計測された複数の興奮伝播に関する動画である．ユーザが，各動画に対してその計測位置を心房モデル上で直接指定すると，提案システムは，心房モデル上の指定位置に興奮伝播の動画を貼り付けて可視化する．提案手法により，従来は2次元的な可視化に限られていた興奮伝播を，3次元の心房モデル上で観察可能になる．
[P38] 画素対応を用いた自動着色手法の提案
概要
アニメ制作過程において、線画を着色する「彩色」の工程は膨大な回数の着色を行うため、制作現場に多大な負担がかかっている。そこで、「彩色」の工程の負担を軽減するための画像間の画素対応を用いた自動着色手法の提案を行う。 まず、VGG特徴量に対するPatchMatchを用いて、参照画の線画と着色したい線画の間の画素対応を取得する。そして、得られた画素対応を用いて参照画から色を取得し、 線画の彩色を行う。 従来手法との比較により、 着色精度の面で上回っていることが示された。
[P39] ペン速度を考慮したスケッチベースのモーションデータ検索
概要
データベースからキャラクタモーションを検索する際、テキストタグの代わりに、キャンバス上に動作の軌跡を描く手法が注目されている。しかし、これらの手法は、動作軌跡の形状特徴のみを用いているため、速度が異なる同一カテゴリ内のキャラクタ動作（例：徒歩や競歩など）を分類することは難しい。そこで本研究は、スケッチに基づくモーション検索の品質を向上させるために"速度特徴"を用いる手法を提案し、ユーザテストを通じて提案手法の有効性を示す。
[P40] 非正面顔からの正面顔の似顔絵作成
概要
近年，SNSなどにおいて，アイコンなどでの似顔絵の使用が増えてきている．この似顔絵を作成するにあたって，既存のシステムでは，時間や手間がかかることが多いため手軽さに欠ける．今回，携帯電話などで撮影したような，サイズなどを指定せず、似顔絵を作成したい顔が正面を向いていないような画像を入力画像として使用し，手軽に似顔絵を生成する手法を提案する． 本手法では，dlibライブラリにより顔の特徴点を検出し，とくと要点の座標をもとに顔の特徴を算出し，算出した特徴から用意した顔パーツイラストを選択し，一つの画像に合成して似顔絵を生成していく．
[P41] グラフニューラルネットワークによる位置ベース法に基づいた非圧縮性流体シミュレーション
概要
物理シミュレーションによる水や煙などの流体の再現は高精細なCGの生成に必要不可欠である. 流体シミュレーションは力学的手法と機械学習手法が存在し, 前者は計算速度や精度にトレードオフの関係がある. 一方, 後者は高速かつ高精度なシミュレーションを実現できる可能性があるが, 学習済みモデルの予測値に含まれる誤差が数値積分によって蓄積し, シーンが発散する場合があるため, 頑健性の高いモデルの設計が必要である. 本論文では機械学習手法にPBF法を取り入れ, 粒子の位置修正量を予測するモデルを用いることで高速で安定したシミュレーションを可能にする. また, 非圧縮性に基づいた損失関数を用いてモデルの学習を行い, 実際のシーンで本手法の有用性を検証した.
[P42] 音声データからの感情推定を用いたリップシンクモーションの自動生成
概要
従来のリップシンクアニメーションは、音声データから抽出された音素列に適した口の動きを推定する研究が行われていた。また、深層学習を用いたEnd-to-Endモデルを用いて、音声データから直接リップシンクモーションを得ることも可能になっている。そうした深層学習手法においては、少量のデータセットのみを用いて再調整可能な事前学習モデルも提案されており、BERTを用いてテキストデータから感情を推定する試みもなされている。そこで本研究では、そうした様々な事前学習済みモデルを活用し、録音された台詞から感情を考慮したリップシンクモーションを自動生成するための方法を研究する。
[P43] ハンドトラッキングを用いた煙のデザインに関する一実験
概要
ユーザの求める動きや形状に流体をデザインするためには，それらに影響するシミュレーションのパラメータを調整する必要があり手間と時間を要する．そこで本研究では，手のモーションキャプチャを用いて直感的に煙の形や動きをデザインできるシステムの開発を目的としている．
[P44] モーションスタイル転移のためのコンテント-スタイル分離
概要
ある動作の種類（コンテント）を損なわず任意の別の動作のスタイルを付与する手法を提案する．画像のスタイル転移は参照絵画のスタイルを実写画像に適用するが，動作のスタイル転移ではスタイルを参照する動作もスタイル適用対象の動作も同一ドメインの骨格姿勢の系列である．従ってコンテントとスタイルを分離することは困難であり，既存手法では参照動作のコンテントの影響で元々のコンテントが毀損されていた（コンテントリーク）．この問題を解決するため，我々は動作もつれ損失を導入し，スタイル転移された動作への参照動作のコンテンツの影響を抑制する．更に，これにより生成動作の品質も敵対的生成の枠組みのもとで向上させる．
[P45] Face Swapによる手話ＣＧの表情制御手法検討
概要
人の手話表現をCGアニメーションにより再現する技術(手話CG)の研究を進めている．手話で情報を伝えるためには，手指の動きに加え，顔の動きが重要である．そのため手話話者の表情をCGキャラクタで再現することは，非常に重要な課題となる．人の表情をCG上に再現する課題に対して，深層学習をベースとした顔交換技術(Face Swap)を用いた従来手法がある．従来手法では，CGキャラクタの表情パーツのうち眼球のみにテクスチャをつけ学習データを用意していたが、この効果の検証はされていなかった．そこで本研究では，表情パーツにつけるテクスチャの違いにより、手話CGキャラクタの表情制御にどのような効果が起きるかを検証したので、その結果を報告する．
[P46] コンピュータグラフィックス分野の学術研究成果を手軽に公開・利用するためのフレームワークの提案
概要
近年、コンピュータグラフィックス分野の学術研究成果は、論文データに限らず、様々な形でインターネット上で公開されるようになった。しかし、研究成果を既存ソフトウェア上で利用するためのプラグイン開発は非常に手間が大きく、研究者による成果公開はその大半がgitレポジトリ(ソースコード)に留まっている。結果として、実際の現場(例: 映像作品の制作現場やモノづくりの現場)で活用される機会は非常に少ない。 そこで本研究では、最新の学術研究成果を手軽に公開・利用するためのフレームワークを提案する。さらに、本フレームワークをもとに設計した「三次元形状向けのコラボレーションツール」の技術デモを実施する。
[P47] 3Dフラクタル図形の検索システムの提案
概要
本研究では，アーティストが所望の3Dフラクタルモデルとそのパラメータを検索できるシステムを提案する。フラクタルを生成する既存製品では，フラクタルの名称とパラメータを指定する必要があるが，アーティストがこれらを習得するためにはかなりの時間を要する。そこで，提案法ではいくつかのフラクタルパターンにメタ情報としてテキストを付加したデータベースを用意しておき，アーティストが直感的に作成したいフラクタルとパラメータを提示できるシステムを構築した。
[P49] スケッチガイダンスによるアニメ顔画像の作成支援
概要
本研究では、アニメ顔のデザインを支援するためのユーザガイダンス生成手法を検討する。具体的には，StyleGAN2の事前学習モデルをベースとし，転移学習によりキャラクタの顔画像を生成する手法と，変数潜在空間における特徴表現をアライメントすることで、ユーザが描いたスケッチを高品質なアニメ顔画像に変換するエンコーダを組み合わせるフレームワークを提案する．本提案システムによって生成したキャラクタ顔画像をユーザガイダンスとして用いることで，絵を描く経験を持たないアマチュアの方でもバランスの良いキャラクタ顔の作成が可能とする．
[P50] デジタルイラストの照明効果に係るストロークの自動生成
概要
イラストに対し尤もらしい照明効果を付与するのは簡単ではなく，専門的な知識や技術を要する．この問題を解決するためにデジタルイラストに照明効果を自動で付与する手法が提案されているが，ブラシのストロークの多い，よく描き込まれたイラストでないと尤もらしい結果が得られない．そこで本研究では，あまり描き込まれていない情報量の少ないイラストに対し，陰影等の照明効果を表現するストロークを自動で生成する手法の開発を目的としている．
[P51] 自己交差を意識したDeformation Transfer
概要
本研究では、既存のDeformation Transferでは考慮されていなかった、結果のターゲットメッシュ上での自己交差を抑制しつつ変形を転写する手法を考案した。ユーザーテストとして既存手法と本手法により生成されたメッシュモデルを用いたアパレルの着装シミュレーションを行い、提案手法が手作業による修正の手間、およびシミュレーションエラーの削減に寄与できることを確かめた。
[P52] OVERPAINT: 橋を用いない多層ステンシルの自動生成
概要
ステンシルアートとは、ステンシルと呼ばれる穴の空いた型の穴に色を塗る作業を繰り返すことで絵を描く技法である。このアートの最も困難な工程はステンシルの穴の設計であり、近年この作業をコンピュータで支援する研究が行われている。従来の設計手法では、ステンシルが複数に分離しないように、橋と呼ばれる細いパーツでステンシルの孤立部分同士を連結している。しかし、橋は太いほど完成品の質を下げ細いほどステンシルを脆くする問題点を持つ。そこで、我々はOVERPAINTという穴の包含関係に着目して穴の形状・配置を決定する手法を提案し、橋を用いずに、入力された画像を忠実に再現できるステンシルの生成を実現した。
[P53] 炭酸飲料画像の類似度評価方法に関する一実験
概要
近年，静止画の一部が繰り返し動いているシネマグラフというものが人気を博している．我々はシネマグラフの考え方に基づき，動画データを用いて炭酸飲料画像をアニメーション化する研究をこれまで行っている．本研究ではこれを発展させ，合成元の動画と合成先の画像との類似度を評価し，最も類似した動画データを合成に使用することで，より尤もらしいアニメーションの合成を目的としている．本発表では類似度の評価方法について実験を行ったので報告する．
[P54] クロスシミュレーションのための深層学習に基づく部分空間Projective Dynamics
概要
布の変形を実時間計算することはCG映像生成における重要な課題である。一方、布はその高周波な変形のために部分空間等の低次元化技術を用いた高速化が困難であることが知られる。本研究ではその非線形性のために部分空間での処理が難しい布の内力計算をニューラルネットで置き換える。さらに、内力・外力に係る計算を個別のネットワークに担当させることで汎化性能の向上を目指す。また、Projective Dynamicsの数値安定な陰的解法を拡張して、大きな時間幅でも正確に動作する実時間スケールの動力学計算法の確立を目指す。
[P55] 大きく異なるモーション間でも使用可能なMotion Style Transferの提案
概要
本研究では，あるモーションのスタイルを別のモーションに転送するMotion Style Transferという研究において，大きく異なるモーション間でも使用可能な手法の提案を行う．従来手法ではモーションから一貫したスタイルの特徴を抽出し，それを別のモーションに合成することで，モーション同士の周期性などを合わせることなくMotion Style Transferを可能にしていた．しかし，パンチとキックなど大きく異なるモーション間で適用した際に，その主要となる身体部位が異なることから失敗する傾向が見られた．本提案手法では画像のスタイル変換で使用されているContent Conditioned Style Encoderを用いることで，身体部位を考慮したスタイルの抽出を促し，この問題に対処する．
[P56] 流体シミュレーションにおけるシャボン玉の形状制御
概要
流体シミュレーションでは，動きや形状の制御など，演出的な映像を作成するための研究が多くなされているが，石鹸膜やシャボン玉のシミュレーションではそういった研究は少ない．本研究は，シャボン玉の形状を制御し，様々な形状のシャボン玉のシミュレーションを行うことを目的とする．
[P57] イラスト模写を支援するための対話的なメッシュベースのガイダンス生成
概要
イラスト模写を行う際、概形をとらえてから細部を書き込む方法が用いられている。この考え方を元にIarussiらは、入力画像の単純化した輪郭線を模写用ガイダンスとする手法を提案した。しかしこの手法はガイダンスのない細部は模写が困難な傾向にある。そこで本研究では、(1)メッシュベースのガイダンスを生成する手法と、(2)生成用のユーザインターフェースを提案する。入力画像に対してユーザは矩形領域を指定し、その領域内にサンプリングされた点群から三角形メッシュを生成するものである。指定領域の三角形メッシュをガイドとすることで、ユーザは全体的なバランスと細部の把握が容易となり、より高品質な模写が実現する。
ニュース
過去の開催
スポンサー企業
チャンピオン・スポンサー
プラチナ・スポンサー
ゴールド・スポンサー
シルバー・スポンサー
ブロンズ・スポンサー
スポンサー団体
関連イベント
