発表時間

論文 (Long)	20分
論文 (Short)	12分
国際論文誌・学会採択論文招待講演	12分
SIGGRAPH招待講演	15分

※ 上記は質疑の時間を含みます。

口頭発表・招待講演プログラム

10月6日(木) 10:05-11:00 論文セッション1 (ビジュアルシミュレーション)

座長: 井尻敬（芝浦工業大学）

[1] 並列計算に適したメッシュレス破壊シミュレーション手法 (long)

○鈴木龍(筑波大学)，藤澤誠(筑波大学)，三河正彦(筑波大学)

概要

本論文では，GPUによる並列処理に適した応力ベースの弾性体破壊シミュレーション手法を提案する．弾性体のシミュレーションを行うための位置ベース法(Position Based Dynamics)，メッシュレスな応力計算手法，サーフェルと亀裂先端モデルによる亀裂進展及び破断面生成手法の3つを統合することで，動的かつ柔軟な破断面の生成を高速に処理することができる．これにより，従来の破壊シミュレーションが持つ，計算コストと亀裂形状の表現力のトレードオフの関係を解決する．また，提案手法をCompute Shaderを用いて実装し，GPUを用いた実験により，詳細な破断面表現とリアルタイム処理の両立が可能であることを検証した．

[2] 経年劣化に伴う金属物体上の塗膜の亀裂・湾曲表現—静力学的破壊判定と位置ベース変形による準静的過程のビジュアルシミュレーション— (long)

○石飛晶啓 (慶應義塾大学), 中山雅紀 (慶應義塾大学), 藤代一成 (慶應義塾大学)

概要

風雨などの作用による経年劣化を表現する技法であるウェザリングは，写実的なCGの描画に欠かせないものであり，数多くの手法が提案されている．特に金属は代表的な研究対象であるが，現実的なシーンを想定するならば金属に塗布された防腐剤の経年劣化も表現すべきである．そこで本研究では，金属物体上の塗膜を対象としたウェザリングを提案する．提案手法では塗膜をポリゴンメッシュで表現し，塗膜内部における力の釣合いに基づいて破壊判定を行う静力学シミュレーションと，幾何学的な制約に従って頂点を移動させる位置ベースの湾曲シミュレーションを組み合わせることで塗膜を変形させる．本手法により，マテリアルの操作だけでは表現が難しい立体的な変形を伴う塗膜の経年劣化を再現できる．

[3] Natural Image Weathering with a Generative Decay Network (short)

Guoqing Hao (University of Tsukuba, AIST), Satoshi Iizuka (University of Tsukuba), Kensho Hara (AIST), Hirokatsu Kataoka (AIST), Kazuhiro Fukui (University of Tsukuba)

概要

We present a novel framework for generating time-varying decay effects in natural images, leveraging a generative model as a weathering texture generator. Unlike conventional approaches requiring existences of both weathered and unweathered regions in a target object, our framework is able to produce diverse patterns of weathering effects on completely-unweathered objects via weathering texture generation based on a style-based generative adversarial network. In this texture generator, we introduce an arbitrary-size image generation mechanism that can synthesize appropriate sizes of weathering textures for input images. Additionally, we construct a novel weathering dataset that contains various weathering texture images such as mossy and rust, which is used to train the generator in an unsupervised manner. We validate our framework on various natural images and show photorealistic weathering results.

10月6日(木) 13:30-14:30 SIGGRAPH招待講演セッション1

座長: 金森由博 (筑波大学)

[4] Authentic Volumetric Avatars From a Phone Scan (SIGGRAPH 2022)

Chen Cao, Tomas Simon, Jin Kyu Kim, Gabe Schwartz, Michael Zollhoefer, Shunsuke Saito, Stephen Lombardi, Shih-en Wei, Danielle Belko, Shoou-i Yu, Yaser Sheikh, Jason Saragih (Reality Labs Research)

[5] Drivable Volumetric Avatars Using Texel-aligned Features (SIGGRAPH 2022)

Edoardo Remelli(Reality Labs Research/EPFL), Timur Bagautdinov(Reality Labs Research), Shunsuke Saito(Reality Labs Research), Chenglei Wu(Reality Labs Research), Tomas Simon(Reality Labs Research), Shih-En Wei(Reality Labs Research), Kaiwen Guo(Reality Labs Research), Zhe Cao(Reality Labs Research), Fabian Prada(Reality Labs Research), Jason Saragih(Reality Labs Research), Yaser Sheikh (Reality Labs Research)

[6] Foids : シンセティックデータの自動生成のための生態を考慮した魚のシミュレーション (SIGGRAPH Asia 2021)

石若裕子 (ソフトバンク株式会社)，Xiao S. Zeng (NeuralX Inc)，Michael Lee Eastman, 嘉数翔 (ソフトバンク株式会社)，Sarah Gross (NeuralX Inc)，水谷亮介 (日本農産工業株式会社), 仲田真樹 (NeuralX Inc)

[7] DeepPhase: 周期自動符号化器を用いた動作データの学習 (SIGGRAPH 2022)

ゼィバスチャンシュタルケ(エディンバラ大学), イアンメイソン(エディンバラ大学), 幸村琢 (香港大学)

10月6日(木) 14:40-15:35 論文セッション2 (深層学習・画像生成1)

座長: 遠藤結城 (筑波大学)

[8] 化粧工程の分解に基づく顔画像の化粧スタイル転写 (long)

○若生翼(豊橋技術科学大学),栗山繁(豊橋技術科学大学),高橋遼(豊橋技術科学大学)

概要

未経験者が化粧を始める際には，本や動画などで使用されている色やストロークを参考にするが，骨格や顔パーツの位置，および肌の色によって効果が異なるので，自分に合う色やストロークを試行錯誤により選択する必要がある．近年，深層学習の分野で盛んに提案されている顔画像のスタイル転写手法は，転写先を素顔の画像，転写元のスタイル標本を化粧後の画像に設定することにより，顔の化粧のシミュレーションに利活用できる．しかしながら，画像のスタイル転写の結果のみでは化粧後の外観の効果の確認しかできず，化粧の方法，すなわち各工程に関する情報は得られない．また，化粧工程に関する情報を用いない画像変換では，口紅が唇の途中までしか塗られなかったり，左右のアイメイクの濃さが異なる等，化粧としての一般的な定石を無視した不自然な結果が生成されてしまう．そこで本研究では，化粧工程をモデルとする微分可能なレンダラーを導入して化粧を施した顔画像を生成し，各化粧工程で用いられる諸変数を化粧前後の顔画像から最適化する．そして，この化粧工程を別の顔に適用して化粧スタイルを転写することにより，他人のメイクを自分に施した際の効果を即座に可視化する機構を構築する．本報告では，提案手法を定量的および定性的に評価し，既存研究と比較して元の化粧を最も精度良く見た目にも自然に復元できることを示す．この提案手法は画像スタイルの既存の転写手法とは異なり化粧工程も同時に呈示する事ができるので，化粧の仕方を習得する際の教材としての利活用も期待できる．

[9] Data-Driven Brushstroke Rendering for Real world nuance expression (long)

Koki Madono, Edgar Simo-Serra (Waseda University)

概要

Although digital painting has advanced much in recent years, there is still a significant divide between physically drawn paintings and purely digital drawn paintings due to the physical properties and process of putting material on support. Most approaches to simulate ink drawing have focused on either using heuristics or physical simulation to attempt to bridge the gap between digital and analog, however, these approaches are unable to capture the diversity of painting effects, such as ink fading or blotting, found in the real world. In this work, we propose a data-driven approach to generate ink paintings based on a high quality real-world ink painting dataset. We use a multi-camera robot-based setup to automatically create a diversity of ink paintings, while simultaneously capturing the entire process in high resolution, allowing for capturing detailed brush motion and rendering results. We use our new dataset to train a deep learning based model to reproduce drawn strokes and our results corroborate the fidelity of the proposed approach to real hand-drawn ink paintings. We hope the availability of our dataset will encourage new advances with a neural rendering for realistic ink painting.

[10] 疑似相対深度推定によるイラストへの重なりを考慮した差し込み (short)

伊藤諒悟（東京工業大学），齋藤豪（東京工業大学），森合遼（東京工業大学）

概要

本研究ではGUIを用いて，前後関係を考慮して対象となる線画像へ別の線画像を差し込む手法を提案する．一般的な線画像において，人間はT字結節点のまわりで局所的な前後関係を推定することができる．そこで本研究ではT字結節点を検出した後，それらのまわりで疑似相対深度を導入することで，線画像内の面に相対的な深度特徴を持たせる．その後スーパーピクセル単位で相対的なグラフ関係を作成することで，前後関係や重なりを考慮したイラストへの差し込みを実現した．本論文ではその有用性を示す．

10月7日(金) 9:15-10:15 国際論文誌・学会採択論文招待セッション1 (レンダリング)

座長: 金井崇 (東京大学)

[11] Detecting Deepfakes with Self-Blended Images (CVPR 2022)

○Kaede Shiohara (The University of Tokyo), Toshihiko Yamasaki (The University of Tokyo)

[12] Recolorable Posterization of Volumetric Radiance Fields Using Visibility-Weighted Palette Extraction (EGSR 2022)

○Kenji Tojo (The University of Tokyo), Nobuyuki Umetani (The University of Tokyo)

[13] Dressi: A Hardware-Agnostic Differentiable Renderer with Reactive Shader Packing and Soft Rasterization (EG 2022)

滝本佑介, ○佐藤浩之, 武原光, 浦垣啓志郎, 俵丈展, 梁笑, 奥健太郎, 岸本渉, 鄭波 (華為技術日本株式会社)

[14] Visual Simulation of Soil-Structure Destruction with Seepage Flows (SCA2021) (CG and IT)

○Xu Wang, Makoto Fujisawa, Masahiko Mikawa（University of Tsukuba）

[15] Tiled Characteristic Maps for Tracking Detailed Liquid Surfaces (SCA 2022)

〇成田史弥（株式会社ゲームフリーク），安東遼一（Unaffiliated）

10月7日(金) 10:25-11:20 論文セッション3 (レンダリング1)

座長: 小池崇文 (法政大学)

[16] スペクトラルイメージベーストライティングによる表面粗さを考慮した薄膜干渉の表示 (long)

○上中喜生, 三家本雄貴, 檜垣徹, Bisser Raytchev, 金田和文 (広島大学)

概要

薄膜干渉は光の波としての性質により生じる現象で，シャボン玉や金属の酸化被膜などの自然物から反射防止膜などの工業製品まで幅広く観察される．このような波長依存性の高い光学現象をコンピュータグラフィックス(CG)で正確に表示するには，スペクトラルレンダリングと分光反射モデルが必要である．そして，幅広い物体表面の状態に対応するためには粗さ・多層薄膜・薄膜内の光の吸収を考慮した分光反射モデルが不可欠である．本研究では，粗さと吸収を考慮した多層薄膜の分光反射モデルを開発し，周囲環境をスペクトル画像により表現し，スペクトラルイメージベーストライティングによりレンダリングを行う．提案手法により，物体表面の粗さ・多層薄膜・薄膜内の光の吸収・周囲環境の影響を考慮した薄膜干渉現象の極めて写実的な表示が可能である．

[17] 三次元ボロノイ分割を用いたオパールのビジュアルシミュレーション―遊色効果の再現― (long)

横田壮真 (慶應義塾大学), 杉田俊平 (慶應義塾大学), 藤代一成 (慶應義塾大学)

概要

宝石として用いられるオパールの多くは遊色効果とよばれる光学特性をもち，虹色の模様を発現する．ダイヤモンド，ルビー，サファイヤなどの宝石の大半は単結晶または多結晶であるのに対して，オパールは非晶に分類され，複雑な内部構造をもつ．そのためオパールの内部構造の再現には，計算資源の制約のもとで，遊色効果を再現するために必要十分な空間スケールでのモデリングが必要である．本研究は，オパールの内部構造を三次元ボロノイ分割を用いてモデリングすることで，結晶学に基づいた遊色効果の模様を再現する．ボロノイ図の特性に着目することで，既存の研究と比較して空間計算量を大幅に削減する．さらに，オパールを構成する粒子の粒径や，粒子内に含まれる不純物による光の散乱および吸収係数，回折格子の傾きといった4種類のパラメタの調整によって，オパールの汎用的なモデリングが可能であることを示す．

[18] コントラスト感度関数画像フィルタを用いたサポートベクタマシンによるリアルタイムなポリゴン分割制御 (short)

○吉井碧人 (東京工業大学), 齋藤豪 (東京工業大学)

概要

ポリゴンで構成される三次元モデルのレンダリングでは、ポリゴンを分割するほどより詳細に表現することができる。一方で、描画するポリゴンが多くなるほど、レンダリングの計算コストが増大する。したがって、視覚的な品質を維持したまま計算コストを低減するために、描画手続きの中で適切にポリゴンを分割することが求められる。本論文では、リアルタイムな描画手続き中で得られる4つの特徴量を入力とし、人間の知覚特性を考慮した上でポリゴンを分割するべきかどうかをサポートベクタマシン(SVM)で決定する手法を提案する。ただし、SVMによる分類計算はリアルタイムには行わず、事前にSVMで求めた二値分類テーブルを用いてリアルタイムにポリゴンの分割制御を行う。本研究の実験において、本手法は全てのポリゴンを分割したときと比較して、レンダリング時間をおよそ22.3%削減した。

10月7日(金) 11:30-12:10 論文セッション4 (レンダリング2)

座長: 齋藤豪（東京工業大学）

[19] レイマーチング法による円柱曲面・オフセット曲面の表示 (short)

西田友是（プロメテックCGリサーチ/デジタルハリウッド大学）

概要

レイマーチング法は物体からの距離関数を利用して物体をレンダリングする方法である。本稿ではベジエ曲線およびベジエ曲面からの距離関数をベジエ曲線で表現し、その制御点から簡易にレイ上のサンプリング点までの最短距離距を抽出する方法である。円柱曲面はスケルトン曲線からのオフセット（法線方向への変位）で表現される曲面である。またベジエ曲面からのオフセットの曲面を定義する。こうした曲面は、もはやベジエ曲面ではなく、レイ（視線）との交点判定は難しいとされてる。本稿ではレイ上のサンプル点の移動を距離関数を利用することで効率いい収束計算をする方法である。なお、オフセットは一定な場合のみでなく場所ごと変化するオフセットも可能とする。また、メタボールのように物体間の融合も表現できる方法である。

[20] レイ走査高速化のためのアフィン変換レイアライメント (short)

○西舘祐樹（慶應義塾大学）, 藤代一成（慶應義塾大学）

概要

近年，レイトレーシングがリアルタイムレンダリングにおいても使われ始めている．しかし，依然としてレイトレーシングの時間計算量は大きく，リアルタイムに出射できるレイの本数は限られている．本論文では，レイトレーシングの時間計算量を削減する新たな手法として，アフィン変換レイアライメントを提案する．本手法はアフィン変換を用いて複数本のレイを 1 本にまとめながら，シーンから得られる交点を維持することにより，計算結果に誤差を発生させずにレイ走査を高速化する．さらに，本手法をプライマリレイ走査やステレオレンダリング，マルチフレームレンダリングに適用する具体的応用も提案し，複数の問題に対して，単純な実装で時間計算量を削減できることを示す．

[21] しぶきを考慮したShallow Waterシミュレーションのための集光模様レンダリング (short)

○佐々木龍，藤澤誠，三河正彦（筑波大学）

概要

流体のレンダリングにおいて，集光模様は欠かせない要素である．本論文では，しぶきを考慮した粒子法によるShallow Waterシミュレーションにおける集光模様のレンダリング手法を提案する．高速かつ3次元的な挙動を考慮した液体のシミュレーション手法として、2次元のSPH（Smoothed Particle Hydrodynamics）法を用いたShallow Water法に3次元のSPH法を組み合わせた手法に着目し，その結果をリアルに描画するための集光模様のレンダリング方法を開発した．本手法では，液体を3次元のしぶきと2次元の水面に分けて集光模様のシミュレーションを行う．しぶきの粒子はボリュームデータへ投影し，レイマーチングによって光の伝搬を計算する．水面の粒子は高さ場へと投影し，水面での屈折で生成される集光模様は，高さ場で表現された水面と水平な水底を仮定し，水底の各点への限られた水面領域からの光の寄与を計算する手法を適用することでシミュレートする．3次元のしぶきによる屈折の結果を2次元水面でのシミュレーションの入力とすることで，しぶきの影や屈折を考慮した集光模様の生成を可能にした．本論文では提案手法を実装し，シミュレーションすることによって有用性を確認した．

10月7日(金) 13:30-14:45 SIGGRAPH招待講演セッション2

座長: 山口泰 (東京大学)

[22] ストローク転写: アニメーション可能なストロークスタイルの例示ベース合成 (SIGGRAPH 2022)

藤堂英樹(青山学院大学), 小林邦彦(青山学院大学), 葛城仁(青山学院大学), 下田平東奈 (青山学院大学), 鍛冶静雄 (九州大学), 楽詠灝 (青山学院大学)

[23] 節目を持つ木材の手続き型3次元テクスチャ (SIGGRAPH 2022)

Maria Larsson (東京大学), Takashi Ijiri (芝浦工業大学), Hironori Yoshida (はこだて未来大学), Johannes A. J. Huber (Luleå University of Technology), Magnus Fredriksson (Luleå University of Technology), Olof Broman(Luleå University of Technology), Takeo Igarashi（東京大学）

[24] Compatible Intrinsic Triangulations (SIGGRAPH 2022)

高山健志（国立情報学研究所、サイバーエージェント）

[25] Highlight Shader, Shade Painter and Shading Rig (SIGGRAPH Asia 2021)

安生健一 (OLM Digital/Victoria University of Wellington)、 Lohit Petikam (Microsoft)

[26] 物理ベースレンダリングを用いた特徴線の描画手法 (SIGGRAPH Asia 2021)

レックス・ウェスト (東京大学)

10月7日(金) 14:55-15:35 論文セッション5 (アニメーション・VR)

座長: 佐藤周平 (法政大学)

[27] 最適視点からのポーズ抽出を伴うセルアニメ風モーション変換―速さ分布とポーズ面積に注目した動作評価 (short)

○小六優依, 藤代一成 (慶應義塾大学)

概要

3DCGにおけるキャラクタアニメーションでは，セルアニメのような手描きらしい動作表現を実現するために，コマ打ちを用いることがある．セルアニメにおけるコマ打ちは，少ないポーズ数で動作を表現するために，余剰な動作の省略や速さの強調といった演出を含んでいるため，現実動作とは異なる質感をもっている．そのため，モーションキャプチャデータのような現実動作にダウンサンプリング処理を施しても，セルアニメに特有な動作の質感までは再現されづらい．そこで本研究では，セルアニメの制作技法に基づき，モーションキャプチャデータをセルアニメらしい動作へ変換する手法を提案する．本手法では，モーションデータの特性を，速さ分布とポーズ面積を用いて評価する．これらから動作認識に適したカメラ視点を選択し，その視点においてセルアニメらしい動作を実現するのに最も効果的なポーズを同時に抽出する．

[28] 運指と運弓を反映した音響信号からのヴァイオリン演奏アニメーションの自動生成 (short)

○平田明日香 (早稲田大学), 田中啓太郎 (早稲田大学)，浜中雅俊（理化学研究所），森島繁生（早稲田大学理工学総合研究所）

概要

本稿では，ヴァイオリンの演奏音源から演奏アニメーションを自動的に生成する手法について述べる．一般に音響情報を入力とする演奏動作生成では，入力音響特徴量から関節位置を直接推定する方法が提案されている．しかし，これらの対応関係は無数に存在し得るものであり，演奏音との整合性が取れた明瞭な運指・運弓を伴う動作の構成は困難であった．本研究ではヴァイオリン固有の演奏方法に着目し，多段的に演奏アニメーションを生成する手法を提案する．具体的には，まずヴァイオリンにおいて手指の動きを決定する四つの演奏手順情報（使用弦・指番号・ポジション・弓の向き）を音響特徴量から推定する．その結果を用いて演奏動作を生成することで，推定対象の単純化と生成動作の明瞭化を実現する．定量評価と主観評価実験により，従来手法よりも適切に運指・運弓を反映した自然な演奏アニメーションの生成が可能であることを示す．

[29] DVF：ハンドジェスチャインタフェースを用いた仮想シーン知覚像のスケール再現に向けて (short)

○星川潤（慶應義塾大学），藤代一成（慶應義塾大学）

概要

旅行先などで，印象的な情景を写真に収めた際，自身が肉眼で捉えた風景と，写真に記録された風景との間に大きな違和感を覚えることがある．この現象は，人間の視知覚とカメラの投影モデルの特性の違いが原因のひとつであると考えられる．人間は風景のなかで興味ある対象を部分的に強調しながら捉えているのに対し，一般的なカメラは風景全体を平等に捉える．よって，写真を介して主観的な印象や感動を他者に効果的に伝えることは易しいことではない．このような課題は現実シーンだけでなく，仮想シーンでも同様に存在する．多様な体験が可能なメタバースにおいて，効果的にユーザの感動を共有することはひじょうに重要な課題である．本論文では，仮想シーンにおけるユーザの注目部分を拡大処理した画像を自動出力するシステム DVF（Digitus ViewFinder）を提案する．注目部分の指定にハンドジェスチャを用いることで，ユーザは没入感を損なわずに，自身が捉えた情景に近いシーン画像を得ることができる．評価実験の結果，我々は仮想シーンにおける拡大率に関する新たな知見を得，それらの特性を反映させた拡大率関数の推定と応用機能の実現に関する見込みが得られた．

10月8日(土) 9:15-10:15 国際論文誌・学会採択論文招待セッション2 (アニメーション)

座長: 藤堂英樹(拓殖大学)

[30] BEAT: A Large-Scale Semantic and Emotional Multi-Modal Dataset for Conversational Gestures Synthesis (ECCV 2022)

Haiyang Liu (The University of Tokyo), Zihao Zhu (Keio University), Naoya Iwamoto (Huawei Technologies Japan K.K.), ○Yichen Peng (Japan Advanced Institute of Science and Technology), Zhengqing Li (Huawei Technologies Japan K.K.), You Zhou (Huawei Technologies Japan K.K.), Elif Bozkurt(Huawei Turkey R&D Center), Bo Zheng (Huawei Technologies Japan K.K.)

[31] 身振りの文脈を考慮した動作のスタイル変換 (SCA 2022)

栗山繁 (豊橋技術科学大学／サイバーエージェント), 向井智彦 (東京都立大学), 武富隆文 (サイバーエージェント), 武笠知幸 (サイバーエージェント)

[32] DisCo: Disentangled Implicit Content and Rhythm Learning for Diverse Co-Speech Gestures Synthesis (ACMMM 2022)

○Haiyang Liu (The University of Tokyo), Naoya Iwamoto (Huawei Technology Japan K.K.), Zihao Zhu (Keio University), Zhengqing Li (Huawei Technology Japan K.K.), You Zhou (Huawei Technology Japan K.K.), Elif Bouzert (Huawei Turkey R&D Center), Bo Zheng (Huawei Technology Japan K.K.)

[33] 視点位置に応じた誇張表現を再現可能な2.5Dモデルの設計手法 (CG&A 2022)

○福里司 (東京大学), 前島謙宣 (株式会社オー・エル・エム・デジタル / 株式会社IMAGICA GROUP)

[34] Learning Self-prior for Mesh Denoising using Dual Graph Convolutional Networks (ECCV 2022)

○服部翔大，谷田川達也，大竹豊，鈴木宏正（東京大学）

10月8日(土) 10:25-11:15 国際論文誌・学会採択論文招待セッション3 (デザイン支援)

座長: 五十嵐悠紀 (お茶の水女子大学)

[35] Photographic Lighting Design with Photographer-in-the-Loop Bayesian Optimization (UIST 2022)

◯Kenta Yamamoto (University of Tsukuba), Yuki Koyama (National Institute of Advanced Industrial Science and Technology (AIST)), Yoichi Ochiai (University of Tsukuba)

[36] BO as Assistant: Using Bayesian Optimization for Asynchronously Generating Design Suggestions (UIST 2022)

○小山裕己, 後藤真孝（産業技術総合研究所）

[37] DualFace: Two-Stage Drawing Guidance for Freehand Portrait Sketching (Journal CVM)

Zhengyu Huang(JAIST), Yichen Peng(JAIST), Tomohiro Hibino(JAIST), Chunqi Zhao(The University of Tokyo), ○Haoran Xie(JAIST), Tsukasa Fukusato(The University of Tokyo), Kazunori Miyata(JAIST)

[38] Tool- and Domain-Agnostic Parameterization of Style Transfer Effects Leveraging Pretrained Perceptual Metrics (IJCAI 2021)

○矢倉大夢 (筑波大学／産業技術総合研究所), 小山裕己 (産業技術総合研究所), 後藤真孝 (産業技術総合研究所)

10月8日(土) 11:25-12:25 論文セッション6 (深層学習・画像生成2)

座長: 栗山繁 (豊橋技術科学大学)

[39] ユーザ制御可能なLatent Transformer を用いたStyleGAN 画像のレイアウト編集 (long)

○遠藤結城（筑波大学）

概要

Latent space exploration は、generative adversarial network (GAN) において解釈可能な潜在変数の操作方向を発見し、生成画像に対する様々な属性を編集できる技術である。既存研究では、空間的な制御が平行移動や回転など単純な変換に限られるとともに、適切な潜在変数の操作方向を特定し調整するのに手間がかかるのが問題であった。そこで本研究では、画像に直接アノテーションを施すことで、StyleGAN 画像のレイアウトを編集するタスクに取り組む。これを実現するために、ユーザ入力に応じて潜在変数を操作する対話的なフレームワークを提案する。本フレームワークでは、ユーザがStyleGAN 画像に対して、動かしたい場所や動したくない場所をアノテーションし、マウスドラッグにより移動方向を指定する。これら可変長のユーザー入力に応じて潜在変数を適切に変換するために、transformer encoder-decoder に基づくlatent transformer を提案する。Latent transformer の学習には、学習済みのStyleGAN とオプティカルフローモデルによって生成された合成データと疑似ユーザ入力を利用するので、追加の教師データを必要としない。定量的・定性的な評価により、本手法の既存手法に対する有効性を示す。

[40] Region-conscious visualization of output-targeted neuron features (short)

Rui Shi, Tianxing Li (Beijing University of Technology), Yasushi Yamaguchi (The University of Tokyo)

概要

Visualizing neuron features that contribute to a target output is an effective way to understand convolutional neural network behaviors; however, due to the existence of irrelevant or non-contributing features, the visualization results may contain meaningless noise. To address this problem, we introduce the concept of mask into visualization and design an objective function where an area-constrained mask and a visualization are optimized simultaneously. Furthermore, we propose a fractal noise pyramid with diverse and natural frequency spectra as our mask perturbation technique. Experimental results show better effectiveness and comprehensibility of our proposal on visualizing output-targeted neuron features.

[41] Swin Transformerを利用した色覚障がい支援用色変換手法 (short)

○陳立庚, 朱臻陽, 郷健太郎, 黄望康, 茅暁陽 (山梨大学)

概要

(非公開)

[42] 知覚サイズを反映した写真生成のための画像自動部分拡大方法 (short)

○石川直彦, 朱臻陽, 茅暁陽 (山梨大学)

概要

写真は透視投影法の原理に従い被写体が描画されるため, ユーザは知覚サイズより被写体が小さいと感じることがある．ズームアップで被写体を拡大することは出来るが, 手前の情報が切り取られ被写体との距離感が失われてしまう．本研究では, Seam Carving法を利用し知覚サイズの反映に向けた画像の部分的な拡大方法を提案する．Seam Carving法を適用する際に, 写真の構図が崩れないように構図エネルギを定義した．さらに, 写真にある顕著な物体への影響を抑えるため, 顕著エネルギを導入した．主観評価実験では, 提案手法の有効性を示している．

ニュース

2022年10月8日各賞の受賞者の写真を掲載いたしました. (詳細)
2022年10月8日 VC + VCC 2022は盛況のうちに終了しました．各賞の受賞者についてはこちらをご覧ください．
2022年8月10日参加申し込みを開始いたしました
2022年8月8日 Digital Human Workshopの情報を掲載いたしました
2022年7月17日特別講演の情報を公開致しました (詳細)
2022年3月7日 VC + VCC 2022のWebページを公開いたしました

発表時間

口頭発表・招待講演プログラム

ニュース

Twitter

Facebook

過去の開催

スポンサー企業

スポンサー団体

関連イベント