発表時間
| 論文 (Long) | 15分 |
| 論文 (Short) | 10分 |
| 国際招待セッション | 10分 |
| SIGGRAPHセッション | 15分 |
※ 上記は質疑の時間を含みます。
口頭発表・招待講演プログラム
2024年9月10日（火） 9:45 - 11:00 SIGGRAPH 招待講演セッション1
座長: 梅谷 信行 (東京大学)
[1] 混入物を含む非ニュートン流体の動画ベースの物性推定
[2] 夜空のための光害の効率的な可視化手法
[3] Real-Time Reconstruction of Fluid Flow under Unknown Disturbance
[4] Diffusion-based Holistic Texture Rectification and Synthesis
[5] Alignment Conditions for NURBS-based Design of Mixed Tension-compression Grid Shells
2024年9月10日（火） 11:20 - 12:10 論文セッション1（流体）
座長: 岩崎 慶 (埼玉大学)
[6] 物理情報に基づくボクセル輝度場を用いた煙の動きの再構築 (Long)
概要
Reconstructing dynamic fluids from sparse multi-view videos faces efficiency bottlenecks in current neural methods. We propose Physics Informed Voxel Radiance Fields (PIVRF), encoding fluid properties into voxel grids with physics priors from governing Naiver Stokes equations. Unlike existing methods, PIVRF directly solves the entire spatio-temporal grid of density and physics feature vectors, drastically accelerating model training. Our experiments show PIVRF achieves comparable reconstruction quality orders of magnitude faster, enabling efficient fluid reconstruction applications.
[7] 壁面上泡沫流シミュレーションにおける排水の考慮 (Long)
概要
泡沫は，多数の気泡が密集して塊を形成した状態であり，洗剤やビールの泡，消火泡など日常生活のあらゆる場面で観察される．そのため，泡沫は映画やCMにおいて重要な表現対象の一つとなっている．泡沫のビジュアルシミュレーションでは，液体表面上に浮かぶ泡沫の挙動を再現する手法が種々提案されてきた．一方で，固体表面上では，泡沫内の液体が重力で下部に流れる排水とよばれる現象が泡沫の挙動に大きな影響を及ぼすが，排水を考慮した泡沫のビジュアルシミュレーションの研究は殆ど知られていない．そこで本論文では，壁面上に付着した泡沫において，排水の影響を考慮した泡沫の挙動を再現する二次元ビジュアルシミュレーション手法を提案する．
[8] 地形外力のフィードバック制御によるSPH定常流体の局所的な動き編集 (Short)
概要
映像技術の進歩に伴い，コンピュータグラフィックス（CG）分野ではリアルな自然表現への需要が高まっている．なかでも，物理シミュレーションに基づく流体の表現に対する需要は高い．特に，エンターテイメント産業では，目的の映像効果を表現できるよう，流体の動きを制御する手法の開発が望まれている．そこで，本稿では，Smoothed Particle Hydrodynamics(SPH)法により表現された流体の動きを制御する手法を提案する．提案手法では，川や滝などの定常的な流れを対象とする．ユーザは，流体が通過すべき目標点を指定することで流体の動きをデザインすることができる．提案手法は，指定された目標点を通過するように地形での反発力を制御する．目標点に影響を与える地形の反発点を特定し，その反発力をフィードバック制御により自動的に調整する．これにより，流体の動きを局所的に制御することができる．数種類の地形を用いた実験により，提案手法の有効性を検討する．
[9] 流体シミュレーションに基づくスケッチベースのセル画調の炎のアニメーション (Short)
概要
本稿では、ユーザがスケッチを描くことでセル画調の炎アニメーションの外観をインタラクティブにデザインできるシステムを提案する。提案手法では、ユーザのスケッチをガイドとして、2D流体シミュレーションのパラメータとセル画調の炎のレンダリングパラメータを決定する。セル画調の炎の印象は大きさと輪郭のランダム性に依存すると仮定し、シミュレーションされた炎とスケッチの印象の違いを評価する目的関数を定義する。この目的関数は輪郭の平均曲率とバウンディングボックスを用いて炎の印象を数値化する。そして、この目的関数を最小化するように、渦度補完係数や閾値などのパラメータを最適化する。異なる乱流や大きさの例を用いて、提案手法の有用性を実証した。
2024年9月10日（火） 14:10 - 15:15 論文セッション2（アニメーション）
座長: 藤堂 英樹 (拓殖大学)
[10] 離散潜在空間探索による多様かつ制御可能な音声駆動型顔アニメーション生成 (Long)
概要
近年，発話音声に対する顔の表情を生成可能な音声駆動型の顔アニメーション生成が注目されている．従来手法では発話に忠実な顔の動きを生成できるが，発話スタイル等による確率的な性質のモデリングが不十分であるため，生成の多様性は限られている．そこで本研究では，顔パーツの逐次予測による動作シーケンスを構成することで多様性を促進し，柔軟な制御が可能な生成法を提案する．また，リアリズムの向上のために，顔パーツの直接的な生成の代わりにベクトル量子化変分オートエンコーダを顔動作の事前知識として導入し，離散潜在空間から多様な顔の動作パターンを探索する．本実験により，顔の視聴覚データセットにおいて提案手法の多様性，精度およびリアリズムにおける有効性を確認した．
[11] 音声と動作の異種マッチングによる発話アニメーション生成 (Long)
概要
本研究では，音声と同期した身振りの動作を少量の素材データから生成するために，区分的な動作片のパターンを多段階の時間解像度で照合して置換する生成的なモーションマッチングの手法に音声特徴量を導入する．特に，生成される身振り動作の接地状態の足の滑りを改善する方法と，多くのバリエーションを持たせる方法を提案し，それらの有効性を検証する．
[12] 自己教師あり学習を用いたモーションの連続性の学習 (Long)
概要
本研究では、モーションの連続性判定法を改善するための新たな表現学習手法を提案する。モーション生成手法の中には、モーショングラフをはじめとした、ほぼ連続であるような二つの既存のモーション列を連結することにより新たなモーションを生成するものが存在する。ところが、既存手法では、出力の自然さと多様性の均衡をとるように特徴量を設計することに課題があった。 この問題に対処するため、本研究では自己教師あり学習に基づいた二特徴量モーション連続性学習という新手法を提案する。本手法では、各モーション列に対し二つの特徴量を割り当て、それらの距離を二つのモーション列が連続か判定することに用いる。本手法をモーショングラフに適用して評価を行い、既存手法よりも自然なモーションが生成されることが示唆された。
[13] ラゲールボロノイ分割を用いたマントの波打ちアニメーション (Short)
概要
デジタルコンテンツにおいてマントが風にはためく様子は，表面を波打つように変形させることで表現できる．しかし，実際に 3DCG を用いてアーティストが望むようにマントのアニメーションを制作することは容易な作業ではない．そこで本論文では，ラゲールボロノイ分割を用いて，マントを表すメッシュ表面の起伏を効果的に制御する手法を提案する．本手法を用いることで,できる限り少数のパラメタを指定するだけで，マントが風によって波打つようなアニメーションが制作できる．
[14] モーション拡散モデルを利用した手話単語モーションの生成 (Short)
概要
手話アバターを通じて情報を提示する技術は，手話を母語とするろう者の情報アクセシビリティーを向上させることが期待される。手話アバターのモーションデータ制作にはモーションキャプチャを利用することが多いが、手話で表現される多数のモーションを事前に収録することは労力・コストが大きくなる課題があった。 そこで本研究では、モーションキャプチャを必要とせず、テキスト・ラベルのプロンプトから3Dの手話単語モーションを生成する技術を開発した。また手話単語モーションの生成性能を向上させるため、事前学習およびラベルプロンプトを用いたモデル学習手法を提案し、実験においてその効果を検証した。 本手法は、従来では実現できなかった手指の動きまで含めた3Dの手話単語モーション生成を可能としている。またデータセットに含まれる日本手話の手話単語モーションだけに限らず、多言語での手話単語モーションの生成を可能とする。
2024年9月10日（火） 15:35 - 16:30 論文セッション3（画像）
座長: 坂東 洋介 (キオクシア)
[15] BeautyBank: Encoding Facial Makeup in a Latent Space for Enhanced Makeup Applications (Long)
概要
In this paper, we introduce a novel makeup encoding method that models high-dimensional representations of makeup to broaden its application domain. Our approach includes BeautyBank, a makeup encoder that disentangles features of bare faces and makeup through distinct style paths for each. Additionally, we propose a Progressive Makeup Tuning (PMT) strategy, specifically designed for efficient and smooth makeup encoding. Furthermore, we explore new applications of makeup technology, including facial image generation with makeup code injection and makeup retrieval.
[16] 拡散モデルを用いた甲骨文字スタイルの画像生成 (Short)
概要
甲骨文字の生成は、その希少性と独特の象形文字的性質から、難しい課題である。本研究では、拡散モデルを使用して、入力された画像に対応する甲骨文字スタイルの画像を生成する新しいアプローチを提案する。従来のデータセットでは、一般的に甲骨文字と現代中国語文字がペアで保存されているが、我々はまず、甲骨文字、テキストプロンプト、およびオブジェクト画像を整合させたデータセットを構築した。次に、このデータセットを用いて安定拡散モデルを訓練する。さまざまなオブジェクトの画像と対応するテキストプロンプトを入力することで、モデルは甲骨文字スタイルで対応する画像を生成する。さらに、初期の結果を洗練するための最適化モジュールを統合し、甲骨文字の元の構造と規範によりよく合致するようにする。質的および量的な分析により、我々のモデルがスタイリスティックかつ意味的に一貫した甲骨文字スタイルを生成する点で、既存の技術を上回っていることが示されている。
[17] 検索拡張型拡散モデルを用いた建物画像生成 (Short)
概要
Despite recent advances in text-to-image generations greatly enhances image quality, there is a growing demand for specifying image details through text prompts. Especially for building image generation, current image generation models struggle with accurately controlling the number of floors. To this end, we propose a retrieval-augmented framework for generating building image with provided number of floors using retrieval augmented text-to-image diffusion model. Initially, we adopt a multi-level structure detection algorithm to extract a sketch from the building image generated by the latent...
[18] 二色型色覚の弁別力を可視化できる色覚異常シミュレータ最終提示色の修正手法 (Short)
概要
本稿では，色覚異常シミュレーションにおけるシミュレーション最終段のRGB再変換部分に着目する．既存研究では，シミュレーションを行った後，スペクトル変換時に用いた行列の逆行列を適用することで三色型色覚提示用の画像を生成する．このアプローチは一見問題ない選択肢と認識され，広く使われている．しかしながらこのアプローチには，二色型色覚にとっては弁別可能な色領域を三色型色覚にとっては弁別困難な色領域にマッピングすることで，視覚体験を正しく再現できない問題がある．本研究では，最終段のRGB化部分を修正することで，シミュレーションの意義を損なわずに視覚体験を三色型色覚にも提示できる方法を示す．提案手法では，最初にsRGB画像の全色に対し色覚異常シミュレーションを行い，色空間内の最終提示用代表色マップに対応する平面に対し部分的な変形を施し，曲面状の代表色マップを構成する．これにより，二色型色覚にとって等色を保ったまま三色型色覚への最終提示色を制御することができるようになる．提案手法によって得られたマップの検証として，オンライン設問によるアンケート調査を行った．その結果，提案手法によって提示色の修正を行った画像については，二色型色覚だけが認識できる隠し文字を三色型色覚でも認識できる比率の向上を確認した．
[19] 最小重み辺カバー問題を用いた一対多を含む原画間の線の対応付 (Short)
概要
手描きアニメーション制作の工程の一つに２つの原画を補間する中割という工程が存在する。 アニメーション制作補助のための原画間の補間手法では２つの原画間の線の対応関係を必要とするものが多い。本論文ではこれらの手法で用いることを想定した遮蔽を含むような描画がある原画の組に対して用いることができる線の対応付を行う手法を提案する。提案手法では線を頂点集合とみなした最小重み辺カバー問題を繰り返し解くことで線の一対多を含んだ線の対応関係の推定を行う。実験では提案手法による線の対応付が一対多の対応付を行いつつ従来法の5手法と比較して高い精度を示した。
2024年9月11日（水） 9:30 - 10:30 国際招待セッション1
座長: 土橋 宜典 (北海道大学)
[20] Theoretical Understanding of Learning from Adversarial Perturbations (ICLR24)
[21] Bounded VNDF Sampling for the Smith-GGX BRDF (I3D 2024)
[22] FontCLIP: A Semantic Typography Visual-Language Model for Multilingual Font Applications (Eurographics 2024)
[23] HIPRT: A Ray Tracing Framework in HIP (Proceedings of the ACM on Computer Graphics and Interactive Techniques)
[24] Alternative Photographic Processes Reimagined: The Role of Digital Technology in Revitalizing Classic Printing Technique (SIGGRAPH Asia 2023 Art Papers)
[25] Floating on the Boundary: Perceptions of Reality in a Half-Digital, Half-Physical Bunny (Proceedings of the ACM on Computer Graphics and Interactive Techniques)
2024年9月11日（水） 10:50 - 11:30 論文セッション4（レンダリング）
座長: 中島 一崇（合同会社吉本アートファクトリー）
[26] 全周波の影を考慮した人物全身画像の再照明 (Long)
概要
ニューラルネットを用いた人物全身画像の再照明手法が注目されている．既存手法では視覚的に重要な影を，それらが生じる原理を陽に考慮せずニューラルネットで近似的に計算している．しかし，低周波あるいは高周波の影しか復元できなかったり，影のバリエーションを十分に学習できず，光源の入射方向が変わるとちらつきが生じたりといった課題がある．本研究では，照明計算を陽に考慮した定式化により，高周波の影をちらつきなしに再現する教師あり学習ベースの再照明手法を提案する．照明計算の定式化として，環境光源を一定数の面光源の集合として近似し，低周波から高周波までの影を計算する．入力画像から，深度マップおよび照明計算に必要な成分をニューラルネットで推定し，再照明に用いる．提案手法により，既存手法では再現の難しかった低周波から高周波までの影を尤もらしく再現できることを示す．
[27] 階層的ボリューム構造の非線形レイ走査による効率的なC^1連続のボリュームシェルマッピング (Long)
概要
シェルマッピングは，シェル空間に三次元のテクスチャ空間を一対一にマッピングすることで，サーフェイスの微細な構造を表現する手法のひとつである．本論文では，半透明なマテリアルや陰関数曲面に対応した自由度の高いシェルマッピングを行うために，テクスチャ空間にボリュームテクスチャを導入する．しかし，従来手法では四面体ごとに線形なマッピングを行っているため，アーティファクトが発生する．そこでC^1連続のマッピングを実現するために，レイをテクスチャ空間に非線形にマッピングする．また，階層的なボリュームテクスチャを利用し，効率的にサンプリングを行う方法を提案する．
[28] 統計的仮説検定を用いたパストレーシング法による効率的なイベント映像レンダリング (Short)
概要
本研究では，パストレーシング法によるイベントカメラのシミュレーションを効率化する手法を提案する． イベントカメラとは，閾値以上の輝度の変化を非同期に検知し，画素ごとにその情報を出力する特殊なカメラである．現在，このイベントカメラを用いた研究が多く行われているが，そのシミュレーションを物理的に正確なレンダリング手法であるパストレーシング法によって行う場合，分散によるノイズの誤検出が問題となってしまう．本論文で提案する手法では，パストレーシング法がいくつかのサンプルから輝度値を推定する手法であることに着目し，輝度の推定値を得てからイベントが発生したかどうか判断するのではなく，輝度が閾値を超えて変化しているかどうかを仮説検定によって直接推測することで，パストレーシング法を用いたイベントカメラのシミュレーションをより効率化する．また，本手法の有効性を複数のテストシーンに対する実験により示す．
2024年9月11日（水） 14:30 - 15:10 論文セッション5（衝突・交差処理）
座長: 藤澤 誠 (筑波大学)
[29] 三角形プリミティブのための効率的な衝突処理アルゴリズム (Long)
概要
本論文では、物理シミュレーションにおける、プリミティブファーストな衝突応答の新しい手法を提案する。本手法は、二つの三角形メッシュ間の距離を表すスカラ値とその勾配を定義したアプローチを取り、任意の変形可能なオブジェクトに対して高速かつ頑健に衝突を解消する。アルゴリズムは概念的に簡単で、実装がしやすい。また、物体間の衝突だけでなく物体内での自己衝突についても同じアルゴリズムで扱うことができる。Position Based Dynamicsを使用する際には、衝突制約として本手法を組み込むことが容易である。
[30] Mesh-based Collision and Fracture for XPBD (Long)
概要
Position Based Dynamics (PBD/XPBD) is a robust and flexible simulation framework. Currently, most collision and ductile fracture approaches in PBD are meshless, where deformable objects are approximated by sized particle balls, causing various accuracy and rendering problems. In this work, we combine mesh-based collision and fracture with XPBD's dynamics and provide its 2D implementation. Collisions between meshes are detected and converted into collision constraints between particles against object border to eliminate gaps and overlaps. Fractures are checked and executed independently on all ...
[31] 距離関数を用いたBスプライン曲線の交差および近接判定 (Short)
概要
CGやCADにおいてBスプライン曲線は形状表現や軌跡の表現に有用である。Bスプラインは幾つかのセグメントに分解できる。Bスプライン曲線同士の交点計算のため、2曲線の各セグメントが重なる可能性を包含円およびFatline（包含箱）で検出できる。なお、各セグメントに対する距離関数を利用し包含円およびFatlineが求められる。これらのセグメントはベジエ曲線なので、ベジエ曲線同士の交差判定に帰着する。交差のみでなく曲線間の最短距離（曲線が交差しない場合）も判定できる。これらの判定にも距離関数を利用でき、この距離関数はベジエ関数で表現できベジエ関数の凸包の性質と曲線分割により交差あるいは近接判定ができる。また、球・円がBスプライン曲線の軌跡に沿って動く場合のBスプライン曲線との衝突判定にも有効な方法である。
2024年9月11日（水） 15:30 - 16:30 SIGGRAPH 招待講演セッション2
座長: 高山 健志 (CyberAgent)
[32] 速度ベースのモンテカルロ流体シミュレーション
[33] ファブリケーション可能な三次元ワイヤアートの自動生成
[34] パス空間における陰曲面の微分可能レンダリング
[35] 正規化可能な異方性球面ガウス分布を利用したオンライン・ニューラル経路誘導
2024年9月12日（木） 9:30 - 10:20 論文セッション6（インターフェース）
座長: 岡部 誠（静岡大学）
[36] Human-in-the-loopによる3D Gaussian Splattingのゴミ除去手法 (Short)
概要
3D Gaussian Splattig (3DGS) では、多視点画像を入力とした3次元ガウシアンの最適化により3次元再構成を行うことができる。しかし、入力の多視点画像が十分な数存在しない場合や入力の画像に映り込んでいない領域が存在する場合は、構築された3次元ガウシアンに欠陥が含まれることがある。この欠陥の一つとして、浮遊物等のゴミの出現が挙げられる。このゴミの出現は入力画像における情報の欠損に起因するため、入力画像のみの情報を用いて自動で取り除くことは難しい。そこで、これらのゴミを除去するための、ヒューマンインザループによる編集手法を提案する。初めに、ユーザは入力に含まれない視点からレンダリングした画像上でゴミの存在する領域を塗りつぶす。続いて、元の入力画像とユーザが編集を施した画像を用いて、3DGS により3次元ガウシアンを再学習する。提案手法により、3DGS で学習したラディアンスフィールド上のゴミの除去が可能になった。
[37] 点群補間のためのスケッチによる編集手法 (Short)
概要
点群とは、点の位置とその法線ベクトルからなる表現形式であり、実世界の対象物をデジタル空間上に取り込むために利用される。しかし、取り込まれた点群には遮蔽や光の反射によって欠損が生じることがある。欠損が存在する領域では、対象物の表面を正確に表現できない。この点群の欠損を補間するためのアプローチとして、ユーザによる編集が挙げられる。従来の点群補間のための編集手法では、欠損箇所全体の塗りつぶしや欠損の補間に用いる基準点の個別選択が必要であり、時間がかかるという課題があった。本研究では、効率的な点群補間を実現するためのスケッチベースの編集手法を提案する。ユーザスタディ(N = 8)を通じて提案手法の評価を行い、欠損補間に要するマウス操作時間とマウス移動距離が従来手法より短縮されることを示した。また、提案手法と従来手法の間で定性的な比較を行い、提案手法ではより安定的な欠損補間が行えることを示した。
[38] Sketch2Cinemagraph: Sketch-guided Generation for Landscape Cinemagraph (Short)
概要
In this paper, we propose Sketch2Cinemagraph, a sketch-guided approach for synthesizing landscape cinemagraphs from freehand sketches. Specifically, this work focuses on the generation of continuous dynamic fluid elements in landscape image through sketch guidance. Initially, realistic landscape images including the fluid elements are generated from structural sketches with text prompt. Then, we employ an image-to-image translation network to predict 2D motion field from the fluid region, conditioning by the provided motion sketches with text prompt. To produce seamlessly looping cinemagraph, ...
[39] イラストデザインのための拡散モデルを用いたスケッチによる煙の流れの生成 (Short)
概要
画像生成AI技術の急速な発展により、高品質のイラストデザインの作成が可能になった。しかしながら、複雑流体現象である煙のイラストデザインは、複雑な動力学と制約条件があるため、いまだ挑戦的な研究課題である。従来の条件付き敵対的生成ネットワーク（cGAN）を用いた流体デザイン手法は、複雑な煙の動力学に内在する隠れた幾何学的構造と流れの特性を見落とす可能性がある。これらの課題を解決するために、本研究では、2段階の潜在拡散モデルを用いた2次元煙イラストのための速度場生成の手法を提案する。まず、スケッチ入力を生成条件として、流れの特性を表現するために有限時間リアプノフ指数（hyper-FTLE）場から求められるラグランジュコヒーレント構造（LCS）領域を生成する。第2段階では、生成されたLCSデータから速度場を生成する。評価結果から、提案手法は与えられたスケッチの形状に合致する速度場を生成できることが示された。cGANや一般の拡散モデルと比較して、よりリアルで安定した結果を生成出来ることをいくつかの実験例により示す。
[40] DualShape: パーツ生成と検索を用いたスケッチベース3D形状設計 (Short)
概要
フリーハンドスケッチからの3D形状設計は、そのスケッチから得られる情報が疎らで曖昧なため、挑戦的な課題である。本研究では、パーツ生成および検索を備えたスケッチベースの3D形状設計インターフェース「DualShape」を提案する。DualShapeは、まずモデル生成を2つの部分に分離する。スケッチベースの特徴マッチング手法を用いた複合パーツ検索モジュールと、陰関数表現を用いた深層学習アプローチによるスケッチベースのパーツ生成モジュールである。次に、取得したパーツモデルを組み立てるためのアセンブリモジュールを提案し、入力されたスケッチからの3D形状生成のタスクを達成する。さらに、ユーザーが組み立てたモデルを最適化し、手動で調整して満足のいくモデルを実現できるようにする最適化モジュールを提供する。再構築インターフェースでは、取得された3Dモデルを入力ストロークに一致させるために、背景参照としてリアルタイムでシャドウガイダンスを利用する。DualShapeシステムの有効性を検証するために、比較実験およびユーザースタディを実施した。結果として、DualShapeはよりユーザーフレンドリーであり、より豊かなディテールを持つ3Dモデルを生成できることが示された。本研究は、コンピュータグラフィックスにおけるハイブリッド3Dモデル生成の新しいパラダイムを提供するものと考える。
2024年9月12日（木） 10:40 - 11:25 論文セッション7（機械学習）
座長: 謝 浩然 (北陸先端科学技術大学院大学)
[41] フェノロジー指数に基づく季節制御可能な大規模地形テクスチャ生成 (Long)
概要
地形テクスチャ生成の既存手法では、植生や積雪の季節変化を制御するために月別の気温・降水量などをニューラルネットワークに与えている。しかし、気温や降水量による植生・積雪の季節変化の制御は直感的ではなく、専門知識を持たないユーザが月別気温・降水量を調整して期待する季節変化を得るのは容易でない。そこで本研究では、気温・降水量よりも明示的に季節を表す入力から地形テクスチャを生成する手法を提案する。具体的には、気温・降水量の代わりに、衛星リモートセンシングにおいて植生と積雪の分布・季節変化を観測する指数として用いられている正規化植生指数(NDVI)と正規化積雪指数(NDSI)の値を地形テクスチャの季節制御のために入力として用いる。実験結果を通して、提案手法が既存手法よりも直感的に地形テクスチャの季節を制御できることを示す。
[42] 話者固有の発話特性に着目したマルチタスク学習に基づく読唇精度向上手法 (Long)
概要
本稿では，唇の動きのみから発話内容を推測するvisual speech recognition (VSR) について述べる．VSRの精度は話者ごとに異なる唇の動きに依存するため，訓練データに含まれない話者に対して予測を行う場合，モデルを対象話者に適応させることが難しい．一方，少量のデータで事前学習済みモデルのファインチューニングを行う一般的な方法では，モデルは新規データの発話内容や撮影条件に過学習してしまう．本研究では，話者による唇の動きの違いが唇の形状や話速などの発話特性から生じることに着目し，モデルによる話者固有の発話特性の効率的な学習を促進する．具体的には，ファインチューニング時に連続フレーム間の唇の形状変化予測を組み込み，マルチタスク学習を行う枠組みを提案する．評価実験を通し，従来手法と比較して全ての話者において認識精度が向上することを示す．
[43] 機械学習とのハイブリッド逆投影法による鍵盤楽器演奏時の高精度マルチカメラハンドトラッキング (Long)
概要
モーションキャプチャにおいて, 外部物体との複雑なインタラクションを伴う手指動作の詳細なトラッキングをすることは最も難易度の高いタスクである. とくに, 楽器演奏時には, 手にグローブやセンサ類を装着する従来手法では自然な動きを阻害してしまう, 楽器や手そのものによる遮蔽が発生してしまう, という致命的な問題がある. そこで本論では, 複数のRGBカメラと音の情報のみを使い, 手に一切のセンサ類を装着することなく鍵盤演奏時の両手の詳細な３次元モーションキャプチャをおこなう手法を提案する. これを実現するため, バンドル調整で一般的な再投影誤差の最小化ではなく逆投影問題として定式化し, 機械学習とのハイブリッドな手法でこれを効率的に解く. 検証の結果, 演奏動作を妨げることのない高精度の非接触ハンドトラッキングが実現できたことを示す.
2024年9月12日（木） 11:25 - 12:15 論文セッション8（デザインとモデリング）
座長: 櫻井 快勢 (CyberAgent)
[44] Clay造形の微分幾何的な解釈と曲面生成への応用 (Short)
概要
Clayモデルの測定データからモデル造形時のカーブ定規の動きを計算機で再現する曲面生成法を提案する．自動車CADモデリングはカーブ定規の掃引に基づくという基本理念のもと，提案手法ではカーブ定規の動きに微分幾何的な解釈を与え，測定データからCADモデルを生成するリバースエンジニアリング技術と組合せて，より高品質な曲面を再構築する．意匠CAD専門家による曲面と比較し，提案手法の有効性を検証する．
[45] 多色織パターン生成と糸色の決定 (Short)
概要
カラー画像を多色織で表現するためには，数色の糸で対象となる画像を表現する必要がある．多数の水平方向の緯糸と，同じく多数の垂直方向の経糸が交差するすべての格子点上で，どちらの糸を上にして露出するかを決める織物パターンを作成すれば，織機に入力して織物を作ることができる．このパターンは二値画像として表現ができる．経糸と緯糸の露出の割合を変えることで，制限された色空間の中で多色織が表現される．従来法では，経糸と緯糸の露出の割合を各格子点で決めて織物パターンとしてしていたが，色の再現性は必ずしも高くなかった．本研究では，新たなアルゴリズムによる多色織パターン生成手法を提案する．提案法では，使用する経糸および緯糸の色から製織可能なすべての色糸の露出割合と，この割合で表現される混色を参照テーブルに登録しておく．任意の入力色を表現するためには，参照テーブルから適した色を選択し，対応する色糸の露出割合を出力結果に反映することとする．糸の色の選択についても，参照テーブル上で表現できる色と入力画像に出現する色の距離の総和を求めることで実現する．提案手法では，従来手法よりも定性的・定量的に良好な結果が得られることを確認できた．
[46] 織物デザインのための画像生成AIと言語生成AIの協働 (Short)
概要
本研究では，織物デザインのために画像生成AIを用いる際に，言語生成AIによってプロンプト拡張を行う手法を提案する．画像生成AIにより，デザイナはテキストから画像を生成することができるようになった．画像生成AIによって生成される画像の品質は，プロンプトの精度に大きく依存するが，多くの場合には，デザイナが適切にプロンプトを作ることは難しい．この問題を解決するために，言語生成AIによって，人が作るプロンプトを，より適切なプロンプトに拡張する手法がこれまでに提案されてきた．このような手法を織物デザインに適用したところ，織物パターンの制約や画像生成AIのシステム上の制約を満たすために，いくつか工夫を加える必要がわかった．本研究では，織物デザインのために，言語生成AIでプロンプトを適切に拡張するための手法を報告する．画像生成AIにはStable Diffusion Web UI v1.9.3，言語生成AIにはGPT-4を用いた．定性的・定量的評価によって，人が作った単純なプロンプトによる画像生成結果よりも，提案手法により拡張したプロンプトの方が良好な生成結果を出力することを確かめた．
[47] 適応的に変形されたシルエットからの3次元モデリング (Short)
概要
我々は、シルエットから形状を求める新しい手法を提案する。本手法の入力は、一般的なビデオカメラで撮影されたモデル化対象の映像である。ただし、対象物体のシルエット（マスク）は与えられているものとする。次に、一定の速度を保つように映像からモデリングに用いる画像を抽出する。抽出された画像セットにStructure-from-motionを適用し、カメラ軌道を推定する。最後に、シルエットから対象物体のボリュームモデリングを行う。シルエット画像を適応的に変形することで、形状の質を向上させる。既存の手法ではモデリングが困難であった電柱や樹木のモデリングにおいて、この手法が電線や枝のような細かいディテールを効率的にモデリングできることを示す。
[48] 薄い構造を持つ蝶の翅の形状復元のためのテンプレートフィッティング (Short)
概要
昆虫標本のデジタルデータ化は，保存により標本が劣化する・保存にはスペースを要するといった課題に対する有効な解決策であり，多くの研究がなされている．しかし，フォトグラメトリに基づく既存手法を翅のような薄い構造を持つ標本に適用すると，法線が真逆を向く頂点が近接してしまうため正確な形状復元が難しいという問題がある．そこで本研究では，薄い構造を持つ標本の復元のためのテンプレートフィッティング法を提案する．具体的には，蝶の標本を複数視点から撮影し，Structure from Motion および Multi-View stereoにより生成した点群データを翅と体に分割する．翅を表す点群について，法線方向に射影し，2次元上でドロネー三角形分割をすることでテンプレートを生成し，これをもとの3次元形状にフィッティングする．体を表す点群については，Ball-pivoting algorithm によりメッシュモデルを生成する．提案手法の有用性を示すため，複数の蝶の標本から3次元モデルの復元を実施した．結果，既存のフォトグラメトリと比較し，提案手法は穴や欠損のない高品質なモデルを構築できることを確認した．
2024年9月12日（木） 16:00 - 16:50 国際招待セッション2
座長: 武富 貴史 (CyberAgent)
[49] Dr.Hair: Reconstructing Scalp-Connected Hair Strands without Pre-training via Differentiable Rendering of Line Segments (CVPR2024)
[50] EMAGE: Towards Unified Holistic Co-Speech Gesture Generation via Expressive Masked Audio Gesture Modeling (CVPR2024)
[51] 学習を用いた木材内部の年輪構造の推定手法 (Computer Graphics Forum)
[52] Efficient Distortion-Free Neural Projector Deblurring in Dynamic Projection Mapping (IEEE Transactions on Visualization and Computer Graphics)
[53] Fast Grayscale Morphology for Circular Window (Computer Graphics Forum)
ニュース
- 2024年9月12日 Visual Computing 2024は盛況のうちに終了しました．各賞の受賞者についてはこちらをご覧ください．
- 2024年4月15日 Visual Computing 2024のWebページを公開しました
X (Twitter)
過去の開催
スポンサー企業
チャンピオン・スポンサー
プラチナ・スポンサー
ゴールド・スポンサー
シルバー・スポンサー
ブロンズ・スポンサー
