#TheOnePaperADay Aug 21 ① Compositional Video Understanding with Spatiotemporal Structure-based Transformers ② 映像の意味理解 ③ 長い時間の映像の意味理解を、オブジェクトベースでの時空間上の状態をノードとするデータ構造により促進 ④ 基礎研究だ。こういうモデルの評価方法学びたい

#TheOnePaperADay Aug 20 ① Color Shift Estimation-and-Correction for Image Enhancement ② 露出の調整 ③ 撮影された写真に存在する露出オーバーとアンダーの領域に対して、色調補正を行うためのUNetをベースにしたフレームワークを提案

#TheOnePaperADay Aug 19 ① Action Detection via an Image Diffusion Process ② アクションの検出 ③ 動画からアクションを検出するモデルは、クラスや開始終了フレームのフラグ×全フレームで表される画像という視点から画像推定モデルを応用 ④ 視点面白いけど、効率がいいのかは分からないな

#TheOnePaperADay Aug 18 ① Interactive3D: Create What You Want by Interactive 3D Generation ② インタラクティブな3Dモデル生成 ③ ガウシアンスプラッティングを利用したモデルで、生成されるモデルをインタラクティブに操作し、InstantNGPを用いて改良

#TheOnePaperADay Aug 17 ① Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder ② 一貫性のある超解像 ③ 潜在空間におけるデノイズを超解像のパイプラインから切り分けることによって、画像生成と超解像を一貫性持って行う精度の向上

#TheOnePaperADay Aug 16 ① TIGER: Time-Varying Denoising Model for 3D Point Cloud Generation with Diffusion Process ② 拡散モデルによる点群生成 ③ タイムステップに応じて、アテンションと畳み込みを最適に選択してマスクとして利用するモデルで、点群によるモデルを精度高く生成

#TheOnePaperADay Aug 15 ① Wonder3D: Single Image to 3D using Cross-Domain Diffusion ② 3Dモデル生成 ③ SDSを使わない多視点のクロスドメインな拡散モデルにより、1枚の画像から法線情報や色が割りあてられた一貫性のある3Dモデルを生成

#TheOnePaperADay Aug 14 ① DreamFont3D: Personalized Text-to-3D Artistic Font Generation ② 3Dフォントアート生成 ③ 3Dフォントアートを生成する時に、多視点やテキスト入力に対して、3Dオブジェクトの配置を上手く制御するためのフレームワークを提案

#TheOnePaperADay Aug 13 ① EASI-Tex: Edge-Aware Mesh Texturing from Single Image ② 1画像テクスチャ生成 ③ 3Dモデルに対して、1画像からテクスチャを生成。ジオメトリが一致しなくても、ControlNetとIPAdapterで特徴を上手く抽出し割り当て。

#TheOnePaperADay Aug 12 ① MaPa: Text-driven Photorealistic Material Painting for 3D Shapes ② 写実的テクスチャ生成 ③ プロシージャルなテクスチャグラフを用いて、拡散モデルをデータセット替わりに利用して、テキストから高解像度の写実的なマテリアルを生成する

#TheOnePaperADay Aug 11 ① BoostMVSNeRFs:Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes ② NeRFの精度向上 ③ 2Dの視認性スコアと複数のコストボリュームを組み合わせることによって、NeRFレンダリングで細かいアーティファクトの精度向上を実現

#TheOnePaperADay Aug 10 ① Reconfigurable interlocking furniture ② 再構成可能な家具設計 ③ 部品の再利用率を高めながら、複数の用途の家具を再構成可能かつインターロックにすることの出来るシステムの提案 ④ インターロックで安定性を保証することで接続構造無視したの賢いんよな

#TheOnePaperADay Aug 9 ① SpaceEditing: A Latent Space Editing Interface for Integrating Human Knowledge into Deep Neural Networks ② DNNの編集 ③ DNNの潜在空間を、重みをいじるのではなく、2次元に落とし込まれた状態で、編集するためのユーザーインターフェースを提案

#TheOnePaperADay Aug 8 ① Efficient Debris-flow Simulation for Steep Terrain Erosion ② 侵食のシミュレーション ③ 山岳地帯で見られる侵食を、水ではなく岩屑流によってより現実的にシミュレーションするための定式化 ④ 視点めっちゃ好き。こういう地形の自動生成とか少なそう

#TheOnePaperADay Aug 7 ① Reach for the Arcs: Reconstructing Surfaces from SDFs via Tangent Points ② SDFからメッシュ再構成 ③ SDFと点群データを組み合わせ、接点となりうる点をサンプリングし、特異点などの情報やSDF情報を漏らさずにメッシュを再構成することを可能に

#TheOnePaperADay Aug 6 ① Multi-Material Mesh-Based Surface Tracking with Implicit Topology Changes ② メッシュの表面追跡 ③ 非多様体のメッシュ表面を扱うために、メッシュとグリッドを活用した多様体用のアルゴリズムを一般化かつロバストに。 ④ MPMみたいな感じなのかな？むずい

#TheOnePaperADay Aug 5 ① A Vortex Particle-on-Mesh Method for Soap Film Simulation ② 薄膜シミュレーション ③ 薄膜上の渦構造を生成するモデルのために、循環と膨張の成分を分解することに焦点を当てた物理モデルの構成したことで、複雑な模様を再現

#TheOnePaperADay Aug 4 ① Taming Diffusion Probabilistic Models for Character Control ② モーション生成の制御 ③ 拡散モデルベースのモーション生成を、動きの履歴を入力として生成を行うCAMDMベースで、リアルタイムに応答するユーザによる制御が可能となるモデルを提案

#TheOnePaperADay Aug 3 ① TexPainter: Generative Mesh Texturing With Multi-view Consistency ② テクスチャの視点間一貫性 ③ 拡散モデルにテキストプロンプトからテクスチャを割り当てる際に多視点からの一貫性を保持するため、潜在空間の編集をせず、DDIMの視点から順序的依存を減らした

#TheOnePaperADay Aug 2 ① Saccade-Contingent Rendering ② サッケードを利用したレンダリング ③ VR等において視線に依存した解像度のレンダリングを支援するために、サッケードのみの追跡でだけで、人間の理解に十分な解像度が提供出来ることを実証

#TheOnePaperADay Aug 1 ① Controllable Neural Style Transfer for Dynamic Meshes ② ニューラルスタイルトランスファー ③ 布や液体シミュレーション等に対しても適用できる、ニューラルネイバーベースの定式化によるメッシュの変形に対しても安定したニューラルスタイルトランスファーを提案

#TheOnePaperADay Jul 31 ① Mesh Neural Cellular Automata ② 3Dテクスチャ ③ 3DテクスチャをセルオートマトンベースでUVマップなしに生成するのに、規則的なグリット構造を必要とせず任意のメッシュでリアルタイムに行うことの出来るモデルを提案。モデルは様々な方法で訓練可能

#TheOnePaperADay Jul 30 ① Direct-a-Video: Customized Video Generation with User-Directed Camera Movement and Object Motion ② カメラと物体の制御 ③ 動画生成モデルで、カメラの制御と物体の制御を切り離し、それぞれをユーザが指定。カメラ制御の新しいモジュールを利用。

#TheOnePaperADay Jul 29 ① Versatile Vision Foundation Model for Image and Video Colorization ② 画像と動画の色付け ③ テキスト画像モデルを拡張する形で、複数パターンやインタラクティブな色付けタスクを行うことの出来る、拡散モデルを提案 ④ この色付けできるの大きいな。確認。

#TheOnePaperADay Jul 28 ① I2V-Adapter: A General Image-to-Video Adapter for Diffusion Models ② 画像動画アダプター ③ 事前学習による重み変更を必要とせず、ノイズのない画像を伝播していくアダプター的モデルによって、学習コストを下げつつ一貫性のある動画を生成

#TheOnePaperADay Jul 27 ① Motion-I2V: Consistent and Controllable Image-to-Video Generation with Explicit Motion Modeling ② 画像からの動画生成 ③ 拡散モデル的に動きの特徴を捉える段階と、動きを拡張する時間的なアノテーションをする段階に分けることでダイナミックな動画を生成

#TheOnePaperADay Jul 26 ① Spatial and Surface Correspondence Field for Interaction Transfer ② 相互作用の伝達 ③ 表面と空間の表現に焦点をあて、対応関係を学習したものから、オブジェクトの変形・回転を認識しつつ、相互作用を最適化する ④ 衝突の問題があんまり起こってなさそう。

#TheOnePaperADay Jul 25 ① Split-Aperture 2-in-1 Computational Cameras ② 計算画像との組み合わせ ③ 従来のカメラと光を変調させて得る情報から計算を行うカメラを絞りの分割で組み合わせることで、計算画像の低精度化を改善しつつ色んなタスクへの応用を実現

#TheOnePaperADay Jul 24 ① A Unified Differentiable Boolean Operator with Fuzzy Logic ② CSGの為の微分可能演算 ③ 連続値に対する論理演算であるファジー論理を利用することで、CSGによって表現されるモデルの最適化を高い質で実現 ④ ファジー論理初めて知ったけど面白そう