TextureFusion: High-Quality Texture Acquisition for Real-Time RGB-D Scanning

3D空間をスキャンして、このバーチャル空間のなかでインタラクトする手法（特定の位置を指し示したり、空間に描画したり）について知りたいので調査。リアルタイムというところが重要。ものが移動したら更新、などにも対応したい（見えていない位置はそのまま）。

Title

Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 1272-1280

Author

Joo Ho Lee, Hyunho Ha, Yue Dong, Xin Tong, Min H. Kim

KAIST, Microsoft Research Asia

Motivation

RGB-D（"D"は"depth"）カメラでの撮影では、現状では各ボクセル（ピクセルの立体版）に色情報が記録されるため、解像度（＝ボクセルの細かさ）と処理時間がトレードオフの関係にある。また、精度に関しても、深度や色情報が正しくマッピングされないこともある。この状況を完全するために、深度と色のマッピング手法に関する新しいアルゴリズムを提案した。

Method（研究手法；何をしたのか）

ボクセルベースの色（テクスチャ）情報の格納ではなく、スキャンした物体の頂点（vertices）にテクスチャ情報を結びつけて記録するようにした（ボクセル形式ではなくボリゴン形式ということ？）。また、これらテクスチャ情報を頂点と頂点の間にどのように貼り付けるかに関するアルゴリズム（texture mapping）にも取り組んだ。

デバイス

実験のためには、以下の器具が使われた：

Asus Xtion Pro Live
RGBカメラと距離センサー（赤外線カメラ）を搭載。3.5m 先までの深度を計測できる。USBバスパワーのみで駆動する。解像度は640x480、サンプリング周波数は30Hz。価格は詳細はヒットしなかったが、2~3万円ほど。

Insight（結果と知見）

下の画像は結果の比較。一番右側が今回の提案手法の実行結果。従来の手法よりも鮮明にテクスチャがマップされている。

f:id:horifumi7:20210317140018p:plain

(One-sentence) Contribution Summary（貢献を1行でまとめる）

Leeらは、リアルタイム3Dスキャンの高解像度かと高速化を両立させるという課題のため，テクスチャマッピングアルゴリズムを提案し，従来よりも効率的に高解像度の3Dスキャンを実現した．（アルゴリズムの詳細についてもまとめられるとベター）

- - -

Keyword（キーワード）

- real-time RGB-D scanning

Reflection（考察（自分の研究・興味からの視点））

このシステムを実行するには「Asus Xtion Pro Live」のような3Dスキャナーを準備すれば良いことがわかった。アルゴリズムの内容を理解するためには、この関連分野についての基礎的な知識を身につける必要がある。どの分野を集中的にフォローするかを見定めたら、アルゴリズムを再現するなどより深く論文を理解しよう。

- - -

その他メモ

ボクセル

ボクセル（英: voxel）とは、体積の要素であり、3次元空間での正規格子単位の値(-1~1)を表す。「ボクセル」という用語は「体積 (volume)」と「ピクセル (pixel)」を組み合わせたかばん語である。これは、2次元画像データがピクセルで表されることのアナロジーである。（ウィキペディアより）