AR IN VR: SIMULATING INFRARED AUGMENTED VISION

* 今回からTAMMICとKURRのフレームワークに沿って論文をまとめる。

* また、論文管理として"Zotero"を使用してみる。

Title（タイトル）

Ar in VR: Simulating Infrared Augmented Vision

2018 25th IEEE International Conference on Image Processing (ICIP)

Author（著者、所属）

Fayez Lahoud; Sabine Susstrunk

Motivation（研究の出発点）

現在、商用分野での赤外線カメラ（themographic camera）を使った視覚の拡張手法は、赤外線カメラのフレームレードの低さや解像度の低さから、通常のRGB映像と組み合わせた時に不調合が発生し、使用者に快適性をもたらしていない。静的な画像に対する融合技術は先行研究が存在するものの、ARのようなリアルタイム（かつライティング環境も動的に変化する）の動画に対する赤外線カメラ映像とカラー動画の組み合わせ技術は先行研究が未開拓である。これが安全性・安定性を担保できる精度で実用化すれば、消防活動などで視認が困難な状況下での活用が見込める。

Method（研究手法） => 何をしたのか

煙や暗闇での肉眼での視認性の悪い環境で、レスキュー活動を実施し、実験した。視認性の悪さと赤外線カメラ映像のカラー映像との組み合わせ方（"image fusion" method）をパラメータとして組み替えながら、9人の参加者でテストが行われた。

タイトルにある"AR in VR"とは、本研究の目指している「消防活動の現場でのARグラスを使った赤外線情報の視認」をテストするため、今回はVR空間の中の視界の中心部に、赤外線情報がオーバーレイされる四角い範囲を設け、ここを擬似的にARと読んでいる、ということ。

Insight（結果と知見）

用意した複数の「赤外線カメラ映像とカラー映像の組み合わせ手法（image fusion algorithm）」によって、レスキュー実験の結果に差が現れた。結果は、体験者による段階数字によるもの、そして各模擬レスキュー活動の所要時間や達成度。良い結果が得られた重ね合わせ手法は次の3つ：

- Noise Modulation => 赤外線が多い（高温の）エリアに白いノイズを加える。

- Inverse Square => ピクセルの平均濃度？に反比例するような形で重ね合わせが行われる？（詳しくは説明されていない）

- Adaptive Blending => 色と温度に応じてピクセルごとに処理する？（詳しくは説明されていない）

また、暗闇での実験の方が明るい環境でのレスキューよりも良い結果が得られた（これは、image fusionをする際に、背景色が明るいと、赤外線カメラ映像による情報が薄くでカラー動画に打ち消されてしまうことが影響しているらしいから、実用性を考えれば、アルゴリズムを調整して明るい環境でも赤外線情報を見やすくするべきだと思う）。

「高温の煙」の環境下では、レスキュー活動のパフォーマンスはあまり良くなかったらしい。これは、赤外線カメラの情報が視界を覆ってしまうから（だと思われる（明確には理由が書かれていない）；状況に応じてimage fusionの調整があったほうが良いとも思う）。

(One-sentence) Contribution Summary（貢献を1行でまとめる）

[(Author) Lahoud and Susstrunk] は [(Motivation) 視界の悪い消防活動の現場で赤外線情報を活用する] という課題のため、[(Method) RBG動画の上に赤外線センサーの情報を快適な色彩表現でオーバーレイする複数のアルゴリズムの比較・検討] を行い、[(Insight) Noise Modulation, Inverse Square, Adaptive Blending というオーバーレイアルゴリズムが有効である可能性があること] がわかった。

- - -

Keyword（キーワード）

• image fusion
• thermal imaging camera
• AR in VR

Unknown（残った課題）

Future workとしては、環境光などを考慮してオーバーレイの色彩調整を改善することと、より広い環境下での実験の実施を挙げている。

Reflection（考察）

Motivationで課題として指摘していた赤外線カメラのフレームレートと解像度がRGBカメラよりも低い点について、本文の中で言及されていなかった。二つの映像のフレームレートと解像度の違いを、アルゴリズムによってどうやって吸収するかも研究されていると良いと思った。また、VRのHMDの中では立体映像が映し出されるが、どうやって赤外線カメラの映像を立体にしたのか、などについて言及されていなかったが、この点についてもさらに知りたいと思った。

Reference（関連研究）

• Jason Orlosky, Peter Kim, Kiyoshi Kiyokawa, Tomohiro Mashita, Photchara Ratsamee, Yuki Uranishi, and Haruo Takemura, “Vismerge: Light adaptive vision augmentation via spectral and temporal fusion of nonvisible light,” in Mixed and Augmented Reality (ISMAR), 2017 IEEE International Symposium on. IEEE, 2017, pp. 22–31.
  => 本論文で使用した"image fusion"手法が紹介されているらしい。