堀内貴文@論文読み

主に読んだ論文(主にHCI分野)をまとめるために活用します。

ロボット遠隔操作のための高臨場感視覚提示システムの開発

タイトル・会議名

ロボット遠隔操作のための高臨場感視覚提示システムの開発

日本バーチャルリアリティ学会論文誌, 7 巻 (2002) 1 号

著者・所属

星野 洋, 鈴木 健之, 西山 高史, 澤田 一哉

松下電工株式会社先行技術研究所

 

研究手法

  • 操作者がマスタアームシステムからロボット動作の指示を飛ばすと、ロボットが動作し、視覚、聴覚、体感(ハプティクス)がフィードバックとして返ってくる。
  • 操作のフェーズを「歩行時」と「作業時」にわけ、歩行時は操作者の周囲にディスプレイを配置する方式、作業時はHMDを用いた視覚情報の提示をした。
  • HMDは、Kaiser ElectroOptic製のProView60を用いた。

f:id:horifumi7:20210324101012p:plain

結果と知見

(実験・評価などの詳細な過程は報告されていない)

貢献

星野らは、人型ロボットの遠隔操作用のコックピットのための視覚提示システムの設計のため,移動操作に対しては「高視野角カメラシステム」および「包囲型ディスプレイ」、作業操作に対しては「ヘッドトラッカ付きHMD」を用い,機能することが確認できた.

 

キーワード

  • sense of presence

考察

  • 「遠隔地にいるロボットにて取得した視覚、聴覚、力覚、運動感覚などの感覚情報を、コックピット操作者にこう臨場感で提示する…」 => 人の五感のうち、嗅覚と味覚が含まれないのが興味深いと思う;「五感」と言った時の要素がこの五つなのはどうしてなのだろうか。

関連研究

  • ステレオカメラだけから3Dスキャンが可能かどうかが知りたい; 正確な測定のためには3Dスキャナーの深度センサー(赤外線?)も必要?

VR Locomotion: Walking>Walking in Place>Arm Swinging

*空間を自在に移動するVRアプリ開発でコントローラーを振って移動したいと思った;arm-swingではどのようなアルゴリズムを組んでいるのかを知るため;また、個人開発と比較し、どのような形で学会論文としてプラスアルファの価値が付加されているのかが知りたい;

 

Title

- VR Locomotion: Walking>Walking in Place>Arm Swinging

- 2016 ACM. VRCAI ’16, December 03-04, 2016, Zhuhai, China

 

Author

- Preston Tunnell Wilson, William Kalescky, Ansel MacLaughlin, Betsy Williams

- Rhodes College

 

Motivation

HMDを装着した状態でのVR空間を探索する際の移動方法に関して、最もVR酔いを起こしにくい方法は実世界で実際に歩くことであるが、これだとスペースの都合上、consumer product としては成立しにくい。そこで考えられる代替手段がその場で歩くこと、もしくは腕を振ることで歩く動作を再現することである。その手法について、定量的に評価し研究としてまとめたのが本研究論文の意義。

 

Method

Oculus DK2 (HMD) と Myo (armband)* を使って、WIP ("walking in place") の際の足の加速度情報を読み込んでVR空間での移動を実現する。

*足首に巻きつけて使用。

f:id:horifumi7:20210318100155p:plain

 

Insight

複数ユーザーに体験される実験を行ったところ、現実空間で実際に歩行する方法が最もエラーが少なく、その場で足踏みする方法が(彼らの実装と評価手法では)次にエラーが少なく、(彼らの実装と評価手法では)"arm swing"が最もエラーが多いという結果となった。

 

(One-sentence) Contribution Summary

「Wilsonらは、いくつかのVR空間での移動方法を比較するため,複数の被験者にVR空間で歩行してもらう実験を行い,(彼らの設定した評価手法・環境の中では)腕振り歩行法は、比較のために取り上げた他の二つの手法に比べて(システムに初めて触る人にとっては)エラーが多めなことがわかった.」

 

Keyword

- ANOVA

 

Reflection

 

本研究で行われた初めて提案手法を実践する人に対してはエラーが多かったとしても、慣れてくれば思いのほか良い、というような手法も存在するのでは?その可能性をこの論文では見落としていると思う。

TextureFusion: High-Quality Texture Acquisition for Real-Time RGB-D Scanning

3D空間をスキャンして、このバーチャル空間のなかでインタラクトする手法(特定の位置を指し示したり、空間に描画したり)について知りたいので調査。リアルタイムというところが重要。ものが移動したら更新、などにも対応したい(見えていない位置はそのまま)。

Title

TextureFusion: High-Quality Texture Acquisition for Real-Time RGB-D Scanning

Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 1272-1280

Author

Joo Ho Lee, Hyunho Ha, Yue Dong, Xin Tong, Min H. Kim

KAIST, Microsoft Research Asia

Motivation

RGB-D("D"は"depth")カメラでの撮影では、現状では各ボクセル(ピクセルの立体版)に色情報が記録されるため、解像度(=ボクセルの細かさ)と処理時間がトレードオフの関係にある。また、精度に関しても、深度や色情報が正しくマッピングされないこともある。この状況を完全するために、深度と色のマッピング手法に関する新しいアルゴリズムを提案した。

Method(研究手法;何をしたのか) 

ボクセルベースの色(テクスチャ)情報の格納ではなく、スキャンした物体の頂点(vertices)にテクスチャ情報を結びつけて記録するようにした(ボクセル形式ではなくボリゴン形式ということ?)。また、これらテクスチャ情報を頂点と頂点の間にどのように貼り付けるかに関するアルゴリズム(texture mapping)にも取り組んだ。

バイス

実験のためには、以下の器具が使われた:

  • Asus Xtion Pro Live
    RGBカメラと距離センサー(赤外線カメラ)を搭載。3.5m 先までの深度を計測できる。USBバスパワーのみで駆動する。解像度は640x480、サンプリング周波数は30Hz。価格は詳細はヒットしなかったが、2~3万円ほど。
    Xtion PRO LIVE 製品画像

Insight(結果と知見)

下の画像は結果の比較。一番右側が今回の提案手法の実行結果。従来の手法よりも鮮明にテクスチャがマップされている。

f:id:horifumi7:20210317140018p:plain

(One-sentence) Contribution Summary(貢献を1行でまとめる)

Leeらは、リアルタイム3Dスキャンの高解像度かと高速化を両立させるという課題のため,テクスチャマッピングアルゴリズムを提案し,従来よりも効率的に高解像度の3Dスキャンを実現した.アルゴリズムの詳細についてもまとめられるとベター

- - -

Keyword(キーワード) 

- real-time RGB-D scanning

Reflection(考察(自分の研究・興味からの視点))

このシステムを実行するには「Asus Xtion Pro Live」のような3Dスキャナーを準備すれば良いことがわかった。アルゴリズムの内容を理解するためには、この関連分野についての基礎的な知識を身につける必要がある。どの分野を集中的にフォローするかを見定めたら、アルゴリズムを再現するなどより深く論文を理解しよう。

- - -

その他メモ

ボクセル

ボクセル(英: voxel)とは、体積の要素であり、3次元空間での正規格子単位の値(-1~1)を表す。 「ボクセル」という用語は「体積 (volume)」と「ピクセル (pixel)」を組み合わせたかばん語である。 これは、2次元画像データがピクセルで表されることのアナロジーである。 (ウィキペディアより)

ソースコード

次のレポジトリにコードが公開されている。ベースとなっているコードは別のレポジトリからの引用。

github.com

github.com

3D visualization of cultural heritage artefacts with virtual reality devices

Title

3D visualization of cultural heritage artefacts with virtual reality devices

25th International CIPA Symposium 2015 

 

Author

Sara Gonizzi Barsanti, Giandomenico Caruso, LL Micoli, M Covarrubias Rodriguez, Gabriele Guidi

Department of Mechanical Engineering – Politecnico di Milano, Italy

 

Motivation

歴史的な人工産物(アーテファクト)を保存する際に3Dデータ化することは有効な手段であるが、その際にその物体にまつわる情報も一緒に保存できれば、価値はさらに増す。これにより、非専門家であってもそのアーテファクトについて理解することが容易になる。本研究はイタリア・ミラノのスフォルツェスコ城の修復計画が始まる前に、そこのアーテファクトを保存する取り組みの一環として行われた。

 

Method

Oculus RiftLeap Motion を使い、4つのエジプトのアーテファクト記録した。フォトグラメトリ(写真測量法)によりアーテファクトの3Dモデルを作成した。文字(ヒエログリフ)をテクスチャとしてくっきりと記録する工夫が行われた。インタラクションのためには、Oculus RiftLeap Motion を貼り付けてハンドジェスチャーに対応させた(Leap Motion の視野角の方がOculus Riftよりも広い)。3D空間の中でユーザーが3Dモデルのヒエログリフ象形文字)に触れると、その象形文字が翻訳されて表示される。

f:id:horifumi7:20210315100014p:plain

f:id:horifumi7:20210315102145p:plain

f:id:horifumi7:20210315102410p:plain

 

Insight

作成したプロトタイプを研究チームのその他のメンバーで実験し、解像度が低いなど技術的な制約を除いては、期待通りに目的を達成した。

 

(One-sentence) Contribution Summary

「Barsantiらは博物館のアーテファクトをデジタルに保存するという課題のため,そこに記されて象形文字や文脈の情報を付加した形で3Dモデル化・VR空間でのインタラクションを可能にした形での記録を行い,ソフトウェアを開発した.」

 

- - -

Keyword

(省略)

Unknown

(省略)

Reflection

  • Figure 8 のようにバーチャルな「手」について "To avoid any gender or race discrimination, robotic avatars have been selected." とあるけれど、例えば白い中性的な手を実装しても問題はないような気がする。

Reference

 (省略)

AR IN VR: SIMULATING INFRARED AUGMENTED VISION

* 今回からTAMMICとKURRのフレームワークに沿って論文をまとめる。

* また、論文管理として"Zotero"を使用してみる。

 

Title(タイトル)

Ar in VR: Simulating Infrared Augmented Vision

2018 25th IEEE International Conference on Image Processing (ICIP)

 

Author(著者、所属)

Fayez Lahoud; Sabine Susstrunk

 

Motivation(研究の出発点)

現在、商用分野での赤外線カメラ(themographic camera)を使った視覚の拡張手法は、赤外線カメラのフレームレードの低さ解像度の低さから、通常のRGB映像と組み合わせた時に不調合が発生し、使用者に快適性をもたらしていない。静的な画像に対する融合技術は先行研究が存在するものの、ARのようなリアルタイム(かつライティング環境も動的に変化する)の動画に対する赤外線カメラ映像とカラー動画の組み合わせ技術は先行研究が未開拓である。これが安全性・安定性を担保できる精度で実用化すれば、消防活動などで視認が困難な状況下での活用が見込める。

 

Method(研究手法) => 何をしたのか

煙や暗闇での肉眼での視認性の悪い環境で、レスキュー活動を実施し、実験した。視認性の悪さと赤外線カメラ映像のカラー映像との組み合わせ方("image fusion" method)をパラメータとして組み替えながら、9人の参加者でテストが行われた。

タイトルにある"AR in VR"とは、本研究の目指している「消防活動の現場でのARグラスを使った赤外線情報の視認」をテストするため、今回はVR空間の中の視界の中心部に、赤外線情報がオーバーレイされる四角い範囲を設け、ここを擬似的にARと読んでいる、ということ。

 

Insight(結果と知見)

用意した複数の「赤外線カメラ映像とカラー映像の組み合わせ手法(image fusion algorithm)」によって、レスキュー実験の結果に差が現れた。結果は、体験者による段階数字によるもの、そして各模擬レスキュー活動の所要時間や達成度。良い結果が得られた重ね合わせ手法は次の3つ:

- Noise Modulation => 赤外線が多い(高温の)エリアに白いノイズを加える。

- Inverse Square => ピクセルの平均濃度?に反比例するような形で重ね合わせが行われる?(詳しくは説明されていない)

- Adaptive Blending => 色と温度に応じてピクセルごとに処理する?(詳しくは説明されていない)

また、暗闇での実験の方が明るい環境でのレスキューよりも良い結果が得られた(これは、image fusionをする際に、背景色が明るいと、赤外線カメラ映像による情報が薄くでカラー動画に打ち消されてしまうことが影響しているらしいから、実用性を考えれば、アルゴリズムを調整して明るい環境でも赤外線情報を見やすくするべきだと思う)。

「高温の煙」の環境下では、レスキュー活動のパフォーマンスはあまり良くなかったらしい。これは、赤外線カメラの情報が視界を覆ってしまうから(だと思われる(明確には理由が書かれていない);状況に応じてimage fusionの調整があったほうが良いとも思う)。

 

(One-sentence) Contribution Summary(貢献を1行でまとめる)

[(Author) Lahoud and Susstrunk] は [(Motivation) 視界の悪い消防活動の現場で赤外線情報を活用する] という課題のため、[(Method) RBG動画の上に赤外線センサーの情報を快適な色彩表現でオーバーレイする複数のアルゴリズムの比較・検討] を行い、[(Insight) Noise Modulation, Inverse Square, Adaptive Blending というオーバーレイアルゴリズムが有効である可能性があること] がわかった。

 

- - -

Keyword(キーワード)

  • image fusion
  • thermal imaging camera
  • AR in VR

 

Unknown(残った課題)

Future workとしては、環境光などを考慮してオーバーレイの色彩調整を改善することと、より広い環境下での実験の実施を挙げている。

 

Reflection(考察)

Motivationで課題として指摘していた赤外線カメラのフレームレートと解像度がRGBカメラよりも低い点について、本文の中で言及されていなかった。二つの映像のフレームレートと解像度の違いを、アルゴリズムによってどうやって吸収するかも研究されていると良いと思った。また、VRHMDの中では立体映像が映し出されるが、どうやって赤外線カメラの映像を立体にしたのか、などについて言及されていなかったが、この点についてもさらに知りたいと思った。

 

Reference(関連研究)

  • Jason Orlosky, Peter Kim, Kiyoshi Kiyokawa, Tomohiro Mashita, Photchara Ratsamee, Yuki Uranishi, and Haruo Takemura, “Vismerge: Light adaptive vision augmentation via spectral and temporal fusion of nonvisible light,” in Mixed and Augmented Reality (ISMAR), 2017 IEEE International Symposium on. IEEE, 2017, pp. 22–31.
    => 本論文で使用した"image fusion"手法が紹介されているらしい。

f:id:horifumi7:20210313150221p:plain

 

直感的ヒューマノイドロボット操縦手法の調査

社会をアシストするための「人型ロボット」の未来は、次の二つの方向性が考えられると思う:

  1. 完全自立型 - つまり、初期条件だけを人間が与えれば勝手に動いてくれるようなロボット
  2. ツール型 - つまり、人間の身体の一部としてパワーを増強する役割を持つロボット

ここでは「ツール型」のロボットについて、その操縦方法や関連領域(概念)についてまとめます。

---

テレイグジスタンス

まずは定義から:

テレイグジスタンス(telexistance)とは、人間が、自分自身が存在する場所とは異なった場所に実質的に存在し、その場所で自在に行動するという人間の存在拡張の概念であり、また、それを可能とするための技術体系です。(https://tachilab.org/jp/about/telexistence.html

この概念は、舘暲(たち すすむ)教授(東京大学)によって1980年に提唱されたらしい。

医療用ロボットのダビンチや火の鳥はテレイグジスタンスの例だと思うし、また、VRChatやClusterで使うアバターなんかもテレイグジスタンス。つまりオペラーターとは反対側の末端にいる実態がフィジカルでもバーチャルでも「テレイグジスタンス」の概念にカバーされている。本質的には「人間そのものをユビキタスにしよう」とする考え方。また、実際の人間の能力を拡張することもでき、例えば赤外線センサーの情報を視覚情報に書き加えれば、暗闇の中でも見ることができる。このような概念を「augmented telexistence」と呼ぶ。現状では、視覚・聴覚に関する部分はかなり研究・社会実装が進んでいるが、触覚の部分には課題がまだまだ残されている。

また「相互テレイグジスタンス」もあり、これは周りからアバターであるロボットを見たときに、それに操縦者の存在を感じさせること、つまり、周りから見ても何が起こっているのかを直感的に理解できるような仕組みをデザインすることも注目のポイント。

今 普及している技術(テレイグジスタンスが完全ではない世界)では、リモートワークは情報の伝達に限られているけれど、テレイグジスタンスが実現して遠隔地にも物理的な身体の動作を伝達することができれば、肉体労働などもリモートワーク化することが可能となる。これに伴い、工場に実際に出社しなくても社員がリモートから出社することができるようになるので、地下の安い(が人が集まりにくい)場所に工場を建設しても十分に回していくことができるようになる、などが考えられる。工場は人型ロボットで埋め尽くされた光景になるけれど、それを操作しているのはどれも人間という、ロボットAIが働いているようなSFに見た目は似ているけれどロボットの動作原理は全く異なるような未来が想像できる。歳をとって肉体的なパワーが衰えている人であっても、アバターロボットの力の出力を増幅させれば、若い人と同じような肉体作業をすることも可能となる。

テレイグジスタンスは、デジタルの世界ではすでに現実になってるけど、物理世界で実現するためには、触覚の技術はもちろんのこと、物理的なロボットを導入するのにコストがかかりそう。

---

 アールキューブ構想

R3 (Real-time Remote Robotics)、Rが3つで => Rの3乗 => "R cube" というネーミング。旧経済産業省で1994年に設置された。

---

 

 

VR空間での移動についての調査

移動方法の実装は、VRアプリのUXを左右する重要なポイント。理想的な方法には、実空間での動作がそのままVR空間での動作に対応する次のような方法がある。

理想的な方法

  • 6DoFトラッキング
    実空間での前後・左右・上下・回転の移動がそのままVR空間に反映される。
  • VRトレッドミル
    円形のコンベアベルトのようなものに乗って歩く。ジャンプなども検知できる。映画「Ready Player One」でも取り入れられていた。

この理想的なUXを提供するためには、ユーザーが広いスペースを確保していることや、新たにデバイスを導入する必要がある。代替策として、現在、VR空間での移動に用いられている主な方法が次のようなもの。

メジャーな方法

  • テレポーテーション
    移動したい位置をコントローラーでポイントして瞬間移動する。視界切り替え時にフェードエフェクトを加えると少し楽になる。
  • ジョイスティック
    従来のゲームと同様の手法で、操作性は高いものの、VR酔いを招きやすい。スティックの傾きやボタンとの組み合わせで、速度・加速度を変更することも考えられる。

そのほか、メジャーではないものの、次のような手法も考えられる。

その他の方法

  • Chicken Acceleration (https://youtu.be/6FQ4c1y3g8g)
    まるで鶏が首を前後に振って歩くように、HMDが初期位置に対して前にある状態では前進、後ろにある状態では後退する。可もなく不可もなく、という印象。
  • Nodding Acceleration (https://youtu.be/9KPLLNmA6As)
    頷くと前進する。首が疲れそう。

どのような方法であれ、VR酔いを防ぐために大切なことは「体の動きとVR空間での動きを対応させる」こと。それにより没入感が高まり、現実とVR空間での「ずれ」から意識が薄れ、酔いの防止につながる。このことを踏まえると、あまりメジャーではないが、次のような方法も良いように思える。

  • 乗り物に乗っての移動
    セグウェイなどの乗り物で移動する方法なら現実世界とのずれは少なそう。つまり、視界の中に固定されているオブジェクトがあると、酔いの軽減につながるのではないか、という発想。
  • 腕振り歩行
    コントローラーを交互に振ることで歩行、振る速度によって歩行速度の調整、魚を釣り上げるような動きでジャンプ、などを実装すれば、回転する椅子などに座った状態でそれなりに快適にVR空間を移動できそう。誤認識などをどうやって防ぐのかも対策が必要そう。要 実装+検証。

これらのメジャーではない方法も、実際に実装してみて検証したい。

Teaching Robot's Movement in Virtual Reality (1991)

f:id:horifumi7:20210107145037p:plain

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=174739

(ここで言う"Virtual Reality"が今のVR HMDをしようした方法かどうかが気になる。=> Oculus Touch などのようなコントローラーではなくグローブを使用している。大体は同じ。VR自体は数十年前からあった;価格や視野角が改善されたのが近年、と言う話。)

どんなもの?

VR空間での動作を適切な形式で記録することで、実空間のロボットアームの動作を制御する一連のプログラムを作成する試み。プログラムを書かずにロボットの動作を指定できるところに意義がある。

この論文が書かれた当時は、自然言語処理モーションキャプチャの技術も現在ほどは優れていなかった。しかし、当時から、未来のロボットプログラミングの形として、自然言語処理と身振り手振りを用いて 、人に教えるときのようになるだろうと予想していた。

"hand gesture interface device"と"stereoscopic glasses"を装着してロボットの動作を設定する。

先行研究と比べてどこがすごい?

プログラムを書かずに、VR空間でロボットの動作を「実演」することで動作を指定する試みが、当時としては先進的なアプローチだった。

技術や手法のキモはどこ?

バーチャル空間でロボットの動作を規定する際、手にはDataGloveというものをはめる。今で言うTouch Controllersに相当するものか。制御のために有限オートマトンを設計した。

どうやって有効だと検証した?

(リングを棒に通す実験の様子が報告されている。)

議論はある?

今回はロボットの「動作」を指定するための手法だったが、似たような手法を「動作」以外のことにも応用できないかどうかが気になる(どういう挙動を検知したら音を発する、光を発する、など)。

次に読むべき論文は?

Active Learning Environments with Robotic Tangibles: Children’s Physical and Virtual Spatial Programming Experiences

 

f:id:horifumi7:20210107151442p:plain

まずコンピュータの画面上の操作でバーチャル空間の設定をして、その後 目と手にデバイスを装着して(今のVRバイスの原型のようなもの?)ロボットの動作を指定する。

 

Tuk Tuk: A Block-Based Programming Game

f:id:horifumi7:20210103225525p:plain

https://dl.acm.org/doi/pdf/10.1145/3078072.3091990

どんなもの?

子供用プログラミングソフトの制作。「Tuk Tuk」とはインドネシア(著者の出身国?)のタクシーのことで、タクシーで人を拾って目的地まで送り届けることをゲームの目的として、その過程でプログラミング的思考を学ばせることが狙い。

先行研究と比べてどこがすごい?

「Tuk Tuk」では、小学生くらいの年齢の子供にはScratchやSnapでお馴染みの「block based programming」を使い、それよりも幼い子供には「programmning by example」というパラダイムにインスパイアされた手法を使っている。ゲーミフィケーションを取り入れている点。特徴としては、深さ優先探索幅優先探索という、他の子供用プログラミング学習ソフトでは扱っていないテーマを題材に取り得れている点が挙げられる。

"Programming-by-example"は初めて聞いたけど、その前例としては、Topobo (2003; MIT Media Lab)などがある。考え方としては、プログラミング言語によって動作を規定するのではなくて、一回動かして、その動きを「記録」することによって動きを制御する方法。"Programming by Demonstration"ということもある(こちらは主にロボット制御の文脈で用いられることが多い)。

技術や手法のキモはどこ?

(新しい技術や考え方を提案した、という論文ではなく、探索の考え方を子供に学習させるという付加価値のあるシステムを作ったIDC’17のデモンストレーション枠の研究。)

どうやって有効だと検証した?

6歳と7歳の女の子ふたりに対する体験とインタビュー(duration: 1hr)。(ここから学べること:小規模の実証実験でもIDCに採択されている(demo枠))

議論はある?

チェスや囲碁で使われるより高度な探索技術に踏み込むこと。

次に読むべき論文は?

Topobo: a constructive assembly system with kinetic memory

f:id:horifumi7:20210103225558p:plain

より幼い子供用には"exmaple-based-programming"にインスパイアされた方法、それより年齢が上の子供には"block-based-programming"で設計されたコントロール手法を使っている。

 

Investigating children's spontaneous gestures when programming using TUIs and GUIs

f:id:horifumi7:20201227113203p:plain

https://dl.acm.org/doi/pdf/10.1145/3392063.3394408
Publication: IDC '20: Proceedings of the Interaction Design and Children ConferencePages 36–48https://doi.org/10.1145/3392063.3394408

今回は、子供を研究対象としたインタラクションデザインの学会「IDC」から、TUI (Tangible) とGUI (Graphical) を使ったときの子供の反応(仕草)について。IDC2020に実際に採択された研究。

どんなもの?

子供にプログラミング教育をするときに、どのようなジェスチャーが発生し、それらジェスチャーがどのような学習効果を産むかについて観察した研究。また、TUIとGUIの教育に与える効果も検証されたが、(意外にも)この研究ではこれらの間でも差異は観察されなかった(あくまでこの研究では、という話)。学習効果については、ジェスチャーを使用した子供は高い学習効果が得られている(というだけれど、原因と結果がこの一方通行なのかどうか確かではないと思う)。

先行研究と比べてどこがすごい?

IT教育の際に子供が見せる仕草についての研究は前例がないらしい(数学の学習時の仕草についての研究はそれなりに報告されているらしい);別の言い方をすると、ある操作をするためにどのような動作をするのが理に敵っているか、についての研究はそれなりに行われているが、その操作をしたときの子供の反応についての研究は稀だということ。本研究では、特に教育効果が高いとされるタンジブルなインターフェース(抽象的な概念を具体的に想像する能力や、記憶力の向上などが見込まれる)について、GUIのものと比較することで観察している。

技術や手法のキモはどこ?

(技術的にキモがある研究ではなく、すでにあるツールを使用して、子供の様子を観察した。)

どうやって有効だと検証した?

サウジアラビアの小学生(6歳から7歳)44人に対して、45分間のロボットプログラミングセッションを、GUIのグループとTUIのグループで比較した。Independent variable は「学習効果」と「ジェスチャーの使用」のふたつ。TicaというGUIとTUIを比較することを目的に研究・開発されたロボットプログラミングがあるが、これでGUIとTUIベースのアクティビティを作成して、子供たちにプレイしてもらった。その様子を記録した。

議論はある?

GUIを使うかTUIを使うかによる「ジェスチャーの使用度合い」に差異は見られなかった。また、「ジェスチャーを頻繁に使用した子供」は「ジェスチャーをあまり使用しなかった子供」に比較して、プログラミング問題の正答率が高く、このことからジェスチャーを使用することはプログラミングの理解力を高める効果がある、と結論づけられている(その可能性も十分にあるけど、より正確には、その逆、つまり、プログラミングが理解できた子供は、説明・表現するだけの理解力あり、これをジェスチャーを交えて説明している;理解できていない子供は、ジェスチャー云々以前に、説明できるだけのレベルに到達していないから、ジェスチャーを使う以前の段階で止まってしまっている、ということ。これも可能性としてはあると思う。)。

次に読むべき論文は?

Techniques for augmented-tangibles on mobile devices for early childhood learning

https://dl.acm.org/doi/10.1145/3392063.3394412

f:id:horifumi7:20201228120447p:plain

Ticaというシステムを用い、TUIとGUIで似たインタフェースを作成した様子

f:id:horifumi7:20201228120536p:plain

問題を解く際は、このようなロボットを制御するプログラムを作成する

f:id:horifumi7:20201228120621p:plain

子供たちはこのような問題を与えられて、与えられた手順を追って問題を解いていく