Exploring Hybrid Virtual-Physical Homes
ACM Digital Library:
https://dl.acm.org/doi/10.1145/3357236.3395561
どんなもの？
「家」が提供する機能の現状を踏まえた上で、近年盛り上がっているVRを用いて、物理的な家にバーチャルな機能を被せて「家」という概念をどのように拡張することができるかの探究について。家は「安全性」「コミュニティ」「馴染み」の観点から語ることができる。VRにより、これらの機能をどう拡張できるか：例えば、コミュニティについては、離れた場所にいる人を隣にソファに出現させてコミュニケーションをとることができる。（本文では述べられていないけど、例えば、VRChatはどのようなときにくつろぎの空間と感じられるのか、ということにも通じる部分があると思う。本文中で述べられていたこととしては、Netflix VRではくつろぎの空間が用意されているが、それが「家」と感じられるためには何が必要か、のようなこと。）（本研究ではVR（HTC VIVE）を使ってるけど、物理的な家を拡張するならAR（Holosensなど）の方が良い？と思った。VRだと物理世界を遮断するから、直感的には最適には思えない。ARとMRの違いとは何かが気になった。）
先行研究と比べてどこがすごい？
（優位性については特に述べられていなかったと思う。）
技術や手法のキモはどこ？
（技術的に高度なことをしているわけではない。DIS2020に採択されている理由として考えられるのは、文献調査がしっかりしているから？のような気がする。）
どうやって有効だと検証した？
18歳から63歳の男女25人に対するアンケートとUnityとHTC VIVEで開発したソフトのテストプレイ。$15のAmazonギフトカードを配布して人を募集したらしい。
議論はある？
（アンケートをして、さまざまな意見を聞いた、という感じ。テストプレイの末に何か新しい知見が得られた、というよりも、人の意見を聞いてそれを文章に整理してまとめた、という内容のような気がする。）
次に読むべき論文は？
Investigating children's spontaneous gestures when programming using TUIs and GUIs
https://dl.acm.org/doi/pdf/10.1145/3392063.3394408
OmniGlobeVR: A Collaborative 360-Degree Communication System for VR
どんなもの？
Head Mounted Display (HMD) を装着してVR空間にいる人と、HMDを装着せずに周りにいる人たちとのコミュニケーション手法の提案。ここでは、OmniGlobeVRというシステムを開発している。OmniGlobeVRは、球体のディスプレイとその上部にくっつけられた360°カメラ構成される。HMDを装着せずに周りにいる人は、球体の表面に、VRの世界にいる人の視点から見た映像（もしくはそのプレイヤーの背後からの視点）が映し出され、これによりHMDを装着した人の視覚を共有することができる。HMDを装着した人は、360°カメラにより捉えた映像をVR空間内に「Face Window」として、周りの人の映像が枠の中に表示される。これにより、外の人と中の人とが視覚情報の共有がしやすくなる。
先行研究と比べてどこがすごい？
球体のディスプレイを活用している点に新規制があるらしい。球体のディスプレイとVRの相性がどのように良いのかがいまいちよくわからない。（球体の中から見るなら直感的にわかるけど、球体の表面に映された映像を外から見る場合、どのようになるのかが直感的にはわからない。）
技術や手法のキモはどこ？
360°カメラは、周囲の人の位置などを特定し、VR空間でも、それに対応した方向に表示するように工夫されている。これにより、例えば、VRの外の人が球体のある部分を指で指し示した場合、VRの中の人も、どのあたりが指し示されているのかがある程度はわかるようになっている。
また、球体のディスプレイを見ているときに、回り込んで他の角度から見ることも可能。
どうやって有効だと検証した？
男女12人（男性10人、女性2人；平均年齢25歳）にテストを実施した。ここでは、他のシステムと比較して提案手法の優位性を示すのではなく、このシステム内で複数のインタフェースを用意し、どのインタフェースが最も好まれたかを評価している。具体的には、OnniGlobeに映し出される映像が１人称視点か、３人称視点か、それとFace Windowがあるか否か、の3つの条件が評価された。結果的には、１人称視点・Face Window有り、が最も高評価となった。
（アンケートの実施手法に学べる点が多かった。検証する事柄がこれがベストなのかはわからない。）
議論はある？
third person viewpoint (3人称視点) が否定的に捉えたれていたけど、文章を読む限りでは、物体が遠すぎてよく見えない、というのが問題になっていたように思える。これは三人称視点自体の問題、というよりも、VR空間内のカメラ（視点）の設定の問題のような気がする。
Future work にも述べられているけれど、この研究も解決したい問題は、VRをした人（開発者）と周りで様子を見ている人たち（デザイナーたち）の間のコミュニケーションを円滑にすることが目的で、1対多の場面を想定するべき。今回の検証では1対1の評価だったので、これが今後の課題としてあげられていた。Future work が残っていても、DIS2020に採択されている点に注目（related research や評価に用いたツール・モデルなどはしっかりとしている印象を受けた）。
次に読むべき論文は？
Exploring Hybrid Virtual-Physical Homes
https://dl.acm.org/doi/10.1145/3357236.3395561
TANGIBLE PROGRAMMING WITH AUGMENTED REALITY
- Tangible Programming 周りの関連研究がたくさん紹介されているペーパー
どんなもの？
2018年の研究。子供（幼少期）のプログラミング教育を、直感的な方法で実現するために AR と Tangible を組み合わせた手法の提案。プロフェッショナルな場でしようされるプログラミング言語に対し、教育目的で限定的な機能な言語は「mini language」と呼ばれるらしい。そのような言語の一例は「LOGO (1967年)」というMIT発の教育用プログラミング言語。テキストベースの言語。カメが動き回る機能は結構有名か。学習コストが低く、それでいて言語の自由度は高い。LOGOの中で完結してしまうのではなく、LOGOで書いたプログラムを音楽やグラフィック制作にそのまま応用できるのは魅力的。この方針はプログラミング言語としては結構大切な点だと思う。LOGOはScratchにもインスピレーションを与えたらしい。
先行研究と比べてどこがすごい？
However, VPLs require a certain amount of the interaction with the technology (the use of a computer with mouse or keyboard or touch devices like tablets or smartphones) and reading ability since instructions are often presented in the textual form. と言っているが、この研究のアプローチでもタブレット型デバイスを使用している。つまりは、直感的に操作ができるインタフェース作りが肝になる、ということ。
先行研究と比べて何かが新しい、ということはあまりなさそう。サーヴェイをして、何が有効かを考えて、効果的だと考えられるシステムを一つ開発した、という流れのペーパーだと思う。
技術や手法のキモはどこ？
For the purpose of teaching programming even before it is possible with VPLs (Visual Programming Languages), visual blocks are then replaced with physical objects such as cards or cubes. Languages that use physical (tangible) objects are referred to as "tangible programming languages" (TPLs). ゲーム性を取り入れている？ところ。プログラミング初学者がドロップアウトする要因の一つは、モチベーションが湧かないことで、ゲーム性を入れればモチベーションが出てくると期待することはできる。これをICTを活用して実現しよう、という内容。
どうやって有効だと検証した？
UnityとVuforiaでのARゲームを開発。物理的なカードを紙の上に並べ、それによってヴァーチャルな箱庭の中で猫が動き、ケーキ（報酬、ゴール）まで正しく導ければ、ゲームクリア、となるらしい。ユーザーを対象としたテストプレイ（ユーザースタディ？）の様子は書かれていないので、有効性の検証はなされていないことになる。
議論はある？
子供用のゲームとして、タブレットをゲームボードの上に保持し続けるのは結構 腕が疲れそう。もう一方の手では、カードをゲームボードの所定の枠に置く、という作業をしているから、必然的にタブレットを長時間片手で持ち続けることになる。ここも課題では？と思った。（もちろんVRヘッドセットなどを使っても、重いことに変わりはないけど。）
次に読むべき論文は？
Reality-based interaction: a framework for post-WIMP interfaces
https://dl.acm.org/doi/10.1145/1357054.1357089
Augmented-Reality Scratch : A Tangible Programming Environment for Children
2008年の論文という点に注目。
どんなもの？
子供用のビジュアルプログラミング環境のScratchに、実空間とヴァーチャル空間を融合するAR機能を実装した研究。８歳から１２歳の子供を対象としたもの。子供たちをソフトウェアの「プレイヤー」に留めるのではなくて、「プロデューサー」として物を想像するためのソフトウェアを目指して開発された。
先行研究と比べてどこがすごい？
初めてのARを使った子供用プログラミング支援ツールだったらしい。
技術や手法のキモはどこ？
幼少期の子供は、空間認識の面で未成熟な部分があるため、QRコードを認識する時にも、画面上では常に画面に水平な平面として表示するようにしている点。
どうやって有効だと検証した？
中学生にテストプレイしてもらって、その様子を観察したり、フィードバックをもらったりしたらしい。Constructive Interaction (CI) と Peer Tutoring (PT) methodsという手法を使って体験を記録したらしい。これは、個別に感想を聞いたり、考えを声に出してもらったりする手法よりも正確な感想が引き出せるらしい。
議論はある？
特になし。実装したので、これからScratchに搭載されることを期待；そしてユーザーからフィードバックをもらいつつ、改善していく予定らしい。（2020年現在、ARの機能はScratchに搭載されているっぽい（標準ではないけど、追加設定のところからカメラオプションを追加できる））
次に読むべき論文は？
TANGIBLE PROGRAMMING WITH AUGMENTED REALITY
Tangible programming elements for young children
Publication:CHI EA '02: CHI '02 Extended Abstracts on Human Factors in Computing SystemsApril 2002 Pages 774–775https://doi.org/10.1145/506443.506591
どんなもの？
2002年の結構昔の研究。子供向けの、プログラミング的な思考を育むためのブロックデバイス（Electronic Blocks）。sensor blocks, action blocks, logic blocksから成る。８歳以下の子供を対象としたもの。
先行研究と比べてどこがすごい？
子供たちの普段身近にある「ブロック」によって、論理計算のようなプログラミングの考え方が身に付くこと。
技術や手法のキモはどこ？
and や not もlogic blocksとして入っているけど、これは子供たちにとって、最初はわかりにくそう。遊んでいるうちに理解できたら結構 プログラミング教育として成功していると思う（主観）。実験では、４歳近い子供たちは論理ブロックの意味があまり理解できなかったらしく、８歳に近い子供たちは、試行錯誤の末、わかるようになってき子供たちもいたらしい。
キモとしては、ブロックを組み合わせて動作を作り上げていくわけだけど、適切でない組み合わせに関しては、ブロックが噛み合わないような形状になっていて、これがシンタックスのような役割をになっている。シンタックスが物理的な形で表されていることが興味深い。
どうやって有効だと検証した？
大学構内の幼稚園と郊外の小学校で、4歳から8歳の子供を対象とした実証実験が行われた。12回の実験を２週間の期間で行った。評価は、子供たちを観察して、楽しんでいるかどうか。
議論はある？
（子供たちへの実証実験を観察した様子が報告されている。）
次に読むべき論文は？
Tangible programming with augmented reality
VR‐OCKS: A virtual reality game for learning the basic concepts of programming
https://onlinelibrary.wiley.com/doi/epdf/10.1002/cae.22172；「VR-OCKS」という名前は、ブロックベースでプログラムを記述することから派生した「ブロック（BLOCKS）」と「VR」を掛け合わせたらしい。
どんなもの？
前後左右に移動してスターを取る動作を設計する（スターの感じがマリオに似ている気がする。）動画があるからすごくわかりやすい。デモ動画を作るときは音声もあったほうがベターだと思う（Text to Speech のソフトを使ってでも何かしらの音声が欲しいところ）。
動作を支持するためのブロックの配置位置が画面左側にあるけど、これだと矢印の方向と実際の動きの方向にずれがある；どうして自分の真正面にこの配置台を置かなかったのかが気になる。
必要なコンポーネントが空間に漂っている点はパズル的な感覚があって面白いと思う。
先行研究と比べてどこがすごい？
ScratchやKoduという子供のプログラミング学習用の言語にインスパイアされている。Koduは初めて聞いたけど、Scratchが2Dなのに対して、Koduは3D空間上で自分でフィールドを作成したり、ものを配置してその動作を設定する感じのソフト。
VRというプラットフォームを使用すること自体に今は新規制がある。Koduは2Dのディスプレイの中に再現した3D空間だから2Dのインターフェイスになってるけど、インターフェイスを3DにしたのがこのVR-OCKSとも言える？（ただ、せっかく3Dにしたなら、単純にもともとあったものを立体で表現するだけではなくて、パーツの組み合わせ方自体を立体表現で再現できたほうがいいような気もする(tangibleなどがキーワードか)；先行研究に対する価値、という意味で。Kudoは2Dディスプレイでできる中では、かなり自由度の高い表現を直感的な操作で実現していると思う。）
技術や手法のキモはどこ？
グラフィックが綺麗（実装の面では意外と重要なポイント）
BBP (Block Based Programming) に基づく手法を用いている。BBPはシンタックスを学ばなくても対応できるというメリットがあるらしい。
, and , Virtual reality technology, John Wiley & Sons Inc, Hoboken, NJ, 2003.によると、VRには3つの要素（インタラクション、イマジネーション、没入感 immersion）があるが、既存の教育用VRアプリにはこれらが反映されていないものがほとんどだという。「In most cases, systems that pretend to be VR‐based are actually simple 3D environments in which the user can navigate without interacting.」らしい。これは覚えておきたい。
どうやって有効だと検証した？
VR-OCKSで作成したパズルと同じものをBlocklyとKodu（どちらもブロックベースのプログラミング教育用システム）でも作成し、一つのグループはこちらで、もう一方のグループはVR-ICKSをプレイし、その結果を比較した。他の類似の言語で同じものを作成し、VRを活用した本手法の優位性を主張するやり方は結構良いように思える。
より正確には、３回の実験を行い、１回目の実験では大学生を対象としたテストと感想・評価の回収・集計、２回目の実験では小学校高学年を対象としたテストと感想・評価の回収・集計、３回目の実験では子供たちのグループを2つ作成し、それぞれにVR-OCKSで作成したパズルと同じものをBlocklyとKoduで作成しテストしてもらい、その感想・評価の回収・集計を行い、２回目の実験と比較した。
議論はある？
BlocklyとKoduと比較して、好感は得られた。評価手法が子供たちの主観に基づいているようなので、実際にこれがプログラミングの理解につながったかどうかはわからない。これはFuture workだと述べられている。
次に読むべき論文は？
AR-maze: a tangible programming tool for children based on AR technology
(VR空間でゲームを作る場合、tangibleではどういうゲームを作るのかを参考にしつつ、それに現実では表現できない楽しさ・便利さを加えるのが良さそう。)
VWorld: an Immersive VR System for Learning Programming
https://dl.acm.org/doi/pdf/10.1145/3397617.3397843
どんなもの？
VR空間での子供のプログラミング教育アプリ：VWorldの開発。VRを活用することで、子供の関心をよりよく引き出せるらしい。スクラッチなどの2Dのものとどのように違いを出しているのかが気になる。=> Virtual Coding Blocks というものを使うらし。（同じ？）
先行研究と比べてどこがすごい？
完全にVR空間の中で子供のプログラミング教育を行った例は少ない。VR-OCKSという関連研究があるものの、こちらは子供があらかじめ用意された筋書きに則って操作をしていくため、自発的に何かを想像する体験が削がれてしまうらしい。この研究では子供の創造性を育む設計を実現しているらしい。
技術や手法のキモはどこ？（＋感想）
対象としているのが子供ということもあり、デバイスにIPDが調整可能なOculus Quest (1の方)を選んでいる。
VR環境では、まず最初に自分の空間をデザイン（空間内に木々を配置する、など）することから始まる。この時、空間内を動き回るとVR酔いなどを起こしてしまう可能性があるので、mini-mapなるものにオブジェクトを配置していく方針をとっている（Quest用のゲーム「Journey of the Gods」の神の視点からインスピレーションを得ているのかな）。
空間内の移動方法としては、「Questの6DOFを活用して物理的な移動」、「ジョイスティックでの移動」、「神の視点から自分を表したオブジェクトを掴んで別の場所に配置」の３通りの方法が提供されている。
肝心のプログラミング部分については、環境に置かれているオブジェクト毎に「8つ」の「ブロック」をアタッチするための枠が用意されている。この枠に、「移動」もしくは「音を鳴らす」を表すブロックを並び順を考えながら配置し、枠の順番にそって動作が実行される仕組み。物体に動作を実装する点に興味があったけど、Scratchなどに対して新規制はあまり感じられない。VR空間で実施することで、直接「掴んで配置」という体験は新しくて、子供たちの興味を引くことには成功しそう。ただし、現段階はまだ「完成版」ではないらしい。
どうやって有効だと検証した？
VR未経験者かつプログラミングに詳しくない大学生３人に対するテスト。13歳から15歳の子供に対するテストを検討しているらしい。
議論はある？
現状ではオブジェクトの動作として「移動」と「音を出す」のみだが、Future workとしてこの種類を増やしていくそう。
メモその他
- 「TUI：Tangible User Interface」というキーワードでの検索も参考になる。
次に読むべき論文は？
VR‐OCKS: A virtual reality game for learning the basic concepts of programming
https://dl.acm.org/doi/10.1145/2559206.2579484
MACH: My Automated Conversation coacH (2013)
どんなもの？
就職面接を設定として、コミュニケーション能力などの社交性を鍛えるための、ユーザーの音声や表情を認識しリアルタイムでレスポンスするMACHというシステム。
先行研究と比べてどこがすごい？（= Value Proposition）
実用目的で開発されたアプリケーションは前例がない（この場合は、就職の面接の練習を目的としている）。
技術や手法のキモはどこ？
バーチャルエージェントのモデルにフォトリアルな表現を用いることで、ユーザーが現実味を感じられるようにしている。不気味の谷現象/Uncanny Valley Effectの問題が気になるし、本文中でも触れられているが、面接というものは往々にして緊張感があり不快なものだから、ここでは不気味に感じられることがプラスに働くと予想できるらしい。この点に関しては検証はなされていない模様。
どうやって有効だと検証した？
MITの学部生90人と、就活カウンセラー2人に対してテストした。結果的には、ユーザーに自分の新たな側面を発見するきっかけをもたらしたらしい。
議論はある？
今後の取り組みとしては、動作するプラットフォームを増やすことや、各ユーザーのログを記録して過去データに基づいたフィードバックを与えることなどを挙げている。また、現状では一般の人（？）を対象としているが、今後は発達障害などを抱える人たちを対象として実験も実施しようと考えているらしい。
次に読むべき論文は？
ユーザーが女性コーチと話している様子
A Virtual Reality System for Practicing Conversation Skills for Children with Autism
どんなもの？
開発したVRアプリケーション「Bob's Fish Shop」を通し、ASDと診断されたユーザーの社交性とコミュニケーション能力を向上させる研究。現実世界とは異なり、VR空間では失敗の影響が緩和されるというメリットがある。
先行研究と比べてどこがすごい？
従来のASDと診断された子供のためのセラピー手法は、確立された効果はあるものの、費用や機会の制限により、必要とする対象全体にアクセシブルという状況ではない。費用が安く、短時間で効果が期待でき、また「スケーラブル」な手法を確立することがこの研究の意義である。
技術や手法のキモはどこ？
魚を題材としたのは、ASDの子供はペットと同じ空間にいるとセラピー効果が高まると言われているから。また、ASDの子供はテレビーゲームに興味を持ちやすいという結果も出ているため、魚のゲームが選ばれたらしい。
どうやって有効だと検証した？
UnityとOculus Riftで開発したのち、二人のユーザーを対象に実験をした。今後の課題として、より多くの人を対象として検証をする必要があるということ。
議論はある？
ユーザーの「応答までに要した時間」や「応答時の視線の位置」を判定することで、注意力や応答力を計測し、それをセラピーに活かすことができる。これを活用してさらに研究ができそう。
次に読むべき論文は？
MACH: My Automated Conversation coacH
https://affect.media.mit.edu/pdfs/13.Hoque-etal-MACH-UbiComp.pdf
Effectiveness of Virtual Reality for Children and Adolescents with Autism Spectrum Disorder: An Evidence-Based Systematic Review
https://www.mdpi.com/1424-8220/18/8/2486
2018年の論文
- どんなもの？
Autism Spectrum Disorder (ASD) を抱える子供や大人のセラピー手法にVRを活用することの優位性について検討した論文。従来のセラピー手法よりも優れているという確証は得られていないものの、VRを活用することの利点はあり、今後もVRの活用事例は注目するに値する。 - 先行研究と比べてどこがすごい？
To our knowledge, this is the first contribution that has carried out an evidence-based systematic review including both clinical and technical databases about the effectiveness of VR-based intervention in ASD.
- 技術や手法のキモはどこ？
（サーヴェイ論文のため手法のキモは特にない。強いていうなら、PICOモデルというものを参考にしつつ対象論文の剪定を行ったところか。） - どうやって有効だと検証した？
論文データベースの関連する研究を調査することによる検証。PICO model という問立てのテンプレート（patient problem or population (P), intervention (I), comparison (C), and outcome(s) (O)）を用いて、以下のような条件と仮説のもとにリサーチを行ったらしい：
• P—Children (age < 18) with ASD
• I—VR-based treatment
• C—(versus) non-VR-based treatment, children’s condition before VR-based treatment,
without treatment.
• O—Main outcomes obtained, no significant improvement is needed.
つまり、現地に行って有効性を検証するという類の調査ではなく、文献調査が行われた。最終的には、31の研究論文が評価のために用いられた。 - 議論はある？
VRを活用する利点は：
・the use of avatars and virtual environments representing social situations allows the training in a safe and controlled environment that could be personalized.
=> そのため、社交性をセラピーするためのVRの活用研究事例が多いと考えられる。
・Another advantage is that VR includes the possibility of modifying and personalizing the tasks, measures, difficulty, situations, and stimuli included in the environment. Even the characteristics of the avatars in the environments can be personalized.
=> パーソナライゼーションが簡単にできるということもVRを活用するメリットでもある。つまり、一人一人の患者に対してカスタマイズした設定でセラピーを実施できること。 - 次に読むべき論文は？
A Virtual Reality System for Practicing Conversation Skills for Children with Autism; https://www.mdpi.com/2414-4088/3/2/28/htm
