公立はこだて未来大学 2011 年度 システム情報科学実習 グループ報告書 Future University Hakodate 2011 System Information Science Practice Group Report プロジェクト名 拡張現実感を用いた新規技術の提案と開発 Project Name The Proposal and Development of the Novel Technology with Augmented Reality グループ名 新型マーカー開発 Group Name The Development of New-type Marker プロジェクト番号/Project No. 16-A プロジェクトリーダ/Project Leader 1009124 Yuta Imamura 今村優太 グループリーダ/Group Leader 1009126 大御堂尊 Takeru Omidou グループメンバ/Group Member 1009077 深浦竜馬 Ryoma Fukaura 1009126 大御堂尊 Takeru Omidou 1009202 宮尾怜 Ryo Miyao 1009209 木村健 Takeru Kimura 1009238 長村勝也 Katsuya Nagamura 指導教員 大澤英一 加藤浩仁 Advisor Ei-ichi Osawa Koji Kato 提出日 2012 年 1 月 18 日 Date of Submission January 18, 2012 概要 本プロジェクトでは、AR(拡張現実) という技術を扱う。AR とは、現実空間に CG などの コンピュータ上で処理できる情報を組み合わせる技術である。AR の基本的な処理としては、 カメラなどのデバイスを通して見た現実空間に対し、そこに対応した情報を表示するというも のである。現在発展を続ける AR 技術であるが、現実世界にそのサービスを確立させることを 考えると未解決の重要な問題がある。本プロジェクトでは、そのような問題を 2 つ取り上げ、 それぞれについてメンバーを分割してグループを作成し、解決に取り組む。 AR 技術の実現にあたり、現実空間の物体の位置情報とコンピュータ上の情報を対応させる ものが必要になるが、本グループではマーカーという手法を用いる。マーカーとは、物体の位 置をコンピュータに認識させるための目印である。マーカーは、視覚的なもの (たとえば紙媒 体などに模様を描いたもの) が一般的なものであるが、これでは使う場所によっては景観を損 なう可能性がある。そのため、非視覚的なタイプの新しいマーカー「Sneaking Marker」と、 それを認識してその場に合った情報を表示する AR アプリケーションを開発する。 キーワード AR、拡張現実感、マーカー、景観、Sneaking Marker (※文責: 大御堂尊) -i- Abstract This Project treats AR(Augmented Reality). AR is the technology that displays information on real space. In basic step of AR, matching information displays on real space that watching by devices such as camera. Now AR is developing, but containing some problem not solved yet by thinking about using AR services. This project treats two problems like that by separating members into two groups and tries to solve. Realizing AR technology, it is need to use markers in order to matching locate information. In this time, this group uses a marker. Marker is the land mark for computers. In marker, paper that printed visible patterns is natural. But, this has possibility that spoiling sights. So, this group tries to develop a new marker called “Sneaking Marker”, and that doesn’t spoil the sights. In addition, this group also develops an application that recognize the new marker. Keyword AR, Marker, Sights, Sneaking Maker (※文責: 大御堂尊) - ii - 目次 要約 1 1.1 プロジェクト・グループの目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 目標 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 課題解決 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.4 結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 背景 3 2.1 拡張現実感の現状と従来例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.2 現状における問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 課題の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 目標 6 赤外線をマーカーとして使用する . . . . . . . . . . . . . . . . . . . . . . . . . . 6 第1章 第2章 第3章 3.1 3.2 3.1.1 赤外線の問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.1.2 指向性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 赤外線マーカーの作成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.2.1 目立たないことの定義 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.2.2 赤外線マーカーの認識システムの開発 . . . . . . . . . . . . . . . . . . . . 8 3.3 トラッキングシステム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.4 マイコンプログラミングによる赤外線 LED 点滅のパターン作成 . . . . . . . . . . 9 3.4.1 赤外線 LED の点滅パターンに応じた画像の表示 . . . . . . . . . . . . . . . 9 3.5 スマートフォンでの AR アプリケーション開発 . . . . . . . . . . . . . . . . . . . 9 3.6 ビジネスプランの考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 課題解決のプロセス 11 4.1 概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 4.2 ソフトウエアに関する課題とその解決 . . . . . . . . . . . . . . . . . . . . . . . . 11 第4章 4.3 4.4 4.2.1 各課題に関する概要とプロジェクト内での位置づけ . . . . . . . . . . . . . 11 4.2.2 スマートフォンアプリケーションの作成 . . . . . . . . . . . . . . . . . . . 19 4.2.3 マーカー側のプログラミング . . . . . . . . . . . . . . . . . . . . . . . . . 20 ハードウェア . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.3.1 課題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.3.2 課題の解決方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 演出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.4.1 デモムービー制作の経緯 . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.4.2 デモムービーについて . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.4.3 AR お化け屋敷の演出について . . . . . . . . . . . . . . . . . . . . . . . . 33 4.4.4 動画の撮影、編集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 - iii - 4.5 4.6 4.7 第5章 ビジネスプランの考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.5.1 クリスマスツリーのイルミネーションを AR で作る . . . . . . . . . . . . . 36 4.5.2 マーカーのデザインと設置場所 . . . . . . . . . . . . . . . . . . . . . . . . 36 4.5.3 赤外線マーカーで 3D オブジェクトが表示できない場合 . . . . . . . . . . . 36 4.5.4 木に設置したマーカーは一方からしか見ることができない . . . . . . . . . . 36 展覧会に出品された作品の説明や会場案内に AR を使う . . . . . . . . . . . . . . 37 4.6.1 提供する情報 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.6.2 マーカーの設置箇所 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 マーカーを装着する案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.7.1 どこまで情報を開示するか . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.7.2 どのような装着方法をとるか . . . . . . . . . . . . . . . . . . . . . . . . . 38 結果 40 5.1 概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 5.2 ソフトウエアに関する結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 5.3 5.4 5.2.1 マーカー認識プログラム . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 5.2.2 アプリケーション . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 5.2.3 スマートフォンアプリケーション開発の結果と学習できたこと . . . . . . . 42 5.2.4 マーカー側のプログラミング . . . . . . . . . . . . . . . . . . . . . . . . . 43 ハードウェア . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 5.3.1 中間発表用デバイスについて . . . . . . . . . . . . . . . . . . . . . . . . . 43 5.3.2 アカデミックリンク発表用デバイスについて . . . . . . . . . . . . . . . . . 44 5.3.3 最終発表デモ用およびその他デバイスについて . . . . . . . . . . . . . . . . 44 演出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.4.1 最終発表用デモムービーの成果 . . . . . . . . . . . . . . . . . . . . . . . . 45 5.4.2 最終発表用デモムービーの課題 . . . . . . . . . . . . . . . . . . . . . . . . 48 5.5 ビジネスプランの考案の結果と学習できたこと . . . . . . . . . . . . . . . . . . . 49 5.6 担当分課題の評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.6.1 大御堂 尊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.6.2 深浦 竜馬 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.6.3 宮尾 怜 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.6.4 木村 健 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.6.5 長村 勝也 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.6.6 今村 優太 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 第6章 6.1 6.2 今後の課題 53 赤外線を用いることによるデメリット . . . . . . . . . . . . . . . . . . . . . . . . 53 6.1.1 認識可能角度に関して . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 6.1.2 赤外線の光点を信号とすることに関して . . . . . . . . . . . . . . . . . . . 54 6.1.3 観光地での適用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 6.1.4 iPhone アプリ化の障害 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 ハードウエア . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 6.2.1 耐水性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . - iv - 56 6.2.2 耐久性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 6.3 スマートフォン向けアプリ開発 . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 6.4 認識精度の向上 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 第7章 展望 58 第8章 プロジェクト全体としての管理体系及び活動報告 59 8.1 本章概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 8.2 プロジェクト全体の組織体系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 8.3 プロジェクトマネージメントの方法と評価 . . . . . . . . . . . . . . . . . . . . . 59 8.3.1 プロジェクトマネージメント概要 . . . . . . . . . . . . . . . . . . . . . . . 59 8.3.2 前期プロジェクトマネージメント . . . . . . . . . . . . . . . . . . . . . . . 61 8.3.3 後期プロジェクトマネージメント . . . . . . . . . . . . . . . . . . . . . . . 63 8.3.4 その他マネージメント . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 8.3.5 前期プロジェクトマネージメントと後期プロジェクトマネージメント比較 と評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 . . . . . . . . . . . . . . . . . . . . . 65 プロジェクト全体としての活動報告 . . . . . . . . . . . . . . . . . . . . . . . . . 66 8.3.6 8.4 プロジェクトマネージメントまとめ 8.4.1 年間スケジュール . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 8.4.2 通常活動 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 8.4.3 中間発表会 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 8.4.4 中間発表会及びその評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 8.4.5 函館アカデミックリンク . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 8.4.6 成果発表会 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 8.4.7 成果発表会及びその評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 付録 A 新規習得技術 73 付録 B 活用した講義 74 付録 C 相互評価 75 今村優太 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 C.1.1 大御堂尊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 C.1.2 木村健 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 C.1.3 長村勝也 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 C.1.4 深浦竜馬 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 C.1.5 宮尾怜 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 大御堂尊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 C.2.1 今村優太 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 C.2.2 木村健 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 C.2.3 長村勝也 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 C.2.4 深浦竜馬 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 C.2.5 宮尾怜 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 8.5 C.1 C.2 -v- C.3 C.4 C.5 C.6 付録 D 木村健 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 C.3.1 今村優太 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 C.3.2 大御堂尊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 C.3.3 長村勝也 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 C.3.4 深浦竜馬 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 C.3.5 宮尾怜 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 長村勝也 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 C.4.1 今村優太 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 C.4.2 大御堂尊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 C.4.3 木村健 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 C.4.4 深浦竜馬 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 C.4.5 宮尾怜 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 深浦竜馬 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 C.5.1 今村優太 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 C.5.2 大御堂尊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 C.5.3 木村健 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 C.5.4 長村勝也 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 C.5.5 宮尾怜 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 宮尾怜 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 C.6.1 今村優太 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 C.6.2 大御堂尊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 C.6.3 木村健 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 C.6.4 長村勝也 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 C.6.5 深浦竜馬 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 その他製作物 80 参考文献 81 - vi - The Proposal and Development of the Novel Technology with Augmented Reality 第1章 1.1 要約 プロジェクト・グループの目的 先の頁でも述べたが、本プロジェクトの目的は「AR」という技術を扱い、その技術の問題点を 取り上げて解決策を提案することにある。仮想物体(情報)を現実空間に何かしらの方法でディス プレイ上などの現実空間に合成することが視覚的 AR にあたるが、それには仮想物体をどこに表示 させれば良いかという指標が必要になる。現在、この指標は視覚的な記号などを頼りにした「マー カー」というものを用いる手法と(マーカーの定義は 4 章で後述)、それを用いないマーカーレス という手法がある。現在、AR においてはマーカーを用いる手法、ARToolKit というものが一般的 であり [1]、ニンテンドー 3DS に内蔵されている AR ゲームズ [2] などもその例である。 しかし、このマーカーは白や黒などを基調としたものであり、設置する場所によっては景観にな じまない可能性がある。また、何かしらの記号を読み取るという性質である以上、夜間や暗所での 使用も難しい。そこで、そういった条件下でもマーカーを用いた AR サービスが提供できるような システムの開発を目標とする。 (※文責: 大御堂尊) 1.2 目標 先述の目的を達成すべく、我々が解決策の手法としてあげたのが赤外線を用いることである。も ちろん、赤外線にも 3 章で後述するような問題点こそ存在するものの、前期の活動を通じ、中間発 表までに赤外線を用いたマーカーは紙マーカーの基本的な役割を果たすことが出来るということが 実証できたので、後期では、赤外線を利用することによる「環境になじむ」とはどういうことか、 またおよびそれを利用したサービス・デモンストレーションはどのようなものが効果的かを考える のに時間をかけ、前期で確立した技術に利用価値を持たせることが後期の目標となった。また、よ り普及させるべく手軽に扱えるようにするためには、情報提供側を PC でなくスマートフォンやモ バイル端末といったものにすることがあげられ、スマートフォン向けのアプリを開発することも後 期の目標の 1 つであったが、これに関しては第 3.5 節で述べる。 (※文責: 大御堂尊) 1.3 課題解決 前期では、黒い箱形のデバイスに赤外線 LED を 5 個取り付けたものをマーカーとして作成し、 このマーカー上の赤外線光を Web カメラを用いて PC 内部で読み、信号パターンを認識するとい う一連のシステムを作成した。後期ではこのデバイスをさらに小型化・軽量化することに成功し、 また画像処理のアルゴリズムを変更することで夜間・暗所での使用に主眼を置いた。また、これら のシステムを用いたデモンストレーションに関しては、ある一定の範囲内でマーカーを見つけなが ら探索するアドベンチャー形式のものを考案し、実際に被験者に協力してもらって実行した。 Group Report of 2011 SISP -1- Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality (※文責: 大御堂尊) 1.4 結果 後期の活動を通じて、マーカーとしては、ベニヤ版の外装に回路や赤外線 LED を埋め込んだも のを作成し、先述したアルゴリズムの改変にも成功した。マーカー側の、マイコンによる赤外線の 点滅制御はほぼ前期と同様のものをもちいることで信号を正しく表現することができた。これらを 用いた「お化けを探し出し、ゴールに向かう」という探索型ホラーアドベンチャーのデモを大学構 内で行ったところ (図 1.1)、被験者からは「怖い」「面白い」といった声が聞かれた。 (※文責: 大御堂尊) 図 1.1 段ボールに埋め込まれたマーカーによりお化けが表示される Group Report of 2011 SISP -2- Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 第2章 2.1 背景 拡張現実感の現状と従来例 拡張現実感(AugumentedReality)とは現実空間にコンピュータを用いて情報を付加する技術 のことである。この技術を用いて、コンピュータや携帯電話のディスプレイを通して見ることで現 実空間に 3D のオブジェクトや、文字を表示させることが可能である。例えば、スマートフォンの アプリケーションのセカイカメラは、スマートフォン内臓のカメラから得た映像にコメントや画像 などが表示される。他にも、 「ARToolKit」というコンピュータに繋がれた Web カメラから映像を 取得し、マーカー(図 2.1)にオブジェクトを表示するアプリケーションがある。 拡張現実感の技術を用いるにあたって、現実空間の座標の取得が重要である。それには様々な手 法がある。例えば、マーカーを用いた手法では、カメラから見えるマーカーの変形や縮尺の程度に よって、位置情報と角度を算出する。他にも、人工物などの角や縁などの特徴点から座標を算出す る手法、GPS と電子コンパスを用いた手法、無線 LAN の電波強度による手法など、多岐にわたっ て現実空間の座標を取得する方法がある。特にマーカーを用いた拡張現実感の技術は、マーカーを プリントアウトし先述の「ARToolKit」を利用すれば簡単に拡張現実感の技術を使用することがで きる。 (※文責: 木村健) 図 2.1 Group Report of 2011 SISP マーカー -3- Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 2.2 現状における問題点 しかし、第 2.1 節で挙げた座標取得の手法にはそれぞれ問題点がある。マーカーを使用しない マーカーレスの手法では、現実空間の座標を取得する精度があまり高くない。仮想オブジェクトや 文字を表示させても大幅にずれてしまうことなどがある。マーカーを使用した手法でも、マーカー レスの手法に比べれば非常に高い精度が期待できるが、図 2.1 のようなマーカーを使用した場合、 あまりにも目立ちすぎてしまうために周囲の環境との調和がとれず、マーカーを配置した際景観を 損ねてしまう場合がある。また、暗い場所ではマーカーを読み取ることができないためマーカーの 利用ができない。これらの問題によって、マーカーを設置する環境が制限されてしまうため、マー カーを用いた AR サービスの提供の場が狭まってしまう。 そこで本グループでは、従来の紙に印刷されたマーカーを配置するのが難しい、あるいは配置す ることによってデメリットが生じるような場所でも、高い精度を誇るマーカーによる AR サービス を提供するために、従来は AR サービスの提供が不可能だった暗所での利用が可能で、周囲の景観 を損ねることなく、様々な環境に対応が可能なマーカーの開発を行う。 (※文責: 木村健) 2.3 課題の概要 京都府の特定の地域では、目立つ看板を掲げることが景観条例で禁止されている。それは景観を 損ねてしまうために設けられた条例で、図 2.2 のように他の地域に比べ看板が目立たないような仕 様に変更されている。このように、景観を重視するような地域は、日本の中で多く存在する。これ は拡張現実感を用いる上でも同様のことが言えるのではないかと考えられる。そのため本グループ ではマーカーによって景観が損なわれてしまうのではないかという可能性を危惧した。また、暗い 場所ではマーカーが見えなくなってしまうため、AR サービスは明るい場所での利用に限られてし まっている。 そこで、本グループが目指すマーカーは、マーカーを設置しても周囲の環境の景観を崩さず、暗 所でも利用が可能なマーカーという従来の紙に印刷されたマーカーとは異質なマーカーを開発す る。そこでまず、中間発表では赤外線をマーカーとして利用できるかどうかを実証するため、赤外 線 LED を使ったマーカーを作成することにした。これに至った経緯は、まず赤外線は肉眼では見 えない、そのため景観を損ねることが無いのではないかと考えた。また、従来の紙に印刷された マーカーと異なりマーカー自らが光を発するので暗い場所でも AR サービスの提供が可能になる のではないかと考えた。 前期の中間発表で作成した赤外線マーカー(図 2.3)は大きく、外装の換装も容易にできるもの ではなかった。暗所での利用は可能であったが、これではあらゆる環境に対応することはできな い。そのため後期の最終発表では、様々な環境へと対応できるよう小型化、防水仕様を施すほか、 外装の換装を容易に可能にするなどマーカーの改良が必要であると考えた。また、プログラムの動 作も、トラッキングの精度やマーカーからの信号の受信などに難があったため、ソフトウェア面で Group Report of 2011 SISP -4- Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality も改良が必要となった。 (※文責: 木村健) 図 2.2 景観条例地域の看板 (左) 他の地域の看板 (右) 図 2.3 前期中間発表で作成した赤外線マーカー Group Report of 2011 SISP -5- Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 第 3 章 目標 3.1 赤外線をマーカーとして使用する AR を使用するに当たってマーカーは必要不可欠である。なぜ必要なのかというと、マーカーは オブジェクトの表示位置の座標を示すものであり、3D オブジェクトにとっては、表示オブジェク トの地面の役割を担っているからである。マーカーは紙媒体のものから電子的なものまである。本 グループは AR のマーカーとなりうるものをまず考察した。まず、紙媒体のマーカーに関して本 グループは「紙媒体のマーカーは環境になじまない」「観光地などに紙媒体のマーカーを置くのは 不自然である」という問題を挙げた。しかし紙媒体のマーカーは安価で大量生産出来る、また現実 空間にマーカーが存在するのでマーカーが認識し易いという利点がある。この利点を生かしてこ そ AR の普及になると考えた。そこから、紙媒体のマーカーと同じレベルで安価に大量生産できる マーカーの案を複数考えた。 そこで紙媒体のマーカーの代わりとなるマーカーとして、IC タグや GPS による位置座標を利 用したマーカーを考えた。IC タグは外見はバーコードのようなものから、カード型のものまでと 様々な外見を持っている。しかし、様々な外見を持つということは、AR のマーカーなのか、そ うではないのかの区別がつかなくなる問題がある。また、様々な外見を持っているということは、 様々なデバイスでの使用が想定されている。そのため IC タグ認識のためのシステム、デバイスの 製作に膨大な時間と労力がかかることが予想された。企業レベルでの IC タグの利用例は多く、社 会には IC タグを使ったサービスが充実している。実例の一つとしては駅の改札で使うことの出来 る Suica カードなどである。GPS による位置座標を利用したマーカーは、見えないマーカーであ る上に、場所そのものに電子情報をおくことになるので環境に馴染まないなどといった問題はな い。しかし GPS による位置座標が安定しないために、マーカーとしての有効範囲が数立方メート ルと、有効範囲が大きいという問題があった。これは、マーカーで表示した情報が特定の場所に表 示されず、マーカーの有効範囲内のどこかに表示されてしまうということである。これでは紙媒体 の利点である、マーカーの精度が高いという点に劣ってしまう。こういった問題が考察された中 で、デバイスは生産が安価であり認識精度の高い、現実空間になじんでいる、そして、現実空間に 存在しているのがわかるマーカーである必要があるという結論に至った。 このことから、本グループは、人の目では認識することが出来ない赤外線に目をつけた。赤外線 を発する赤外線 LED は安価であり、赤外線による信号の送信なら人の目では見えない。しかしな がら、暗所ではカメラなどを通せば赤外線は見える。紙媒体のマーカーと同じく現実空間にデバイ スをおくことにより、マーカーを認識しやすくできる可能性が高い。しかし赤外線は指向性がとて も強いために視野角が狭い。そのため、赤外線を受け取るデバイスと赤外線 LED を使用したマー カーの位置をほぼ真正面にしなければいけないという問題もある。だが、赤外線の指向性が強いと いうことは、それだけ光が正面に向かって長い距離見えるというメリットもある。 また、紙媒体のマーカーはマーカー一つに対して、システムのほうでマーカーに指定したオブ ジェクトを表示しなければいけないが、赤外線ならば送信信号のパターンを変えることで複数の マーカーの役割を一つのマーカーでこなせるのではないかと考えた。そういったことから、赤外線 を利用したマーカーの作成を目標とした。 Group Report of 2011 SISP -6- Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality (※文責: 宮尾怜) 赤外線の問題点 3.1.1 紙媒体のマーカーは非常に優れたものである。だが「環境になじむ」という点では優れていな い。赤外線マーカーにもメリットはあるが紙媒体のマーカーと比較すると、現段階ではデメリット が多い。赤外線マーカーが持つデメリットは、赤外線の指向性が非常に強く、マーカーを認識する ための視野角が狭い。そのために 3D オブジェクトなど、他方向から見ることを前提としているオ ブジェクトを見ることに困難である。明るい場所での外乱(日光、電灯の光、物体の反射光)に弱 く、屋外などでの使用に難しいといった点がある。 だが本グループはこれらの問題点を、新技術を用いて根本的に解決するのが目的ではない。これ らの問題点を踏まえつつ、紙媒体のマーカーと性能を比べた場合に各々の特長を生かした、別の マーカーとなりうるか。または紙媒体のマーカーの性能を超えることができるのかを検証しながら 赤外線マーカーをどれだけ実用的なものとして作るかを目標としている。 (※文責: 宮尾怜) 指向性 3.1.2 赤外線の指向性はとても強く、真正面からでないと赤外線 LED が点滅しているのを確認できな い。このために、様々な角度からマーカーを捉えることができないというのが赤外線のデメリット である。 指向性が強く視野角が狭いということは、3D オブジェクトを表示する際の地面が私たちからは 真正面からしか見えない。ようするに 3D オブジェクトを真上から見下ろすといった形になってし まう。これは赤外線マーカーが 3D オブジェクトの表示に向いていないということになる。3D オ ブジェクト自体の設定を、本来なら地面となる部分にオブジェクトの背面が来るように変えてしま うなどすれば、3D オブジェクトを正面から見るということは可能だが、それでは指向性の問題の 解決にはならない。 指向性については、赤外線を適度に拡散させることで、様々な角度からマーカーを認識できるよ うにすることが目標となる。同時に指向性を拡張すること以外で、赤外線の指向性の問題を解決す ることができる案を考察することも目標である。 (※文責: 宮尾怜) 3.2 赤外線マーカーの作成 発光デバイスを配置した環境に対して、web カメラを入力映像とした画像処理を行い、描画オブ ジェクトのカテゴリ選択を行うプログラムの開発を行った。プログラムは、単位時間ごとに入力さ れた映像から赤外線 LED の発光パターンの認識を行うものを目指した。 (※文責: 宮尾怜) Group Report of 2011 SISP -7- Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 3.2.1 目立たないことの定義 「景観を損ねない」というのは、人が見てもあからさまに不自然ではないものということを指 している。しかし、この不自然ではないという判断の基準は人により違う。マーカーをその場そ の場の環境にふさわしい、または不自然でないデザインにすることである。例えばレンガ調の街 並みにならば、レンガの材質のような外装のマーカーを作ることにより、街の「景観を損ねない」 マーカーとなりうる。「背景に溶け込む」というのは擬態に近いものであり、何気なく見ただけで はマーカーだと気づかないようにすることを指している。 これは、紙媒体のマーカーを壁に貼った場合、あからさまに「マーカーが壁に貼ってある」とわ かってしまい、AR サービスを受けるつもりが無い人にとっては、見た目を悪くしてしまうものと なる。見た目を悪くしないように、マーカーがドアの一部のように見えるデザインのマーカーにす る。このようにすることで AR サービスを受ける人は「こんなところにもマーカーがあった」とい う発見を、受けない人には「ただのドア」として見てもらえるようにできる。以上の条件を満たす 赤外線マーカーの作成を目標とした。 (※文責: 宮尾怜) 3.2.2 赤外線マーカーの認識システムの開発 紙媒体のマーカーは基本的にオブジェクトと 1 対 1 対応であり、マーカー 1 つに対して用意さ れたオブジェクトを表示するといった形式である。なので、他のオブジェクトを表示したい場合に は、システムでマーカーに対する表示オブジェクトの変更をしなければならない。しかし、マー カー自体が複数のオブジェクトの表示に対応しているならばこのようなことにはならない。そこで 本グループでは、一つのマーカーで複数パターンをつくり、1 対 1 対応ではなく 1 対複数となる マーカーの開発を目標とした。 (※文責: 宮尾怜) 3.3 トラッキングシステム マーカーをトラッキングする上でもっとも大切なのは、マーカー以外の情報を間違えてトラッキ ングしてしまわないようにすることである。特に本プロジェクトが扱う赤外線マーカーは外乱によ り受ける影響が大きいので、いかに外乱を含まずに赤外線マーカーだけを上手にトラッキングする のかが重要な達成目標となる。中間発表時点では黒い外装の赤外線マーカーを製作した。この赤外 線マーカーをトラッキングするシステムの内容は、黒い外装をトラッキングし、そのトラッキング した範囲内にある赤外線 LED の点滅パターンを読み取ることによって赤外線 LED をマーカーと して扱った。 中間発表では昼や明所を理想環境として作っていたが、後期では暗所での赤外線マーカーの使用 を想定したシステム開発を目標とした。暗所での使用ということで、前期のマーカーのように外装 をトラッキングするというシステムでは、暗所で外装の色を正確に認識できない場合に、システム が使えなくなってしまう。この問題を排除するためにマーカーのトラッキング方法の変更し、明所 と暗所の両方でも赤外線マーカーのトラッキングを可能にすること。赤外線 LED の点滅パターン Group Report of 2011 SISP -8- Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality の変更による、赤外線マーカーのトラッキング方法に変更がないかの考察。点滅パターンの判別方 法の改善、暗所で赤外線マーカーをトラッキングしやすくするための赤外線 LED の光量調節を後 期の目標とした。 (※文責: 宮尾怜) 3.4 マイコンプログラミングによる赤外線 LED 点滅のパターン 作成 紙媒体のマーカーは基本的にオブジェクトと 1 対 1 対応であり、マーカー 1 つに対して用意さ れたオブジェクトを表示するといった形式である。他のオブジェクトを表示したい場合には、シス テムでオブジェクトの変更をしなければならない。しかし、赤外線を利用したマーカーでは、赤外 線 LED を点滅させることで、複数のパターンを作ることができる。これが赤外線を利用したマー カーの特徴である。 1 つのマーカーに複数の役割を持たせるために、赤外線 LED の点滅パターンを複数用意するこ とで多くのオブジェクトの表示に対応したマーカーを作ることができる。しかし点滅パターンの数 が増えるほどに、点滅速度を認識できるカメラの用意やシステム側での処理の増加が考えられる。 このように、デバイス側の性能やシステムの動作を考えた上で赤外線 LED の点滅パターン数を考 えながら作る必要がある。 (※文責: 宮尾怜) 3.4.1 赤外線 LED の点滅パターンに応じた画像の表示 赤外線 LED の点滅パターンは赤外線 LED の数を増やせば、点滅パターンを増やすことができ る。点滅パターンが増えることにより、表示する画像の枚数に点滅パターン数が追いつかなくなる ということはないと考えた。しかし点滅パターンの数が多くなるということは、似たような点滅パ ターンが出てくることになる。そうなると、システムが誤認識してしまうようなパターンが含まれ ると、表示する画像が望んだものでない場合が増えてしまう。そのとき、システム側で誤認識しな いようにする。誤認識を防ぐことができるようにパターンを製作することが目標である。 (※文責: 宮尾怜) 3.5 スマートフォンでの AR アプリケーション開発 AR はこれからさらに発展していく技術だと本グループでは考えた。そこで AR の普及に必要な ものは何かと考えた結果、個人で簡単に所有できる技術で AR サービスを行う、といったことに なった。ここから本グループは、個人で簡単に AR サービスを受けられることができるものは何か と考えた。AR サービスを利用するに当たって、PC が画像処理などのシステムを動かすためのス ペックをもっとも満たしていると考えられ、もっとも有力な案だった。しかし、簡単に AR サービ スを扱え、しかも本グループは観光地などでの AR サービスを考えていたので PC を使うというこ とになると両手がふさがってしまううえに、PC 自体が重い、持ち運びに便利なサービスとはいえ ないということから、簡単に受けることができるサービスと言うことができなくなると考えた。 Group Report of 2011 SISP -9- Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality そこで、本グループはスマートフォンによる AR サービスの提供を考えた。スマートフォンなら ば、小型で軽量な上に持っている人数も少なくない。スマートフォンの有名なアプリケーションと して「セカイカメラ」というアプリケーションがあることから、スマートフォンでの AR サービス の提供は可能だと判断しスマートフォンによる AR を扱うアプリケーションの開発を行うことに した。アプリケーションの内容は、赤外線をマーカーとして認識させ、オブジェクトの表示をする という内容である。システムの内容は、システム開発担当者が作ったものをスマートフォンで可能 な限り再現をすることとなる。 (※文責: 宮尾怜) 3.6 ビジネスプランの考察 ビジネスプランの考察では、考えたビジネスプランを実現化することに目的があるわけではな い。ビジネスプランを考察することで、赤外線マーカーの使い道の例を示し、赤外線マーカーが他 のマーカーではできない可能性を紹介、示唆することが目的である。本グループの作った赤外線 マーカーをどのような場面で使用することで、赤外線という特徴を生かした使い方ができるのかを 考え、将来的にどういうアプローチで社会に AR を盛り込むことができるかということに重点を置 き、考察する。今現在社会に盛り込まれている AR は数が多くない。ゲーム機やスマートフォン のアプリケーションとして、とても狭い範囲だけで使用されているに過ぎない。このような問題を AR は持っている。 なぜこのような問題を解決できないのかを考えると、提供されている AR サービスはマーカーと マーカーを見てオブジェクトを表示させるデバイスが必要という特定の環境が揃わないと使用で きない。そしてその特定の環境の作りにくさが AR の普及を遅らせている原因ではないかと本グ ループは考えた。しかし、特定の環境の一つであるマーカーを見てオブジェクトを表示させるデバ イスが、スマートフォンの普及により解決されている。 そこで本グループでは、赤外線マーカーを利用したビジネスプランを考察することにした。これ は社会へのアプローチ方法を厳密に決めずに考察することで、単純なホビー製品としての見方から 日常生活に取り入れることによって生活を便利にしようとするものなどのように、自由な意見を出 すためである。しかし、実際に社会に出すものとして考えた際に、紙媒体のマーカーに赤外線マー カーが劣ってしまう結果となるアイディアはビジネスプランとして成り立たないものと考えて話し 合いをおこなった。ビジネスプランを考察することで、赤外線マーカーの使い道の例を示し、赤外 線マーカーが他のマーカーではできない可能性を紹介、示唆するのが目的である。 (※文責: 宮尾怜) Group Report of 2011 SISP - 10 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 第4章 4.1 課題解決のプロセス 概要 ここでは前提としてマーカーを「現実空間にオブジェクトを描画する際に、オブジェクトの位置 や、向き(見え方) 、オブジェクトのカテゴリを決定するために必要なもの」という概念とする。従 来の紙マーカーでは、その平面という特性を用い画像認識を行い、位置・向きといった幾何学的整 合性をサービスに持たせている。またカテゴリ決定に関しては、物理的に存在する紙マーカーの模 様パターンに依存せず、ソフトウエア側によってその決定が行われている。本グループで開発に取 り組む新型マーカーでは、この従来の紙マーカーの特性に加え、現実空間との調和をとれるという 特性を持ったマーカーとマーカー認識ソフトウエアの開発を目的としている。また、開発するマー カーを Sneaking Maker と名付けた。 実際に開発のためには大きく分けて2つのタスクが発生した。それは、赤外線光によって情報表 現を行い、その情報の認識によって表示オブジェクトに関する決定を行うソフトウエアの設計と実 装を行うというタスクが一つである。また、このタスクでは前提として現実空間の画像取得に web カメラを使用し、その取得画像を用いた画像認識を行っている。加えて、ソフトウエアのタスクに は、デモンストレーション用のアプリ開発も含まれており、活動としてはPC上でのコンソールア プリケーションとスマートフォンに対応したアプリケーションの開発を目指した。またもう一つの タスクとして、現実空間と調和をとりながら赤外線 LED の制御を行うための外装デザインと回路 設計を行うハードウエアの考案・製作というものがあげられる。本章ではこの 2 つについてソフト ウエアとハードウエアの順に課題解決について詳細を記述する。 また、本グループでは実際に作成した現実空間との調和をとれるマーカーデバイスとその認識プ ログラムを活かした、デモンストレーションの考察と製作・外部への発表準備に取り組んだ。実際 には、「AR お化け屋敷」と名付けた AR を用いたお化け屋敷タイプのデモンストレーションを製 作し、そのデモンストレーションのユーザの視点からのムービーを用意することで外部への発表に 備えた。このタスクに関しては第 4.4 節にて詳細を記述する。 また、本グループで開発を行った技術をもちいた社会への実用例についても考察を行った。ここ では、デモンストレーションで考えたものとは別のアプリケーションをたたき台として、実際に社 会にわれわれの考察した技術が実用されるあたって、表現する情報オブジェクトをどのような形に するか、マーカーの設置法をどうするかについて考えた。このタスクに関しては第 4.5 節にて詳細 を記述する。 (※文責: 深浦竜馬) 4.2 4.2.1 ソフトウエアに関する課題とその解決 各課題に関する概要とプロジェクト内での位置づけ ソフトウエアに関する活動では、大きく分けて Sneaking Maker 認識プログラムの製作と、デモ ンストレーション用アプリケーションの製作の2つがあった。 Group Report of 2011 SISP - 11 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality Sneaking Maker 認識プログラムの製作 紙マーカーとその認識プログラムによる、情報オブジェクトの表示位置、表示向き、表示カテ ゴリの決定に相当するソフトウエアとして以下の3つの考察・実装にあたった。まず Sneaking Maker による赤外線光を用いた情報表現である。次に web カメラを用いた画像認識を行うプログ ラム。最後に、赤外線光による情報表現に用いられる規則的な赤外線 LED の点滅の為のマイコン 制御プログラムである。実際の活動では、以下の項目に取り組んだ。 ・赤外線光による情報表現信号の考案 ・マイコンプログラムによる信号送信プログラムの作成 ・情報信号受信の画像認識プログラムの作成 ・信号認識の精度を高めるためのトラッキングプログラムの作成 また、情報オブジェクトの表示向きの決定プログラムに関しては活動期限の関係により、開発を中 断した。表示向きに相当するプログラムが完成に至らなかったため表示する情報オブジェクトが 2 次元画像に限られたが、その他の実装が完了したソフトウエアにより、Sneaking Maker をマー カーとして使用した AR の使用環境の構築に成功した。 デモンストレーション用アプリケーションの製作 上記 Sneaking Maker 認識プログラムを基礎技術として、それを用いた実用例製作を行った。 実際に、活動前半では Sneaking Maker からの送信された情報の認識により、表示する情報オブ ジェクトのカテゴリ決定に関して赤外線を現状存在する紙マーカーの代替としての使用が可能で あることを示す AR アプリケーションを制作した。実際には、現実空間内で web カメラを用いて Sneaking Maker を認識することによりユーザの作成した 2 次元画像を現実空間に重ね合わせて表 示する AR 掲示板の実装を行った。また活動後半では、現実空間との調和をとることが可能なマー カーを活かしたデモンストレーションというテーマを掲げその制作にあたった。実際には環境の中 に溶け込んでいる Sneaking Maker を捜索し、一定数を認識することによりゴールにたどり着ける という AR お化け屋敷や、成果発表会の説明ポスターの中に Sneaking Maker を隠し、読み込むこ とにより来客へのメッセージをパラパラ漫画風の表現法により表示するという Invisible Message がそれにあたる。 (※文責: 深浦竜馬) 4.2.1.1 Sneaking Maker 認識プログラム制作についての詳細と解決プロセス 赤外線による情報表現法 前提として情報の表現法には 2 進数を用いた。赤外線 LED の点灯を1、消灯を0とした。ま た、複数個の点滅状態に対しては例えば 4 つ赤外線 LED があった場合に対しては、0000、0001、 0010、・・・、1110、1111 と桁を増やして考えることにより情報を対応させた。 通年で 2 種類の情報表現方法を考案した。一つ目の方法は、Sneaking Maker の 5 つの赤外線 LED において中心 1 点をマーカー動作確認用の目印として、その他周囲 4 点を情報表現に用い るというもの(以下一つ目の方法を表現法 A とする)。また二つ目の方法は、中心 1 点の赤外線 LED を情報表現用に用い、周囲 4 点をマーカー動作確認用の目印としたものとなっている(以下 二つ目の方法を表現法 B とする) 。表現法 A と表現法 B の二つが考案されたのは、表現法 A では、 Sneaking Maker ないし web カメラの視界の回転によって、表現される情報が変わるという問題に Group Report of 2011 SISP - 12 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 対応しより汎用性の高いソフトウエアを目指した結果である。 表現法 A 初期に考案された、情報表現法。Sneaking Maker のサイコロの 5 の目の形に配置された赤外線 LED に対して、中心部の LED を Sneaking Maker が情報の表現を行っているかどうかの目印と し、点灯状態を情報の表現している状態とした。その他の 4 つの LED は各々の点滅により左上、 左下、右上、右下の順で0か1かの情報を表現し、一度の表現によって 16 パターンの情報を表現 することができる(図 4.1.a) 。しかしこの方法では、Sneaking Maker ないし web カメラの視界の 回転により上述にある左上、左下、右上、右下という概念が通じなくなり表現したい情報が変わっ てしまうことがある。また、画像内のどの範囲が左上、左下、右上、右下、中心に相当するかは後 述のトラッキングについての説明で言及する。 表現法 B 表現法 A の回転により発生する問題点解決するために考案された表現法。サイコロの 5 の目の 形に配置された赤外線 LED の、周囲 4 点の LED を Sneaking Maker が情報の表現を行っている かどうかの目印とし、点灯状態を情報の表現している状態とした。中心の一点のみによる情報表現 によって、回転による赤外線 LED の上下左右の入れ替わりに対応した。この方法では一度の表現 によって 2 パターンの情報表現が可能になっている(図 4.1.b) 。また画像内のどの範囲が中心に相 当するかは後述のトラッキングについての説明で言及する。 図 4.1 赤外線光による情報表現 赤外線光認識プログラムの開発 ここでは web カメラから取得した現実空間の画像内の赤外線光を判別するプログラムについて 記述する。赤外線 LED による情報表現を認識する処理として、web カメラからの取得画像内に 点灯状態の赤外線 LED が存在するか、また画像内のどの位置に存在するかを明確にするプログラ ムを開発した。実際の開発では、画像内の赤外線 LED の発光の大きさ、輝度の情報を用いること で、赤外線 LED の点灯状態を認識が可能であることがわかり、それらを特徴としてプログラムに 用いた。実際のアルゴリズムとしては現実空間の画像情報を白に近い値を白に、その他の値を黒に というように 2 値化処理を加え、その結果得られた画像の中から任意の大きさの白の画素の集合を LED の発光として認識するとものを実装した(図 4.2 )。 また、任意の大きさとは、今回用いた web カメラの解像度である 640pixel × 480pixel(幅×高さ) を基準とし、画像内でのある赤外線 LED の発光がもつ画素のおおよその数を表しており、現在のプログラムでは 5∼200pixel の集ま りとしていた。また、認識された赤外線 LED の画像内での位置は、画像を左上から走査し、一番 Group Report of 2011 SISP - 13 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 初めに見つかるその赤外線 LED の発光画素の位置とした。 図 4.2 赤外線光の認識フロー 複数情報表現の組み合わせによる信号とその認識 上述の情報表現法により表現された情報は、単体では、現実空間からのノイズに弱く、表現でき る情報量も限られるので、それらの問題点に対応した情報表現信号をそれぞれに作成した。また複 数回の組み合わせによる表現では、一回の情報表現の単位時間と、認識側での一回の認識の単位時 間の同期が必要であり、時間管理プログラムを作成した。以下で、表現法 A に対する情報表現信 号を信号 A、表現法 B に対する情報表現信号を信号 B とする。また、現実空間からのノイズとは、 上述の赤外線光認識プログラムにおける赤外線 LED の特徴と似た特徴をもった光をさす。また、 情報表現信号とは、ノイズと、表現したい情報とを差別化するために、独特の情報表現を組み合わ せた情報表現の集合である。 信号 A 表現法 A の説明より、信号 A では一回の情報表現により 0∼15 までの 16 通りの情報を表現す ることができた。また一回の情報表現の単位時間を 1 秒と設定し、認識ソフトウエアと対応させ た。そこで、ある1つのパターンを2回繰り返した後に、その1つ以外により構成される複数回の 情報表現を行い、情報を表現する方法をとった。つまり、信号の秒数(情報表現の回数)をnとし た場合、nを 3 以上として、15( n − 2) 通りの情報を表現できる。例えば、本グループが製作した AR 掲示板のアプリケーションでは信号の秒数は 4 秒であり、0110 というパターンを 2 回繰り返 した後に、表現したいパターンの表現を 2 回行い、実質 152 で 225 パターンの情報表現が可能な 信号となっている(図 4.3.a)。ここで、最初の 2 つのパターンを認識することから表現したい情報 の信号認識を開始することによって、現実空間のランダムなノイズによる情報の誤認識を防いでい る。 信号 B 表現法 B の説明より、信号 B では一回の情報表現により0と1の2パターンを表現することが 可能であった。また一回の情報表現の単位時間を 0.15 秒と設定し、認識ソフトウエアと対応させ た。こちらの信号では、表現したい情報量を 2n として、情報信号の開始を n 回の1と2回の0と いう信号の認識として、その後n回の情報表現を行い、その後0を表現するという形をとった。こ れは、信号 B が繰り返される中で情報表現のn回をどんなパターンの組み合わせにしようと、情 Group Report of 2011 SISP - 14 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 報信号の読み込み開始の条件を満たせる信号部分が情報信号部分とかぶることのない組み合わせと なっている。例えば、今回制作した AR お化け屋敷、Invisible Message のアプリケーションでは、 111100 という信号を情報信号の開始として、その後に 4 回の情報表現により情報信号を構成、そ の後に 0 を表現することで、1.65 秒単位で 16 通りの情報を表現する信号を制作した(図 4.3.b)。 図 4.3 信号の規則と認識時の状態遷移 画像認識でのノイズ軽減の工夫 発光体認識のみでは、web カメラより得られる取得画像全体に対して認識を行う必要があり、取 得画像内のノイズによる発光認識への悪影響があり誤認識の元となっていたため、取得画像内の注 目範囲を狭めることによるノイズの軽減を試みた。前期では、Sneaking Maker に黒い箱状の外装 を用いていたので、その箱をトラッキングすることによる注目範囲の決定プログラムを作成した。 後期では、表現法 B を導入したので周囲の 4 点の常時点灯赤外線 LED の認識による注目範囲の決 定プログラムを作成した。 黒箱トラッキング 前期制作にあたった Sneaking Maker に対するトラッキングについて説明する。黒い箱型の外装 (図 4.5)を用いたため、入力画像内の黒に近い値を黒に、その他の値を白にというように 2 値化 を行い、画像内での任意の大きさをもつ黒の画素の集合を外装として認識、その後、認識した画素 の座標より白の画素の集合を覆う四角形の領域を生成するというプログラムを製作した(図 4.4)。 また、今回作成したプログラムでは任意の大きさを 30000∼60000pixel としていた。また、表現 法 A における赤外線 LED の位置関係はトラッキングにより得た四角形の中で、発光体の認識を行 い、その際発見した LED の座標をもとに、ラベリングを行うことで決定した。ラベリングの規則 は、四角形の幅を width、高さを height という数値とし、座標の原点を四角形の左上隅と考えた 上で、幅が 0 から width ÷ 2 の区間において、高さが 0 から height × 3 ÷ 8 のものを 1 桁目の 発光、height × 5 ÷ 8 から height のものを 2 桁目の発光。さらに幅が width ÷ 2 から width の区間において、高さが 0 から height × 3 ÷ 8 のものを 3 桁目の発光、height × 5 ÷ 8 から Group Report of 2011 SISP - 15 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality height のものを 4 桁目の発光とした(図 4.5)。 図 4.4 黒い箱型の外装のトラッキング 図 4.5 表現法 A における黒箱トラッキングをもちいた赤外線 LED のラべリング 常時点灯赤外線 LED のトラッキング 表現法 B におけるトラッキング法。こちらは、黒い箱という目立つ外装に依存せず、背景になじ んだ状態の Sneaking Maker の信号認識補助ということで、常時点灯赤外線 LED を用いたトラッ キングを行った。実際には、web カメラからの取得画像の中で認識した赤外線 LED が 5 個以内で あった場合に、それらの位置座標から得られる四角形の範囲を情報送信赤外線 LED がの認識範囲 とするプログラムを作成した(図 4.6)。 マイコンによる赤外線 LED の制御 信号 A・B のように、ある単位時間に対して、複数回の情報表現のための赤外線 LED の制御が 必要とされたため、情報表現の単位時間と、情報表現の回数とその表現パターン、またそれらの組 み合わせにより生まれる信号の繰り返しを任意に設定できるプログラムを作成した。このプログラ ムを Sneaking Maker のマイコンに書き込むことにより、デモンストレーションや、そのアプリ ケーションの実験を行うための信号表現を可能にした。これに関しては第 4.2.3 節で後述する。 Group Report of 2011 SISP - 16 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 図 4.6 表現法 B における常時点灯赤外線 LED のトラッキングのフロー (※文責: 深浦竜馬) 4.2.1.2 アプリケーション についての詳細と解決プロセス アプリケーションの製作では、3 つのアプリケーションすべてにおいて web カメラによる取得 画像から第 4.2.1.1 節で記述してきた信号を認識するアルゴリズムを用いて Sneaking Maker から 任意の信号を受信し、その信号に合わせた2次元画像を取得画像上に表示するというプロセスがあ りその部分についてのプログラムの作成にあたった。また、画像の表示方法として、従来の AR の ように現実空間を画像内に残しながら、その上に情報オブジェクトを表示する為に、マスク処理を 行うことで2次元画像から表示したい部分のみを抽出し、取得画像上に表示するという処理を行っ た。また、パラパラ漫画的な情報オブジェクト表示の手法として、ある信号に対して、複数枚の表 示画像を用意し、それを時間の経過とともに任意の順番で表示していくというプログラムを作成 した。 信号に合わせた任意の情報オブジェクトの表示 アプリケーションでは、Sneaking Maker の送信する信号に対して、1枚から複数枚の対応する 2次元画像を用意し、それら信号を上述のアルゴリズムにより認識することで対応する情報オブ ジェクトを表示する(図 4.3)。例えば、信号が16通りのパターンを表現可能として、パターン 0に犬の画像、パターン1に猫の画像、それ以外のパターンには対応画像なしとすると、パターン 0の信号を読み込むことで犬の2次元画像を表示し、パターン1の信号を読み込むことで猫の2 次元画像を表示する。またこの場合、パターン0、パターン1以外のパターンの信号の認識に対し ては、何も表示されず、信号認識を続ける。また、用意する画像については 640pixel × 480pixel (幅×高さ)のものに統一した。これは開発に使用しているライブラリの仕様上、web カメラから 得られる取得画像 640pixel × 480pixel(幅×高さ)に対して、さらに画像を上から重ねる際に、 同一サイズのものでなければいけないという制限があったためである。また、取得画像の中で、あ る範囲に注目することで、その領域のみを画像書き換えするという方法で、640pixel × 480pixel (幅×高さ)以外の画像を表示することもできたが今回は使用しなかった。 Group Report of 2011 SISP - 17 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality マスク処理 前述の表示処理のみでは、web カメラからの取得画像に任意の 2 次元の情報オブジェクトを重ね ているだけであり臨場感に欠ける点があった。そこで、2 次元の情報オブジェクトの中から表示し たい部分のみを抽出し、取得画像と合成することによりその問題の解消を図った。実際のアルゴリ ズムとしては、前提として表示する 2 次元画像の中で、表示したい部分以外の部分を黒色として用 意する、そして 2 次元画像を黒色の部分は黒、それ以外の部分を白という 2 値化を行った画像を用 意して、取得画像・2 値化された表示画像・表示画像の間で、取得画像のある画素について、2 値 化された表示画像内で白と認識される座標にある表示画像の画素に書き換えるというものである。 またここでいう白とは色の 3 原色表現における RGB の値をそれぞれ 255,255,255 としたもの で、黒とは RGB の値をそれぞれ 0,0,0 としたものである。 パラパラ漫画的な情報オブジェクトの表示 2 次元画像を一時的に現実の画像に重ね合わせるだけでは本グループで行うデモンストレーショ ンの性質の一つにある臨場感をだすことができなかった。その解消法として、Sneaking Maker か らの一つの信号に対し、複数個の表示画像を用意し、それらを連続的に表示することで、パラパラ 漫画的な表現を行った。 AR 掲示板 システムはアプリケーションを起動すると web カメラからの映像がウィンドウに表示され、画 像認識により Sneaking Maker による信号を認識することで、ユーザが編集できる画像を表示する というものである。また情報画像の表示中にユーザが画像を編集するとその編集がリアルタイムで の表示画像にフィードバックする。リアルタイムでのフィードバックは、アプリケーション内で表 示する情報画像が存在するパスと画像編集ツールでの編集画像の保存先のパスを同一ものとするこ とによって実現した。 AR お化け屋敷 システムはアプリケーションを起動すると web カメラからの映像がウィンドウに表示され、画 像認識により Sneaking Maker による信号を認識することで、映像にパラパラ漫画的表現で情報オ ブジェクトを表示するというものである。また、デモンストレーション内では Sneaking Maker が 5 つ使用され、それらは各々独自の信号を持ち、任意の4つの信号を事前に認識することで、5 つ 目の信号を認識した場合の情報オブジェクトが変化するという状態遷移を行った。また、その状態 遷移が視覚化するために取得画像の右上に認識したマーカーの数を表示した。 Invisible Message システムは AR お化け屋敷と同一である。しかし、こちらではデモンストレーションでの Sneaking Maker の使用個数が 1 つだったため、複数個の信号の認識による状態遷移はない。 (※文責: 深浦竜馬) Group Report of 2011 SISP - 18 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 4.2.2 スマートフォンアプリケーションの作成 本グループではスマートフォンを使用した AR サービスのアプリケーション開発に取り組んだ。 iPhone では Objective-C 言語を使う。Android では JavaScript を使用するので両方を学習した。 この際 Objective-C 言語において、学習のための参考として Web サイトによる Objective-C 言 語の解説などを多用した。viva Cocoa / Objective-C 入門 [3] やサルにもできる iPhone アプリ の作り方 [4] を参考にした。JavaScript はとほほの JavaScript リファレンス [5] やマンガで分か る JavaScript プログラミング講座 [6] やゼロからわかる JavaScript 超入門-楽しいプログラミン グ-[7] を参考にして学習を行った。また JavaScript で Android のアプリケーションを作る際に Titanium Mobile を使用した。Titanium Mobile とは JavaScript で iPhone、Android ともにア プリケーションを作れるようにするために必要な Appcelerator が提供するソフトウェア開発環 境である。Titanium Mobile の導入方法や Titanium Mobile でのアプリケーションの開発方法は Titanium Mobile で開発する iPhone/Android アプリ [8] を参考にした。これらの開発環境と学 習環境を用いてスマートフォンアプリケーションの作成方法の学習を行った。 (※文責: 宮尾怜) 4.2.2.1 Objective-C 言語 Objective-C 言語の学習は主にプロジェクト前期に行った。開発環境導入の際に Xcode による Objective-C 入門 [9] と OS プログラミング入門-Objective-C+Xcode4 で学ぶ、iOS アプリ開発 の基礎-[10] を参考にした。まず Objective-C 言語は C 言語にオブジェクト指向を加えた言語なの で、プロジェクト学習開始から 6 月までは C 言語の復習をしつつ Objective-C 言語の学習を行っ ていた。このとき、同時に Cocoa という開発環境について学習した。Cocoa は API でありフレー ムワークで、アプリケーションを作る際にボタンデザイン、ウインドウ、ファイル入出力、テキス ト入力フィールドなどの構築に使用する。ここまでは参考にしたサイトのサンプルや解説を読み 解くことで Cocoa による簡易なデザインやボタンの配置などインターフェースの基礎的な部分を 作成することができた。これらの技術はアプリケーション作成時に、アプリケーションのインタ フェースに重大にかかわる部分で、マーカーのシステムは OpenCV で作成されていたため iPhone で OpenCV(2.2 以降) を使う [11] や iPhone & Android プログラミング記: iPhone で OpenCV を使えるようにする (1)[12] を参考して開発環境の導入を試みたが導入に失敗した。導入失敗の原 因は不明である。この iPhone で OpenCV を使える開発環境の導入の失敗により、非常に多くの 時間を割いてしまいアプリケーション開発の進行が遅れた。結果的には Objective-C 言語による アプリケーションの開発はできなかった。 (※文責: 宮尾怜) 4.2.2.2 Titanium Mobile と Javascript Titanium Mobile の開発環境導入と JavaScript の学習は後期の 10 月から始めた。Titanium Mobile は Mac OS と windows のどちらでも開発環境を導入することができる。Mac OS で導入 を行った場合のみ、iPhone でのアプリケーションの開発も JavaScript で可能となる。Windous で は Titanium Mobile を導入した場合でも iPhone のアプリケーションの開発は行えない。今回は iPhone でのアプリケーションの導入を考えて Mac OS で開発環境を整えることにした。Titanum Group Report of 2011 SISP - 19 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality Mobile でアプリケーションを開発する際に、Kitchen Sink という Titanium Mobile で作成され たアプリケーションのデザインやシステムのサンプル紹介ページがある。そこにあったアプリ ケーションのサンプルを基にアプリケーションのデザイン及びシステムの学習を行った。また、 Kitchen Sink のサンプル中に AR のマーカーを読み取っているものがあったことからアプリケー ションの開発が可能なのではないかと考えた。JavaScript の学習は 1 から 9 までの数字が書かれ た 3 つのリール止めるスロットゲームと、予定を書き込むことができるカレンダーをエミュレー ター上で動かすことができる程度まで学習した。また学習のために参考にした Titanium Mobile で開発する iPhone/Android アプリ [8] で紹介されていたアプリケーションも作成した。しかし、 JavaScript で作成したアプリケーションはメモリの開放を行えないということが発覚したために Titanium Mobile を使い JavaScript でソースを書いたアプリケーションは、リアルタイムで多く の画像や赤外線マーカーの読み取りに、メモリを多く使う AR サービスのアプリケーション作成は できないと判断した。 (※文責: 宮尾怜) 4.2.3 マーカー側のプログラミング 前期の段階では、5 つの赤外線 LED のうち、周囲 4 つを点滅、真ん中を常時点灯という発光パ ターンが求められ、後期では一転して周囲 4 つを常時点灯、真ん中を点滅という発光パターンが必 要であった。どちらも基本は同じことであるが、前期のアルゴリズムの方が煩雑であり、後期では 前期で作成したものを変更することで対応できた。 (※文責: 大御堂尊) 赤外線 LED 5 つの赤外線 LED に関しては、後述する H8/3069F というマイコンの足、P40∼P44 の 5 本の ピンにそれぞれ 1 つずつ繋がっている (図 4.7 参照)。このとき、直接赤外線 LED にマイコンから 電圧をかけるのではなく、後述するようにノイズを減らすような回路設計がなされている。これ は、赤外線 LED は今回、ミリ秒単位で点灯・消灯を繰り返すため、ノイズがあると誤認識の原因 となりかねないからである。 (※文責: 大御堂尊) タイマーによるループ 今回使用するマイコンにはクリスタル発振子によるクロックが内蔵されており、非常に正確に時 間を刻むことが出来る。システムを構築するにあたって、ある単位時間ごとに点滅パターンを指定 された場合、ほぼ誤差無くその時間通りに点灯か消灯かを実行する必要があるため、このクリスタ ル発振子のクロックを用いたタイマーという機能を利用する。基本的にある点滅パターンが欲しい となった場合、そのパターン通りに点滅・消灯するといったことを繰り返すものなので、このタイ マーを元にした意図的な無限ループを組み、マイコン動作中は指定された発光パターンを常に繰り 返すようにする。 (※文責: 大御堂尊) Group Report of 2011 SISP - 20 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 前期のアルゴリズム 具体的なアルゴリズムとしては、前期のものは四隅の赤外線 LED に関して左上を 1 桁目、左下 を 2 桁目、右上を 3 桁目、右下を 4 桁目とし (図 4.1a)、それぞれの点灯を 1、消灯を 0 とすること で 0000∼1111 の 16 パターンあることがわかる。ここから、0000 を 0、1111 を F として 16 進数 に当てはめ、点灯させたいパターンを指定してもらうという流れである。ある入力信号を定め (今 回は 0110 なので 6、これが 2 回来る 66 が入力信号。図 4.3a 参照)、その後に内容を示す信号が 2 回くるので、マーカー側としては 4 回分信号を変化させればよいわけである。そこで、まずマクロ 変数を 4 つ用意し、そこに 1 つあたり 0∼F のパターンを指定してもらうという形式を取った。そ してこの 0∼F のパターン 1 つ 1 つに対して赤外線 LED の点灯・消灯を場合分けしておく。 if(Pattern == 6){ led1 = off; led2 = on; led3 = on; led4 = off; } といった具合である。この判断をマクロ変数 1 つごとに行っているのである。また、信号の速度も 指定してもらい、指定された時間ごとに先ほどのタイマーを用いて信号を変化させていくといった 仕組みである。これらの処理を 4 回行ったらまた 1 つ目の信号を表示する、といったことを無限 ループにより繰り返している。以上が前期のアルゴリズムである。 (※文責: 大御堂尊) 後期のアルゴリズム 続いて後期のアルゴリズムだが、これは先述したとおり前期のものを改変することで対応でき た。これは、前期では 4 個の赤外線 LED がバラバラに点滅していたため、16 パターンになる点滅 パターンの場合分けが必要であったが、後期は点滅する赤外線 LED は 1 つだけだからである。そ こで、1 回あたりの信号パターンは今回は真ん中が点灯している場合を 1、消灯している場合は 0 の 2 パターンとした。しかし、繰り返しの仕方が異なり、前期は信号変化は 4 回であったが、後期 は 11 回に増加した。これは信号のパターンが図 4.3b のように、入力信号が 111000 の 6 回、内容 信号が 4 回、終端信号が 1 回という構成になっているためである。これに対応するため、アルゴリ ズムとしては、マクロ変数を 11 個用意し、それぞれ 1 か 0 かを指定してもらうというものとした。 前期同様信号の速度も指定してもらい、指定された単位時間ごとに 0 か 1 かを判断し、0 なら真ん 中を消灯、1 なら真ん中を点灯、という処理を繰り返している。 (※文責: 大御堂尊) シリアル通信 しかし、上記の処理のみだと、信号パターンや信号の速度を変えたくなった場合にその都度マイ コンにアクセスして、いちいちソースコード、具体的にはマクロ変数を書き換える必要がある。そ こで、画像処理班が開発を円滑に進めることが出来るよう、ハイパーターミナルやテラタームなど を用いてシリアル通信を行えるようにした。その結果、ソースコードを書き換えずともマイコンと Group Report of 2011 SISP - 21 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 接続された PC 上で信号パターンや信号速度を指定できるようになった。 (※文責: 大御堂尊) 4.3 4.3.1 ハードウェア 課題設定 本グループでは、AR で位置関係を判断するために簡単な記号を紙に印刷するなどして用いられ るマーカーを赤外線で代用することが可能なのかを調べる必要があった。また、マーカーの代用が 可能であれば情報を送信するにはどのような形である必要があるか、赤外線 LED をどのように配 置する必要があるか、赤外線 LED はどうやって制御を行うかといった複数の課題が持ち上がった。 前期と後期の課題は以下のとおりである。 ○ 赤外線 LED の制御法の考案と製作 ○ 実験用の赤色 LED を用いた簡易デバイスの作成 ○ 赤外線 LED の指向性が強い点の改善案と試験製作 ○ 中間発表用デバイスの製作 ○ 赤外線 LED 点滅制御回路の小型化 ○ アカデミックリンク発表用デバイスの製作 ○ デバイスのユニット化 ○ 外装の考案と製作(後期) ○ 赤外線 LED の遠距離認識法の考案と製作 ○ デバイスの防水加工 ○ ポスター型デバイスの製作 (※文責: 長村勝也) 4.3.2 課題の解決方法 赤外線 LED の制御法の考案と開発 ○制御方法考案 はじめに、赤外線 LED をどういった方法を用いて制御するのがよいかの考察を行った。 その結果、我々は講義において組み込みソフトウェアを学ぶためにマイコンキューブというマ イコンを搭載した組み込みシステムを扱っていた経験があり、これを利用して効率よく開発を進 めることが可能であることから、マイコンキューブに搭載されているマイクロコンピューター H8/3069F を搭載した AKI のマイコンボードをデバイスへ搭載することとなった。 ○回路構成について スイッチング回路に用いる FET は大電流を用いる可能性を考慮してモーターの H ブリッジ回路 にも用いられるパワー MOSFET2SJ380 を使用する構成で設計した。 Group Report of 2011 SISP - 22 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 回路の小型化のため、ヒューズを挿まずに回路を構成したため、あらかじめ赤外線 LED 用の電 源に 1900 m A という大電流をもった水素充電池のエネループを用いる際にも回路が焼けるといっ たエラーの発生確率を減らすように設計を行った。 (※文責: 長村勝也) 図 4.7 設計した回路 実験用の赤色 LED を用いた簡易デバイスの作成 ○なぜ必要か マイコンプログラミングと、発光パターン認識ソフト側でのトラッキング等の実験を行うため、 完成予定のデバイスと同等の機能を備えた簡易的な実験機の製作を行った。 ○回路について 実験のために点灯消灯が分かりやすいよう、赤色 LED を用いたものと、赤外線 LED を用いた ものの 2 種類を製作した。 制御には、マイコンキューブのマイコンボード部分をお借りし、ブレットボードという回路素子 を半田付けせずに接続でき、試験的に回路を作れる装置にトランジスタ 2SC1815 を用いたスイッ チング回路を組み、マイコンボードとケーブルで接続することで実験用のデバイスとした。 この実験機のスイッチング回路には、ノイズ除去のためにプルダウン回路と呼ばれるマイコンか らの信号が来ない限り、0 信号(0V)を出力し続ける回路を組み込んだ。 このプルダウン回路がない場合でも、赤色 LED は点灯と点滅を行うことができたが、マイコン からの信号が 0 から 1 へ切り替わるとき、または、1 から 0 へ切り替わる祭に、ノイズによるもの と思われる発光ダイオードのちらつきが確認できたため搭載したものである。これはオシロスコー プを用いた実験の結果から、ノイズ除去が正常に行えていることが確認できたため、中間発表用の 回路にも搭載された。 (※文責: 長村勝也) Group Report of 2011 SISP - 23 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 図 4.8 開発した実験機 赤外線 LED の指向性が強い点の改善案と試験製作 ○問題点 赤外線マーカーに使用する高輝度赤外線 LED は、正面の 15 度が最も強く光る角度とかなり高 い指向性を持っており、このためにカメラが赤外線 LED に対して一直線上になければうまくとら えることができないという問題が発生した。 ○解決法 この問題を解決するために解決法が 2 つ考案された。1 つの方法は、10 個から 20 個の赤外 線 LED をまとめ、それぞれを異なった方向へ向けることで、視野角を擬似的に広げようというも のであり、この方法を用いることで得られるメリットは、どの方向からでも赤外線 LED の発光を 確認できることで、デメリットは1つの赤外線 LED の集合が綺麗な点で表示できないこと、電力 を並列に複数の赤外線 LED へ供給することとなるので、1 つあたりの光度が低下してしまい、電 力の消費量も増大してしまうことにあった。2 つ目の方法は、少々強引な方法ではあるが、赤外線 LED を損傷させないために取り付けている保護抵抗の抵抗値を適正値から少し下げることで光度 を上げて見えるようにするというものであり、この方法によって得られるメリットは、デバイスの 小型化が行い易く赤外線 LED の使用個数を減らすことができる点、デメリットは赤外線 LED を 保護する能力が低下しているため、赤外線 LED の寿命が縮んでしまうこと、光度が強くなってい るためにカメラで本来の視野角外でも捉えることができるが、遠距離まで離れると結局は捕らえる ことが難しい点である。 Group Report of 2011 SISP - 24 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality それぞれのメリットデメリットを把握した上で検討した結果、最終的にデバイスの巨大化の可能 性がある 1 つ目の方法はとらないこととし、2 つ目の方法をとることとなった。これらの対策案と 対処は、前期に行った活動であり、同第 4.3.2 節の「赤外線 LED の遠距離認識法の考案と製作」に 後期に行った指向性問題の課題解決プロセスを記載している。 (※文責: 長村勝也) 中間発表用デバイスの製作 ○サイズについて 中間発表では AR で位置関係を判断するために簡単な記号を紙に印刷するなどして用いられる マーカーを赤外線で代用することが可能なのかを証明することに重点を置くこととなったため、デ バイスは赤外線 LED の発光がくっきりと見えるよう、大きなサイズで製作することとなった。 試験運用である部分が多く存在したため、ブレットボードをデバイスに内蔵する形でデバイスを 作成した。 ○製作 ブレットボードにあわせて、黒いスチロールをプラスチック専用のカッターを用いて切り出し、 新型マーカー開発班メンバーの一人が個人的に所有していた電動ドリルを使ってねじ穴を開け 3 方 金具と呼ばれる 3 方向に固定用のねじ穴を持った金具を用いることで、箱型にした。 赤外線 LED が直径 5mm の仕様だったため外装に 5 点の穴を 5mm のドリルで開けた。 「同 4.3.2 節 赤外線 LED の指向性が強い点の改善案と試験製作」で述べたように、保護抵抗の抵 抗値を下げた上に高電流を流すため、赤外線 LED の寿命は確実に下がる。そのため、赤外線 LED は外装にあけた穴に押し込み、完全に固定せずにいつでも交換が可能なようにコネクターで接続 を行った。また、制御には、実験機で用いていたマイコンキューブではなく、H8/3069F を用いた AKI のマイコンボードを接続した。 中間発表用デバイスは、上記で述べたようにブレットボードを内蔵しているため、回路素子が焼 けた場合や、回路の変更が必要になった場合にも瞬時に修理や回路の組みなおしといった対応をと ることが可能である反面、本来ブレットボードで組んだものをそのまま使うことなど想定されて いないので、とても慎重に扱わなければならない。しかしながら、どれだけ慎重に扱ったとしても 回路素子が抜けるといったアクシデントが発生するので、中間発表用のデバイスの外装と内部回 路および電源部分は、2 点のみで固定し、その 2 点も完全には固定せず緩めておいてダブルナット (ナットを上下に 2 つ重ねて使うこと、ナットの間に軸力が働き、ナット緩み防止といった効果が あり、今回はナットにネジの隙間を維持する役割である)を行うことで、蝶番の役割を持たせて外 装を開いて内部をすぐに確認できるように製作した。 回路の構成上、赤外線 LED 用の電源と、マイコン動作用の電源が別々に存在するため、外装に は 2 つのトグルスイッチがついており、回路だけ、赤外線 LED だけといったような起動が可能な ようにした。 (赤外線 LED のみの起動では全 LED が点灯状態になるが制御されていないので点灯 するだけである。) このときのシステムでは、マーカーを赤外線で代用することが可能なのかを証明することに重点 Group Report of 2011 SISP - 25 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality を置いていたため、デバイスの色である黒をトラッキングしていた。そのために外装に光沢がなく 黒いものを選んだのだが、光沢がなくとも太陽光や照明の光を反射してしまうという事態が起こっ た。そのため、つや消しのラッカースプレーを用いて光沢をなくす作業を行った。 (※文責: 長村勝也) 図 4.9 中間発表用デバイス 赤外線 LED 点滅制御回路の小型化 ○小型化の方法 中間発表用デバイスはブレットボードを内蔵していたため、かなり大きなものとなってしまっ ていた。これを解消するために、片面だけに銅箔のついたユニバーサル基盤(ユニバーサル基盤と は、あらかじめ等間隔に穴が空けられていて、その穴に銅箔がついたもの。電子部品をさしてハン ダ付けができる。)を用いて小さな回路に仕上げようと考えた。 ○問題点 ユニバーサル基板上にスイッチング回路用の回路素子を並べ、どのように配置すればデバックが 行い易いか、最小限の配線で済ませることができるかを考え、回路素子の足ピンを曲げ逆様にして も落ちないように仮固定する。その後半田付けを行うのだが、設計で赤外線 LED の先をユニバー サル基盤に搭載されたマイコンよりも高い位置に持ってくる必要があったため(外装の外に赤外線 LED を少し出すため)赤外線 LED をしっかり根元まで刺す事ができず、足ピンの端で固定しなけ ればならなかった。このとき使っていた片面だけに銅箔のついたユニバーサル基盤は銅箔が非常に 剥がれ易く、赤外線 LED を上記の方法で固定すると簡単に剥がれてしまう。 Group Report of 2011 SISP - 26 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality ○解決法 この問題を解決するため、スルーホールユニバーサル基盤と呼ばれる回路素子の端子を通す穴の 内壁にメッキが施されていることで、より強固に回路素子を半田付けで固定することができる基盤 で回路を製作しなおすことで赤外線 LED をしっかりと固定した。 ○エラーや構成変更の対策 今回の回路では、電源の入れっぱなしで放置してしまうといったミスを防止するためにマイコン 起動確認用の赤色 LED を搭載し、マイコン電源から赤色 LED へ給電することで、マイコンの電 源が入っている場合に赤色 LED が光るように回路を構成した。また、急システムの変更も考えら れる事から、5 つの LED はすべて点灯点滅が可能なようにスイッチング回路で制御を行うように 設計されている。 (※文責: 長村勝也) アカデミックリンク発表用デバイスの製作 ○問題点 アカデミックリンク発表用のデバイス(以下 2 号機と呼ぶ)は、中間発表用デバイスよりも大幅 に小型化してしまうため、複数の問題点があった。 1 つ目は電源の位置である。中間発表機には大きな見た目どおりに内部にも余裕のある空間が あった。しかしながら、2 号機は小型化した赤外線 LED 点滅制御回路が、ぴったり収まるサイズ で製作しようと考えていたのだが、電源の位置によってはデバイスが大きくなってしまう点。2 つ 目は、中間発表用デバイスに用いた H8/3069F を搭載した AKI のマイコンボードにはプログラム を書き込むための端子があるのだが、この端子は小型化した赤外線 LED 点滅制御回路で赤外線 LED と同じ方向(電池がある方向とは逆)に存在しているため、赤外線 LED 側の外装を取り外せ るようにしなければならない。 ○解決法 1 つ目の問題に関しては、幅と高さはそのままにデバイスに厚みを持たせ背後に電池ケースを取 り付けることで、電池交換が行いやすいようにし、正面からの見た目ではそれほど大きく感じない よう設計した。2 つ目の問題に関しては、中間発表用デバイスと同じように外装には LED のサイ ズに合わせた穴を開けはめ込むだけの状態で、マジックテープで取り外しができるように固定し た。 サイズを小さくするため、本来の用途では回路上での切り替え等に用いられるディップスイッチ を赤外線 LED 電源とマイコン電源の起動用に接続した。 (※文責: 長村勝也) Group Report of 2011 SISP - 27 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 図 4.10 アカデミックリンク発表用デバイス デバイスのユニット化 ○なぜ必要か 最終報告のデモを行うためのデバイスは、デモの演出の関係から 10 機を必要とした。そのため、 デバイスが壊れた際の修繕や改善を効率よく行うために赤外線 LED 点滅制御回路をユニット化す ることとした。具体的には、回路の配線や回路素子の位置を同じように合わせたものを製作するこ とで1つを変更したとき、他のデバイスのどこを変えればいいかがわかりやすくするというもので ある。 ○問題点 赤外線 LED 点滅制御回路の小型化を行ったときに問題となった点があった。それは、赤外線 LED の位置である。マイコンと同じ基板上に赤外線 LED があるのでは、外装を取り付ける関係 上、マイコンよりも高い位置に赤外線 LED が来なくてはならないため、LED の足ピンを端ぎり ぎりで固定するか、配線で伸ばすかといった方法をとらなくてはならない。このどちらかの方法を 用いれば小型化することはできるが、赤外線 LED の交換や他の外装に置き換えるといった事が難 しい。外装を置き換える事ができないのでは、本グループの目的の一部である、環境に馴染むマー Group Report of 2011 SISP - 28 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality カーデバイスの製作を達成する事ができない。 この問題を解決し、回路設計をやり直すことで外装の交換を容易にする必要があった。 ○解決法 この問題を解決するに当たり、マイコンとスイッチング回路を基盤 1、赤外線 LED のみを乗せ た回路を基盤 2 といったように 2 つに分けてケーブルで繋ぐ事で、基盤 2 の赤外線 LED がはまる ように穴が開いていればどんなものでもデバイス化できるようになった。また、どちらかが壊れて も、故障したどちらか片方を入れ替えればすぐに復旧できるよう改良した。 ○デメリットと補足 上記解決法を用いると、外装を交換しやすいユニットを作ることができるが、基盤 1 と電源をど こかに固定する必要があるため、ある程度の大きさが必要となってしまう。 このデバイスの小型化に関しては、電源を小型のもので代用することで更なる小型化が可能であ る事がわかっていた。今回は、小型のバッテリーが非常に高価である点、ボタン電池を使用すると 出力が大幅に低下してしまう点などから見送った。 (※文責: 長村勝也) 外装の考案と製作(後期) ○外装の形状について 最終発表の初期予定では、日本家屋に馴染むデバイスが必要だったため、デバイスの外装案とし て灯篭のような形、中間発表と同じ四角い形といったものが提案された。灯篭のような形は、赤外 線 LED を内蔵する場所に困ってしまう。また障子を貼った場合に、白い色が赤外線 LED の発光 を乱反射してしまう恐れがあったため、最終発表用の外装の形状は中間発表と同じように四角いも のとなった。しかし、日本家屋にプラスチック製の箱が合ったのでは目立ってしまうので、材質は 木材を使用し、切り出したパーツを釘と木工ボンドを使って箱型へ成形した。 ○修正点 外装には 2 回路 2 接点のトグルスイッチ(1 度に 2 つの回路のスイッチを入れたりきったりでき るスイッチ)を取り付けることで、マイコン電源と赤外線 LED を同時に起動できるようにした。 これは、中間発表用デバイスで起こった問題を解決するためである。中間発表用デバイスではマイ コン電源と赤外線 LED 電源のそれぞれにスイッチがあった。これは、プログラムを書き込むだけ に起動するときや、赤外線 LED の点灯確認をするときには便利だが、発表時に片方だけを付け忘 れる、片方だけを切り忘れるといった問題が起こった。こういった問題を避けるために、スイッチ 1 つでマイコンと赤外線 LED の両方に電源が入るように設計しなおした。 ○補足 ここで製作した外装は、あくまで最終発表の初期予定であった日本家屋でのデモに特化したもの であり、内部のユニットさえ入るスペースがあれば、紙袋にもダンボールにも収める事ができる。 これを利用して本番のデモ撮影では、紙袋や段ボール箱に穴を開け、環境に馴染んだマーカーを表 Group Report of 2011 SISP - 29 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 現した。 (※文責: 長村勝也) 図 4.11 環境に馴染んだマーカー 赤外線 LED の遠距離認識法の考案と製作 ○問題点 中間発表用と 2 号機に共通して問題があった点が、指向性が高すぎることである。この問題は、 赤外線 LED の保護抵抗を低下させた事で光度が増し、緩和されてはいたのだが、完璧に改善でき たわけではなかった。 この問題が遠距離からデバイスを見るときに、それぞれの赤外線 LED の見える位置が、どれか の赤外線 LED に合わせると他のどれかが見えなくなってしまうといった事態を引き起こしてし まっていた。 ○解決法 見える角度を拡張するために、光を反射する筒で LED を包む方法、LED を複数並べて少しずつ 角度を変えていき見える範囲を拡張する方法といった 2 つの案が持ち上がった。それぞれ、赤外線 LED を並べるものはブレッドボード上で、光を反射する筒は紙とアルミホイルを使って試験的に 製作した。 赤外線 LED を並べる案では、LED1 つあたりの出力が低下してしまうことなどから、光を反射 する筒(以降「拡散ミラー」と記載)を製作することとなった。実験段階では拡散ミラーを紙とア ルミホイルで製作した。最終発表用の外装に内蔵するためには、紙では強度に少々不安点が残る。 紙では一度固定すると取り外さなくてはいけなくなった際、固定方法にグルーガンを用いること を想定していたため、拡散ミラーを破壊しなければ取り外せない。そこで、ホースを用いて拡散ミ ラーを製作することとした。ホースを切り開き内部にアルミテープを貼り付けた。これはアルミホ イルでは満遍なく貼り付けることが難しいためである。その後、周辺をビニールテープで巻くこと Group Report of 2011 SISP - 30 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality で固定した。これを 5 つ製作し、基盤 2 の内の 1 つにこれを固定した。 ○結果 これにより、赤外線 LED そのものの光度が上昇したわけではないが、拡散することで見ること のできる角度が増えた。赤外線 LED の光の届く距離に関しては、拡散したことで短くなってし まった。しかしながら、遠距離から見たときに少しでも位置がずれただけで見えないといった事態 よりも、見える角度の拡張を優先することとした。 (※文責: 長村勝也) デバイスの防水加工 ○なぜ必要か 環境に馴染むということは、環境に適用しなくてはいけないということでもある。そのため、屋 外での使用や水気のあるところでの使用を考慮しておくべきだと考えた。あくまで、防水加工をし た上で使用することも可能であるということを証明するために行うので、簡単な生活防水を行うこ ととした。内部に気圧をかける防水方法は設備が必要なので、今回は行わなかった。 ○製作 生活防水は 2 号機を改造することで行い、マジックテープなどで固定していたものをすべてネジ 止めに変更し、内部へ水の浸入を許さないようグルーガンを用いて密閉を行った。 外装に存在する隙間はもちろん、ネジ止めを下部分や赤外線 LED の固定にいたるまで密閉を 行ったのだが、このデバイスは完全に密閉してしまったので、これ以降の電池交換やプログラムの 書き換えを行うにはボンドをはがさなくてはいけなくなり、メンテナンスにおいては少々難を残す 形となった。 (※文責: 長村勝也) ポスター型デバイスの製作 ○なぜ製作するのか 予定では最終発表で日本家屋に馴染むために製作した外装をユニットにつけて見に来た方々に見 てもらうはずだったのだが、日本家屋に馴染む外装は、2 号機と比べ回路と電池を楽に積むために 幅、高さ、厚みが大きく増えてしまっていた。中間発表用ほど大きくはないものの、これでは見栄 えが悪いし結局学校という環境においてしまうと、環境に馴染んでいたのかがわからなくなってし まう。そこで発表時に環境に馴染んだマーカー、一目見ただけではマーカーとはわからないものを 製作することとなった。 ○製作 デバイスをユニット化したことによって、様々なものに搭載することが可能となっていた。最終 発表用のデバイス外装は取替えが可能であり、赤外線 LED がはめ込める穴さえあれば、何にでも 搭載できる。我々は、ポスターの一枚をケースに入れずにプラスチックダンボールに貼り付けるこ とで固定し、ポスターに描かれたデバイスのイメージ図の LED を表した点の部分に穴を開け、そ Group Report of 2011 SISP - 31 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality こに赤外線 LED を搭載した基盤 2 を差し込んだ。 ポスターの裏には電源とマイコン等を乗せた基盤 1 を貼り付けた。 (※文責: 長村勝也) 4.4 4.4.1 演出 デモムービー制作の経緯 本グループが開発した新型マーカー(Sneaking Marker)の特性上、最終発表の場での実演では Sneaking Marker の有用性をうまく伝えることができないと考えた。最終発表の場では Sneaking Marker が持つ「周囲の環境に馴染む」ことや、「暗い場所でも使用が可能」であることを活かした 見せ方を示すことができないためである。Sneaking Marker はそれ自体がマーカーとして機能す ることが特性ではなく、従来の紙に印刷されたマーカーと異なり、Sneaking Marker は配置しても 周囲の景観を損ねることなく、AR サービスを受けられるというマーカーなので、マーカー自体が 拡張現実感の技術を実現することよりもマーカーがこっそり配置されていることが重要であると考 えた。そこで本グループは、開発した Sneaking Marker の有用性をより分かりやすく、より多く の人に理解してもらうために、現実空間で Sneaking Marker を使用するアトラクションのような ものを考え、その様子を撮影したデモムービーを作ることを決定した。 Sneaking Marker の有用性には、「周囲の環境に馴染む」、「暗い場所でも利用が可能」の他に、 「不意に AR のサービスを受けられる」というものがあり、従来の紙に印刷されたマーカーと異 なって本来そこにあるはずのないものが見られることや、偶然にお金を拾ったときに得られる喜び のような突発的なイベントを AR によって実現することができる。AR を用いたお化け屋敷のよう なものならば、これらの有用性を活かして使用することができるのではないかと考えた。 (※文責: 木村健) 4.4.2 デモムービーについて 本グループが開発した Sneaking Marker は周囲の環境に馴染む、また暗い場所でも使用できる ことを利用して、隠れたマーカーを探しだして目標(ゴール)を目指すというアミューズメント性 のある催し物をプレイしている様子を撮影したデモムービーを考えた。具体的には、隠された 4 つ のマーカーを探しだして、全てのマーカーを見つけることでゴールとなるようになっている。(図 4.12)そしてそれぞれのマーカーを見ると、お化け(仮想オブジェクト)が表示されびっくりする ようになっており、ただでさえ恐怖を感じるであろう暗い場所の中を探し回って怖いものを見つけ なくてはいけないという、現実の恐怖の感情を拡張できるような AR サービスとなっている。 今回のデモンストレーションでは、被験者はヘッドマウントディスプレイを装着し、ヘッドマウ ントディスプレイに装着した Web カメラが視聴者の目の役割を果たし、その Web カメラからの映 像をノートパソコンへと送り、映像内にマーカーがあればマーカーの信号パターンを認識する。そ の、マーカーのパターンに応じてヘッドマウントディスプレイに装着した Web カメラの映像にお 化け(仮想オブジェクト)をオーバーレイしてヘッドマウントディスプレイの画面に出力する (図 Group Report of 2011 SISP - 32 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 4.13 参照)。当初、デモムービーの撮影場所は、湯の川の方にある見晴公園内にある旧石勝庭園に て撮影したムービーを使用する予定だったが、ヘッドマウントディスプレイに装着した Web カメ ラからの映像があまりにも暗すぎて、ヘッドマウントディスプレイに出力される映像が被験者の目 の役割を果たすことができなかったため、2 度撮影を行った。2 度目の撮影場所は、はこだて未来 大学内の廊下の約 30 メートル程度の範囲を使用した。その廊下の範囲内にマーカーを設置した旨 を伝えて、マーカーを探しだしてもらった。廊下内には、物置のようにダンボールを積み上げてそ のダンボールの中にマーカーを埋め込んだり、ロッカーの上に配置するなどしてマーカーを複数個 隠すように配置した。そしてその廊下内を被験者に探索してもらい、被験者にはマーカーの設置場 所と、どのようなお化け(仮想オブジェクト)が表示されるかは事前に知らせていない。最終発表 で使用するデモムービーはこの被験者の様子と被験者の視点を撮影したものである。 (※文責: 木村健) 図 4.12 デモンストレーションの流れ 4.4.3 AR お化け屋敷の演出について 本グループが開発した Sneaking Marker の有用性を伝えるために、AR お化け屋敷は可能な限 り恐怖の感情を感じさせる必要があると考えた。デモムービーやデモンストレーションのコンセプ トは「恐怖の感情を拡張する」だったため、恐怖を感じなければそれは「恐怖の感情を拡張」でき ていないからである。 AR お化け屋敷の演出は様々な映画やゲームなどから参考にして考案した。「ゾクッ」とする恐 怖ではなく、びっくりする恐怖感を目指して演出を構成した。びっくりすることも恐怖を感じるひ Group Report of 2011 SISP - 33 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 図 4.13 デモンストレーションの構成 とつの要因であり、直感的に恐怖感を覚えることができ、お化けが突然表示されればなおのことだ と考えたからである。 AR お化け屋敷で表示される仮想オブジェクトは、まず一つめのマーカーでは被験者(プレイ ヤー)へのストーリー性の説明と目標(ゴール)の条件についてのチュートリアルを行う。その内 容は、探索をしなくてはならないことと、以降のマーカーではお化け(仮想オブジェクト)が表示 されること、また全てのマーカーを見つけ出さなければ目標(ゴール)にたどり着くことはできな いというルール説明を、古文書のような古びた紙に古語調で記した仮想オブジェクトを表示する。 このチュートリアルを行うマーカーは他のマーカーとは比較的見つけやすい場所に配置し、AR お 化け屋敷をプレイするにあたって、被験者(プレイヤー)に AR お化け屋敷のストーリーとルール を理解してもらうため、わざと目につきやすいよう配置した。他 4 つのマーカーは、チュートリア ルを行うマーカーとは異なり、被験者(プレイヤー)を驚かせるために、分かりにくい場所に配置 しそれぞれ違う種類のお化け(仮想オブジェクト)が表示されるようになっており、被験者(プレ イヤー)の視点には n/4(n はマーカーを発見してお化け(仮想オブジェクト)を見た回数。但し、 一種類につき一回しかカウントされない)とマーカーの発見数が表示されるようになっている。そ して、目標(ゴール)のマーカーには二種類の仮想オブジェクトが表示されるようになっており、 チュートリアルを行うマーカーを除く全てのマーカーを発見できていれば、目標にたどり着いた旨 を古文書のような古びた紙に古語調で記された仮想オブジェクトが表示され、AR お化け屋敷を終 了する。まだ全てのマーカーを発見できていなければ、すべてのマーカーを発見できていない旨を 古文書のような古びた紙に古語調でしるされた仮想オブジェクトが表示され、AR お化け屋敷は続 行するようになっている。 (※文責: 木村健) Group Report of 2011 SISP - 34 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 動画の撮影、編集 4.4.4 先述したようなデモムービーの撮影には一眼レフデジタルカメラを用いた。また、二度撮影を 行ったのだが、二度目の撮影では一度目の失敗を活かすべく、照明も用いた。編集には Adobe の 動画編集ソフト Premire を用いて行った。具体的には、Web カメラから入力された映像を被験者 目線一人称視点として用い、デジタルカメラで撮影した実験中の被験者の動きを追ったものを三人 称視点として用いることにした。これら 2 つの動画、および現在被験者が見ているマーカーを明る いところで撮影したもの (写真) の計 3 つを 1 つの画面を三分割して取り入れた。協力してくれた 3 人の被験者の部分部分をつなぎ合わせ、ダイジェスト版のような形式とし、スタートからゴール まで平均で 5∼6 分かかっていたものを最終発表会の中で発表するため、編集で 1 分 30 秒まで短 くした。 (※文責: 大御堂尊) 4.5 ビジネスプランの考察 本グループでは、赤外線マーカーを社会に利用した場合、どのような形で使うことができるのか を話し合った。赤外線マーカーのメリットである、赤外線は人の目では見えないということを生か した使い方をすることを前提に話し合いをした。人の目にみえないということは、マーカーとなる デバイスのデザインによってデバイスの設置場所の環境になじませることができる。また、派手な デザインのデバイスの中にマーカーを隠すといったような使い方ができるのではないかという意見 も出た。そこから「クリスマスツリーのイルミネーションを AR で作ってしまう」という案が出 た。この案は、函館クリスマスファンタジーのクリスマスツリーを意識して出された案である。 また、外装のデザインによりデバイス自体を環境になじませることができるのではないかという 意見から、展覧会に出品された作品の説明や会場案内に AR を使うという案もでた。この案は AR を使ったビジネスプランとしては多いものであるが、赤外線マーカーの特徴を生かした案として取 り上げた。来場者のニーズにこたえた、展示物の情報を表示するなどの意見が出た。 胸にマーカーを装着し、装着者の名前や趣味、特技などの情報を表示するという案。この案では、 生活空間ではなくパーティ会場など、見ず知らずの人が多く集まる場所で有効だと考えられた。 これらの案を大澤先生に提出したところ、お化け屋敷のようににアミューズメント性を意識した 案もいいのではないか、AR を社会で使えることを提示するより、AR の面白さを伝えたほうがい いのではないかという意見と大学の先輩からはマーカーを探させる「宝探し」のようなものが面白 いのではないかと助言を頂いた。この時点までは前期に作ったマーカーが黒い箱を外装としていた ために、マーカーの外装の箱を環境に合わせ換装することで、いかに環境になじませるかというこ とを考えて話し合いを行っていた。しかし助言を頂いたことでマーカーを壁に埋め込む、ポスター などの薄い板状のものの裏に取り付けてしまう、というアイディアを手に入れ、ビジネスプランの 考察の幅が広がった。以上を踏まえたビジネスプランの考察を以下で説明する。 (※文責: 宮尾怜) Group Report of 2011 SISP - 35 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 4.5.1 クリスマスツリーのイルミネーションを AR で作る クリスマスツリーのイルミネーションを AR で行うことで、様々なクリスマスツリーのデザイン をみれるようにすることを目標とした案である。イルミネーションを AR で行うのでは夜電力消 費の軽減かつ装飾物の費用の軽減ができるとも考えられた。イルミネーションは夜に見るものなの で、赤外線マーカーの外装は昼のときに木にとって不自然でないデザインを考えることになった。 この案の問題点は、電飾の発する光により赤外線を捕らえることが難解になる可能性が高い。赤外 線マーカーで 3D オブジェクトの表示ができない場合に、木に立体感のない装飾が施されたものを みてユーザーは満足を得られるのか、どのようにしたら満足を得られるものになるか。木に設置し たマーカーは一方からしか見ることができないのはどのように対処するのか。一方しか見れない 問題を解決するために、マーカーを複数取り付けることの不自然さをどのように対処するのか。と いった問題が出た。 (※文責: 宮尾怜) 4.5.2 マーカーのデザインと設置場所 外装のデザインは木に設置するマーカーということから設置する木の色に合わせた配色を、設置 場所は枝の中だとマーカーが本当に見えなくなってしまう可能性が高いということで、幹の部分 に取り付けるということになった。しかし、巨大なクリスマスツリーの木の幹にマーカーを設置し た場合、マーカーを見るデバイスの画面外にマーカーが行く可能性が考えられた。この問題はユー ザーが木に近づきすぎない、要するに木全体を見る側のデバイスの画面内に収まるようにすればよ いとの意見が出た。しかしこれでは根本的な解決にはならないのだが、他の解決案が出なかったた めに、ユーザーに対処してもらうといった結論になった。 (※文責: 宮尾怜) 4.5.3 赤外線マーカーで 3D オブジェクトが表示できない場合 装飾できるオブジェクトを、非現実的なものにしてしまうことで、2D でも満足を得られるので はないかと考えた。例としては虹やオーロラといった幻想的なオブジェクトを提供すればよいので はないかと考えた。この考えから、魚やイカなどのクリスマスに関係の無い装飾も楽しみの一つに なるのではないかと考えた。こうすることでユーザーは満足を得られるのではないかという結論に なった。 (※文責: 宮尾怜) 4.5.4 木に設置したマーカーは一方からしか見ることができない マーカーを一方からしか見れない問題を解決するために、マーカーを複数取り付けることを提案 した。しかし、複数のマーカーを木に設置することの不自然さは、どのように対処するのかという ことも含めての話し合いをした結果。マーカーの外装さえ変えてしまえば夜には気にはならないの ではないか、マーカーの小型化することで昼でも目立たなくすることが可能なので、様々な方向に Group Report of 2011 SISP - 36 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality マーカーを設置することによって不自然になることは無いということになった。このことからマー カーは複数設置することとした。 (※文責: 宮尾怜) 4.6 展覧会に出品された作品の説明や会場案内に AR を使う 会場案内に AR が使われている例が多いので AR を使った会場案内の方法について深く追求し なかった。だがヘッドマウントディスプレイを使用した場合とスマートフォンを使用した場合の案 内表示の方法を決め話し合いをした。しかし、結局のところヘッドマウントディスプレイとスマー トフォン両者とも、進路を小さな矢印で表示しするということになった。 作品の説明を行うとして、どのような情報を提供すればユーザーが喜び、赤外線マーカーとして の特徴をより生かせるかという議題になった。しかし、作品を見て回る上でマーカーの設置箇所に よっては作品の閲覧の邪魔になるだけなのではという意見が出た。そこで本グループは、提供する 情報に必要性を持たせるのかどうかという点と、マーカーの設置による作品への影響の配慮の 2 点 の問題を考えた。 (※文責: 宮尾怜) 4.6.1 提供する情報 提供する情報に関しては、その情報が無いなら無くてもかまわないと思える情報にしたほうがい いということになった。理由は、必要性のある情報を公開しないで、わざわざ隠す必要が無いとい う意見がでたためである。なので、本グループはちょっとした得を感じるような、必ずしも必要で はないがあったらおもしろいなと感じるアミューズメント性を感じることができる情報を提供する ことを前提として考えた。 話し合いをした結果、提供する情報の内容に、作品ができあがるまでの経緯や作品に対しての製 作者のコメントがあるとおもしろいのではないかという意見が出た。その中で、作品の価値を表示 するという意見が出たのだが、この意見に関しては本グループ内で意見が割れた。作品の価値を表 示することで作品の見方が変わってしまうのではないか、作品の製作者と見ている人の作品の評価 を、作品の価値という金銭的な尺度でゆがめることは楽しめる情報なのか、冒涜行為ではないかと いう意見が出た。これに対して、必要の無い情報なのだから見る側のデバイスで作品の価値だけを 非表示できるようにしてしまえばいいのではないか、という意見が出た。しかし、結果的に楽しめ ない人が出る可能性を排除するということで、作品の価値の表示はしないことにした。表示する情 報としては、作品ができあがるまでの経緯、製作者のコメントのように、第三者からの意見を含ま ない情報を提示することとなった。 (※文責: 宮尾怜) 4.6.2 マーカーの設置箇所 提案当初はマーカーを壁に埋め込む、といった案が無かった。しかしこの問題はマーカーを壁に 埋め込むことで、マーカーが作品の邪魔となる可能性が低くなった。なのでマーカーを壁に埋め込 Group Report of 2011 SISP - 37 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality むことで、マーカーが作品の邪魔になるという問題は解決したように思えた。しかし壁にマーカー を埋め込むとなると、壁の裏側に電源などを仕組むか、他のところから目障りにならないように マーカーに電力を供給するという問題がある。この問題はマーカーの設置費用、どの程度なら人は マーカーが気にならないかといった調査が必要となるために、マーカーを壁に組み込む案は保留す るということになった。他の案としては、展覧会を開かれる製作者にマーカーの配置場所をデザイ ンしてもらうという案も出た。しかしこの案は、過去の有名画家の展覧会や製作者がマーカーを邪 魔だと感じた場合、実践不可能となるので有力な案とまではならなかった。 (※文責: 宮尾怜) 4.7 マーカーを装着する案 マーカーを人が装着し、マーカーをスマートフォンを通して見ると、マーカーを装着している人 の趣味や特技、職業といったステータスのようなものが見えるようになるという案である。これ は、パーティ会場のような場所で名刺交換せずともあいてのちょっとした情報を知ることができる のが特徴である。メールアドレスを交換するような感覚で気軽にコミュニケーションをとることを 支援するツールと考えた。 (※文責: 宮尾怜) 4.7.1 どこまで情報を開示するか しかし、人の趣味などを本人と話さないで AR を使ってまで見る必要がある情報なのか、見られ たくない人にも情報を簡単に見られてしまうのでは、といった問題点が考えられた。 まず人の情報を AR を使ってまで見る必要があるのかという意見に関しては、コミュニケーショ ンを取りやすくするためのツールであるので趣味や職業などの情報は必要なものである。という意 見が出た。最初に話しかけるきっかけを作ることで、初めて会う人ともコミュニケーションを取り やすくするために必要な情報だということだった。なので名刺のように所属してる会社を書いたり せず、情報を伏せておけば問題はないのではないか、メールアドレスのように電話番号、住所など といった個人を特定されてしまう可能性のある個人情報は出さないようにする。このような注意を ユーザーに最初から注意しておけば問題ない。といった意見がでた。よって、情報の開示の範囲を 決めることでこの案の問題は解決となった。 (※文責: 宮尾怜) 4.7.2 どのような装着方法をとるか マーカーを胸につけるというのは煩わしいのではないかという意見が合った。この案に関しては 学生証のようなカードをマーカーにすることで、ネックストラップ付ネームケースに入れることで スリム化およびデザイン性を出すことができる。といった案がでた。カードには IC 基盤を取り付 けることで赤外線 LED の装着は可能である。このことから、不可能な案では無いと考えられた。 この案はネームプレート案として最終発表スライドの最後に、赤外線マーカーの利用案として発表 された。 Group Report of 2011 SISP - 38 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality (※文責: 宮尾怜) Group Report of 2011 SISP - 39 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 第 5 章 結果 5.1 概要 1 年の活動を通して、技術開発の分野では、5つ赤外線 LED の点灯に対する時間制御が可能で、 さらに外装を取り換え可能な Sneaking Maker というマーカーデバイスと、そのマーカーデバイス が行う信号送信の規則、その規則を踏まえた赤外線 LED の画像認識、また認識した信号に含まれ る情報から任意の画像を表示するソフトウエアが完成した。それによってまだ技術的・デザイン的 に未成熟な部分は残るものの、我々の構想であった現実空間になじむマーカーデバイスを用いた AR サービス提供システムを構築することに成功した (図 5.1)。また、この構築されたシステムを 元に制作を行ったデモンストレーションに関しても、発表によって従来マーカーである紙マーカー にはない特徴である暗闇での使用が可能な点や、現実環境になじむことのできる点を踏まえた点を デモムービーによって示すことができた。また、本章でも第 4 章同様ソフトウエア、ハードウエア、 デモンストレーションについての詳細を分けて以下に記述する。さらに実装できなかったデモンス トレーションの詳細をまとめたものに関する結果については 5.5 ビジネスプランにて記述する。 図 5.1 作成した AR サービス提供システムの概念図 (※文責: 深浦竜馬) Group Report of 2011 SISP - 40 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 5.2 ソフトウエアに関する結果 5.2.1 マーカー認識プログラム 赤外線による情報表現法 表現法 A 表現法 A では、1 度の情報送信で 16 パターンの情報を表現することができた。 表現法 B 表現法 B では、1 度の情報送信で 2 パターンの情報を表現することができた。 赤外線光認識プログラムの開発 制作したシステムでの Sneaking Maker の認識可能距離は屋内において昼で約 1m、夜で約 0.3 ∼3.5 mとなっている。昼と夜とで認識可能距離に変化が発生したのは、現実空間に存在するノイ ズとなる光の明るさの違いによるものである。また、屋外での使用は太陽光の影響によるノイズが 常時大量に発生することから不可であることが実験により実証された。太陽光の影響は、屋内での 使用に関してもノイズとして存在しており、強い直射日光の差し込むような場面では屋内であった としても使用不可であることも実験により実証された。 複数情報表現の組み合わせによる信号とその認識 前提として以下で述べる理論値というのは、Sneaking Maker からの信号を認識プログラム が正確に認識を続けた場合で計算した時間である。実際に認識時間は、実環境からのノイズや、 Sneaking Maker の指向性が 5 度以下といった問題から理論値には安定しなかった。 信号 A 信号 A によって表現できる情報量は信号の秒数(情報表現の回数)をnとした場合、nを 3 以上 として、15( n − 2)通りとなっている。ここでは理解しやすさのために、実際に実装したnを4と した場合について言及する。nを4とした場合では、表現可能な情報量が 225 通りとなっており、 信号認識にかかる時間の理論値は最短で認識を開始してから 4 秒、最長で 7 秒となっている。 信号 B 信号 B では表現したい情報量を 2n として、0.45 + 2 × n × (0.15) 秒の時間を要する。ここでは 理解のしやすさのために実際に実装した n が4の場合について言及する。n が 4 の時表現可能な情 報量は 16 通り、信号認識にかかる時間の理論値は最短で認識を開始してから 1.65 秒、最長で 3.15 秒となっている。 画像認識でのノイズ軽減の工夫 常時点灯赤外線 LED のトラッキング イズ対策の目的である取得画像内での赤外線 LED の捜索における範囲の縮小を満たしておらず、 まず取得画像全体の中から点灯赤外線 LED の捜索をしており、夜などの光によるノイズが少ない 状況においては正常動作したものの、昼などの光によるノイズの多い状況においては正常動作が難 しかった。 黒箱トラッキング Group Report of 2011 SISP - 41 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality web カメラの視界のなかに Sneaking Maker と同程度の大きさをもつ黒色の物体がないという状 況においては、高い認識精度を保つ対策となった。 (※文責: 深浦竜馬) 5.2.2 アプリケーション アプリケーションとしては、AR 掲示板、AR お化け屋敷、Invisible Message の3つを作成し た。アプリケーションを制作することで、Sneaking Maker を AR のためのマーカーとして利用す るための画像表現技術の確立に取り組むことができた。しかし各々のアプリケーションにおいて 5.2.1 にもあるように現実環境の環境ノイズとマーカーの指向性の狭さにより常時安定した動作は 求められなかった。ここではそれぞれの完成したアプリケーションについて言及する。 AR 掲示板 アカデミックリンク用のデモンストレーションとして開発し、出展した。ユーザが編集可能な画 像を用意し、Sneaking Maker からの信号を認識した場合に表示される画像にユーザの編集がリア ルタイムにフィードバックされるというシステムを実現した。このアプリケーションでは、表現法 A、信号 A と黒箱トラッキングの技術を用いており、外装トラッキングによるノイズの軽減と、表 示する情報オブジェクトの決定が可能である。またアカデミックリンクのデモンストレーションを 行う現場では直射日光が強くマーカーが機能しない場面があった。それに関しては直射日光を発表 者が遮るという形で対応していた。 AR お化け屋敷 5つの Sneaking Maker と web カメラを用いて、信号の認識と、認識した信号の数による状態 遷移を行うことで、スタートとゴールを明確にしたアミューズメントのシステムを構築した。この アプリケーションでは、表現法 B、信号 B と 常時点灯赤外線 LED のトラッキング、パラパラ漫 画的な情報オブジェクトの表示の技術を用いることにより、マーカーの外装に依存しない情報の送 受信と、複数枚の画像表示のコンビネーションによるアクションが可能である。 Invisible Message ポスターに Sneaking Maker を埋め込み、そこからの信号送信、web カメラによる信号の認識に より来客にメッセージを表示するというシステムを構築した。このアプリケーションでは表現法 B、信号 B と 常時点灯赤外線 LED のトラッキング、パラパラ漫画的な情報オブジェクトの表示の 技術を用いることにより、マーカーの外装に依存しない情報の送受信と、複数枚の画像表示のコン ビネーションによるアクションが可能である。 (※文責: 深浦竜馬) 5.2.3 スマートフォンアプリケーション開発の結果と学習できたこと 担当者である宮尾が前期中に Objective-C 言語の習得をできずアプリケーションの開発を行え なかった。また環境導入の失敗による時間の損失が響き、Objective-C 言語によるアプリケーショ ンの開発を断念した。このことをふまえ、後期は Android で使用できる JavaScript を使用するこ Group Report of 2011 SISP - 42 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality とにした。しかし前期に先輩に指摘されていたように Titanium Mobile による JavaScript でのア プリケーションの開発は、JavaScript ではメモリの開放ができないということから、リアルタイム で多くの画像や赤外線マーカーの読み取りを行いメモリを多く消費する AR のアプリケーション に不適切であるということが発覚した。マーカー 1 つに対して 1 つの画像を表示する程度なら可 能なのだが、本グループで扱う赤外線マーカーのパターンを判別するためのシステムの処理の量が 多い。そこで本グループで会議した結果、Titanium Mobile では赤外線マーカーを使用したアプ リケーションの製作は無理だということになった。このため、JavaScript でのアプリケーション開 発は断念した。 スマートフォンアプリケーション開発を学習した経緯で習得した技術は Objective-C 言語による 初歩的な iPhone アプリ作成の基礎技術を習得した。また iPhone アプリの製作は Mac OS でしか 行えないということで、Mac OS の仕組みや設計思想を少なからず学ぶことができた。JavaScript は web サイト作成、web サイトの TOP 写真のランダム切換えや、スライドショー、GIF アニメー ション組み込みなどの初歩的なソースが書けるようになった。またリバーシやブロック崩しなどの 簡単なゲームの作成を JavaScript で行えるようになった。Titanium Mobile を使用した Android アプリケーションの作成に関しては Titanium Mobile がメモリの開放ができないことで比較的早 くに Titanium Mobile の使用を中断したために Titanium Mobile の使用方法程度しか学習しな かった。結果としてスマートフォンのアプリケーション開発は達成することができなかった。 (※文責: 宮尾怜) 5.2.4 マーカー側のプログラミング 前期・後期とも動作不良無く正しく赤外線 LED を点滅させ、信号を表現することが出来た。た だし、前期と後期で使用したマイコンは同じではあるのだが、発振子が若干異なるものであった。 前期のものは 1 秒間に 16000 回振動するものであったのに対し、後期のものは 1 秒間に 25000 回 振動するというものであり、これに気づかずに後期のプログラムのタイマーも前期のものを流用 した結果、思わぬ誤動作を招いた。具体的には、信号速度を 100ms と指定された場合、発振子が 異なるにもかかわらずタイマー周りのソースコードを変えていなかったため、マイコン側で正確 に 100ms を計測できず、現実の 100ms とは異なる間隔で次の信号を表示してしまう、という結果 になった。これにより、信号パターンや速度を指定しても、パターンは合っていても認識側とマー カー側で速度が異なるため、まったく信号が読み込めないという事態が発生し、画像処理担当に迷 惑をかけてしまった。 5.3 5.3.1 ハードウェア 中間発表用デバイスについて 中間発表において、赤外線 LED マーカーデバイスは正常に動作し、マーカーとしての役割を果 たすことができた。しかしながら、二つの問題を残すこととなった。 一つは、デバイスの大きさである。ただしこれはさほど重大な問題ではない。なぜなら、回路の 組み換えや修理に取り掛かりやすいよう、実験段階であるために回路を組んだブレッドボードをそ のままデバイスに搭載していたことが原因であり、ユニバーサル基盤を用いて、回路製作を行えば すぐに解決できる問題であるためだ。 Group Report of 2011 SISP - 43 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 二つめは、電源の問題である。中間発表用のマーカーデバイスでは、マイコン等の制御用の電源 スイッチと赤外線 LED へと供給される電源用のスイッチとが二つ存在いていた。このため、どち らかを付け忘れるといったエラーが発生した。この二つの電源スイッチは、プログラムを書き込む 場合や、赤外線 LED のみを点灯させることで、赤外線が届く距離等を確かめる場合など、どちら かの電源だけをつけることで電源供給の効率化を図ろうとした物であった。だが結果として、電源 を切り忘れるといった事態を招いてしまい、効率の悪いものになってしまった。 このデバイスには電源が入っていることを確認する方法がスイッチに記載された表記を見るしか なく、目に止まりにくい場所にあるために、スイッチの切り忘れといった事態も発生していた。 このような問題はあったが、デバイスの機能としては正常に動作し、前期の目標であった赤外線が マーカーとして扱えるかどうかの実証は行うことができ、デバイスがマーカーとしての役割を果た せたため、前期までの目標においては、このマーカーデバイスは成功したといえる。 (※文責: 長村勝也) 5.3.2 アカデミックリンク発表用デバイスについて アカデミックリンク用のデバイスは、マーカーとしての役割を果たすとともにデバイスの小型化 という成果を残した。デバイスのサイズは中間発表のものと比べ五分の一の程のサイズになった。 一番の成果はこの小型化にあるだろう。ブレッドボードを内蔵せず、ユニバーサル基板上に回路を 組むことで小型化したのだ。だが、ブレッドボードは本来中間発表用デバイスに用いたように使用 するものではないので、アカデミックリンク用のデバイスが本来のサイズといえる。 このデバイスにも問題はあった。サイズを小型化したことで赤外線 LED 同士の距離が縮まり、 遠距離から見えにくいという事態が発生した。アカデミックリンク用のデバイスは、このときでき る範囲で最も小さいサイズで作られていた。これは問題ではあったが、最終発表前に小さすぎるデ バイスも弱点があることを把握することができた。これは成果といえる。また、回路上に電源が 入っていることを知らせる赤色 LED を取り付けることで電源の切り忘れを防止し、電源が入って いるか否かがすぐに判断できるようになったことで、作業の効率化を行うことができた。 アカデミックリンク用のデバイスでは、内臓回路の構成で赤外線 LED が足ピンの端ぎりぎりで 固定されている。さらに外装側に開いた穴にも赤外線 LED ははまっているだけで固定されている わけではない。そのため赤外線 LED が曲がってしまうことが多く、小型化を優先して考えすぎた といえる。小型化は達成したものの、多少の問題を残す形となった。 (※文責: 長村勝也) 5.3.3 最終発表デモ用およびその他デバイスについて 最終発表のデモに使用したデバイスは、外装を交換可能にした赤外線点滅回路を使用していたた め、デモ用に製作した外装にはもちろん、ダンボールや紙袋といったものまで赤外線マーカー化す ることができた。これは、我々の目標を達成する上で必要不可欠の部分であり、大きな成果であ る。これが可能となったことで、環境に馴染むことが可能となった。 十機という多数のデバイスを使用する中で、回路をユニット化することにより、不具合の発生し たデバイスを交換することが可能となり、デバイスを修理している間にも実験を続行することが可 能となった。中間発表用デバイスで問題としてあげていたマイコン用の電源と赤外線 LED 用の電 Group Report of 2011 SISP - 44 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 源のためのスイッチが別途に存在しているために起こるどちらかを付け忘れるといったエラーに関 しては、マイコン電源と赤外線 LED を同時に起動できるようにしたことで無事解決し、回路上に 搭載された起動確認用赤色 LED と組み合わせることで、電源に関する問題は解決した。 赤外線マーカーをポスターに取り付け、デモを行った際にも正常に動作し、最終発表を盛り上げ ることができた。イーゼルに立てかけたマーカー搭載ポスターは、見た目ではただのポスターにし か見えない仕上がりとなり、最終発表という環境に馴染んだといえるだろう。 これらのことから、最終発表時のハードウェアは大きな問題もなく正常に動作し、成功したとい えるだろう。 (※文責: 長村勝也) 5.4 5.4.1 演出 最終発表用デモムービーの成果 以下の観点から Sneaking Marker を用いた AR お化け屋敷のデモムービーの成果について考察 する。 1. Sneaking Marker の有用性を伝える 2. 恐怖の感情を拡張する 3. 従来の紙に印刷されたマーカーとの差別化 (※文責: 木村健) Sneaking Marker の有用性を伝える 本グループが開発した Sneaking Marker には、従来の紙に印刷されたマーカーと異なる特徴が いくつかある。一つめが「周囲の環境に馴染む」こと、これは外装を換装したり、あるいは壁に埋 め込んで使用が可能であることにより、設置する環境に囚われない、現実空間との調和をとること ができ景観を損ねることがないという特徴である。二つめが、赤外線 LED による赤外線光の発光 パターンによってマーカーの役割を担っている、つまり自ら発光しているため「暗い場所での使用 が可能」でり、暗い場所でも AR サービスの提供が可能となった。 AR お化け屋敷にて使用した際には、Sneaking Marker の特性を最大限利用していたと言える。 まず、周囲の環境に馴染むという特性を利用して、隠されたマーカーを探すというアクションが必 要となること。これは従来のお化け屋敷ならば、ある地点まで行けばお化けが登場する受動的なイ ベントだったのに対して、この探しだすというアクションがあることにより自らがお化けを見に行 くという能動的なイベントとなる。このことから、AR サービスをある特定のポイントで受けられ るのではなく、特定の領域内で受けることができ、そのサービスを受けるためにマーカーを探しだ すという、アミューズメント性を持たせられた。すなわち、マーカーを見つけにくくすることや隠 すことができることの有用性は十分にあるとわかる。 暗い場所で本来そこに見えないはずのものが見えれば、多くの人が恐怖を感じるはずである。こ Group Report of 2011 SISP - 45 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality れは暗い場所という不安による恐怖と、あり得ないものが見えたことによる正体不明に対する恐怖 が相まっていると考えた。それは人為的なイベントでも成立している、何故ならば人為的な暗さと 人によるお化けのフリによるお化け屋敷が成立しているからである。もしも、従来のお化け屋敷に AR の技術を取り入れて、本来そこに見えないはずのものが表現できれば、お化け屋敷は更に恐怖 を感じるようになるはずである。これらのことから、本グループで開発した Sneaking Marker を 用いて、暗い場所でも利用できるマーカーであることの証明と、AR 技術を用いたお化け屋敷を試 みた。実際に、Sneaking Marker を用いた AR お化け屋敷では、暗い場所でマーカーを用いた AR を実現することができ、また被験者にも好評だったことから、AR 技術を用いたお化け屋敷につい ても成功だったといえる。 以上のことから、AR お化け屋敷の被験者、あるいはデモムービーを見た人々に、本グループが 開発した Sneaking Marker の特性とその有用性について伝えることができた。 (※文責: 木村健) 恐怖の感情を拡張する Sneaking Marker の有用性を伝えるデモムービーのために考案した AR お化け屋敷は、「恐怖の 感情を拡張する」をコンセプトとした。AR 技術は、現実空間の一部に情報を付与、あるいは現実 空間を拡張する技術であり、視覚情報の付与拡張の他に感情の拡張もまた AR 技術と言える。 AR お化け屋敷では、Sneaking Marker を見つけることで画面内にお化け(仮想オブジェクト) が表示される。これは視覚情報の付与拡張であり、AR お化け屋敷全体で恐怖の感情を付与拡張し ている。この感情の拡張ができれば、AR お化け屋敷は成功であり、また同時に Sneaking Marker の有用性も実証できると考えた。 AR お化け屋敷の被験者、あるいはデモムービーを視聴した人々からは、概ね恐怖を感じたとい う感想があがっていた。消灯時のはこだて未来大学内は人気もほとんど無く暗くて怖いが、お化け (仮想オブジェクト)が見えることで更に怖くなると感じた人が多かったようである。また、紙に 印刷されたマーカーと異なり、周囲の環境に馴染んでいるため不自然さを感じること無く、お化け 屋敷らしさを体験することができたようである。 (※文責: 木村健) 従来の紙に印刷されたマーカーとの差別化 AR お化け屋敷、あるいはそのデモムービーにおいて、従来の紙に印刷されたマーカーではなく、 Sneaking Marker を使用したが、この AR お化け屋敷は当然 Sneaking Marker でなくても行うこ とは可能である。何故なら隠されたマーカーを見つけ出し、目標(ゴール)を目指すという点にお いてはどちらも変わらないからである。しかし、紙に印刷されたマーカーよりも Sneaking Marker の方が AR お化け屋敷にて使用するのに相応しい。具体的に、従来の紙に印刷されたマーカーと Sneaking Marker を比較し、Sneakig Marker の方が優れている点を比較したものを以下の図「従 来の紙に印刷されたマーカーと Sneaking Marker の比較」に示す。 Group Report of 2011 SISP - 46 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 図 5.2 従来の紙に印刷されたマーカーと Sneaking Marker の比較 従来の紙に印刷されたマーカーでは、非常に目立つためマーカーを探しだすというアクションに おいて障害となってしまう。さらに、どこで出てくるかが分かってしまうためお化け屋敷において は致命的な欠点である。一方で、Sneaking Marker なら極端に見つけにくいということはなく、一 見した程度ではどこに設置されているか分からないが、よく探せば見つけられる程度に環境に馴染 むため、この点は Sneaking Marker に軍配が上がると考えた。 次に暗い場所での利用についてだが、これも Sneaking Marker にアドバンテージがある。今回 行った AR お化け屋敷のコンセプトは「恐怖の感情を拡張する」なので、暗い場所での利用がで きなければ意味が無い。かろうじて使用することができても、認識に難がある紙に印刷されたマー カーを使用する必要はないため、暗い場所でも問題なく認識できる Sneaking Marker を使用した 方が良い。 Sneaking Marker は外装の換装や、壁などに埋め込んで使用できるため(図 1)、隠し方や配 置の仕方、表示されるお化け(仮想オブジェクト)に相応しい設置の仕方など、柔軟に対応する ことができる。しかし、従来の紙に印刷されたマーカーでは、設置の仕方に選択肢が少ないため、 Sneaking Marker ほど様々な場所に柔軟に対応することができない。さらに、マーカーの模様が歪 むとマーカーとしての機能を失ってしまうため、設置場所も限定されてしまう。Sneaking Marker は、外装を装備した状態であれば、紙に印刷されたマーカーと同じぐらいの大きさだが、外装を外 してしまえば大きさは紙に印刷されたマーカーの半分以下程度になるため、狭い場所にも配置が可 能である。これらの設置場所への適応力と選択肢の豊富さから、やはり Sneaking Marker の方が Group Report of 2011 SISP - 47 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 優れている。 突発的な AR サービスについては、環境に馴染むことにも関連するが、やはりどこでお化け(仮 想オブジェクト)が表示されるか分かってしまうとお化け屋敷としては大きな欠点である。さら に、今回の AR お化け屋敷では、びっくりする恐怖感を目指しているため、どこで次のお化けが出 てくるのかが分かってしまうようでは意味が無い。特定のポイントで AR サービスを受けられる のではなく、特定の領域内のどこかで AR サービスを受けられるといった方が AR お化け屋敷に は向いていると考えたためである。 以上のことから、従来の紙に印刷されたマーカーでも AR お化け屋敷を行うことはできるが、 Sneaking Marker を使用した方が良いことが分かった。このことは AR お化け屋敷に限定したこ とではなく、また別の現実空間で利用する時にも同じことが言える。未だに、従来の紙に印刷され たマーカーの方が優れた点が残ってはいるが、それを差し引いても Sneaking Marker の方が景観 を損ねること無く配置でき、暗い場所でも利用が可能であり、設置場所への適応力が高く、突発的 な AR サービスを可能とできるなど、アドバンテージは多い。このアドバンテージを AR お化け 屋敷、あるいはそのデモムービーで多くの人に理解を得ることができた。 (※文責: 木村健) 5.4.2 最終発表用デモムービーの課題 本グループが開発した Sneaking Marker を用いて構成した AR お化け屋敷のデモムービーは多 くの人に人気を博した。しかし、今回の AR お化け屋敷にはいくつか課題が残っている。それは表 示される仮想オブジェクトが全て 2D オブジェクトであったことである。後期の最終発表で視聴し ていただいた人達からも、3D オブジェクトは表示しないのか、という声がいくつかいただいた。 すなわち、AR お化け屋敷には「AR らしさ」が欠落していたように感じる人が多かったようだっ た。また、この AR お化け屋敷の最初に表示されるチュートリアルのストーリー性が分かりにく く、何のためにやっているのかが伝わりにくいという意見もあった。そのため、デモムービーをよ く分からないまま見る人がいたようである。 今回、このデモムービーに着手するのが遅く、お化け (仮想オブジェクト) を 3D で描画する時間 がなかったために、2D オブジェクトを表示することとなってしまった。デモムービーの構成や演 出の構成、その他にデモムービーの撮影場所の決定にも時間がかかってしまったこともあり、デモ ムービーの作成のスケジュール管理がしっかりできていなかったことが原因である。また AR お化 け屋敷のストーリー性も、急ごしらえで立てたものであり、推敲する時間がなくなってしまった。 結果として、AR お化け屋敷のデモムービーによって、本グループの開発した Sneaking Marker の有用性は多くの人に理解を得られたが、デモムービーに関しては、あまり理解を得ることが出来 なかった。 その他の課題としては、今回の AR お化け屋敷ではデモムービーの撮影を 2 度行なっ ているが、1 度目の撮影(見晴公園内の旧石勝庭園)ではマーカーの配置を工夫して設置したり、 その配置に適したような演出を構成して AR お化け屋敷を作ったが、2 度目の撮影(はこだて未来 大学内廊下)ではマーカーの配置を工夫した置き方ができず、ただ隠して並べたような配置になっ てしまい、またその配置場所ならではの演出をすることができなかった。 Group Report of 2011 SISP - 48 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 図 5.3 実際に埋め込んで使用した様子 (※文責: 木村健) 5.5 ビジネスプランの考案の結果と学習できたこと いくつかのビジネスプランを考案したが、すべての案に関して製作及び実験、調査はほとんど 行っていない。目的の項目で述べたとおりにあくまでも赤外線マーカーの可能性を紹介、示唆する ことが目標であった。なので、この上記で紹介した3つのビジネスプランは机上の空論でしかな い。しかし、現実離れした案ではないので時間に猶予があれば実現可能である可能性が高いものを 紹介した。 現に IC 基盤を利用したカード型赤外線マーカーは金銭的な余裕があれば比較的製作は安易だと 考えていた。このように、赤外線マーカーの使用例を多く考えることで、赤外線マーカーのメリッ ト、デメリットを深く追求し問題解決の方法を模索することができた。このようにビジネスプラン を自由に発想することが、後期に製作したデモムービーの案やデモムービーの演出に深く影響し た。 ビジネスプランを考察することで、本グループは赤外線マーカーを作りましたというだけで終わ らず、赤外線マーカーの将来の展望を書き出すことができた。また、ビジネスプランの話合いを数 Group Report of 2011 SISP - 49 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 多く行ったことで、会議の効率の良い進め方や意見交換の必要性、情報を共通認識することの重要 さを身をもって体験し、会得することができた。 (※文責: 宮尾怜) 5.6 5.6.1 担当分課題の評価 大御堂 尊 1 年間、本プロジェクトの「新型マーカー開発」グループのグループリーダーを務めてきた。グ ループの週報をはじめとする各種報告書の作成、会議等の設定、日時の決定などを行った。特に大 きな問題はなく進行できたのでこの運用に関しては良かったのではないかと思われる。ただ、リー ダーの要ともいうべき進捗管理に関しては、若干の反省点がある。もちろん、あまりに期間を圧縮 した活動を行っても、メンバーのモチベーション維持などといった問題も出てくるので、そこは適 当な管理を行ったつもりだが、グループの全体スケジュールに対して、11 月中旬より約 1 週間の 遅延が生じ、結果的にはこれを最後まで引きずる形となってしまった。無論、最終発表会にはなん とかそれなりの形のものを発表することは出来たのだが、それでも実験不足・考察不足な点は否定 できない。これに関しては、リーダーである私の技量不足はもちろん、メンバーへの呼びかけも足 りなかったと反省する。特に、スケジューリングに関しては 12 月、最終発表が近づいてからとい うもの、何度となく徹夜となる作業を行った。これはひとえにスケジューリングに問題がある所為 であろう。しっかりと反省を行い、この経験を今後にいかしていきたい。 マーカーの赤外線 LED の点滅を制御するマイコンプログラミングに関しては、ほぼ前期で出来 上がっているものを流用することでうまく運用できたため、後期のシステムにおいても問題なく動 作した。ただし、これに関しても反省点があり、前期に急いで作ったソースコードを夏中整理せず に放置していたため、いざ後期に改変して運用しようとした際に、自分が書いたソースコードなの にもかかわらず読み解くのに時間を要した。これは、前期で作成したソースコードを万人向けに読 めるようわかりやすく整理しておけばよかったことであり、それをやらなかったため生じたもので ある。また、このマイコンプログラミングのソースコードは基本的には自分以外の誰にも共有でき ておらず、情報共有にかける時間をもっと取るべきであった。 もう 1 つの後期のタスクとなったデモンストレーション動画の編集に関しては、前述のスケ ジュールの遅延のために撮影そのものが遅れてしまい、またどういった点を撮影したいのか、と いった打ち合わせも行わなかったために冗長な撮影となってしまい、一定時間の完成作品に仕上げ るための編集に莫大な手間を必要とした。発表日までには間に合ったものの、編集も徹夜での作業 となった。しかし、何とか完成には至り、当日の聴衆からの反応も良かったので成功ではあった。 (※文責: 大御堂尊) 5.6.2 深浦 竜馬 1年を通してグループのソフトウエアに関する責任者として活動した。実際にはグループ全体で 現状取り組んでいる課題を明確化した後、どのようなプログラムが必要なのかの明確化、またその プログラムの実装法の考察、実際の実装作業を行った。 実際には赤外線 LED の点滅による情報表現の規則について、また肝試しというデモンストレー Group Report of 2011 SISP - 50 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality ションにおける、ユーザに映像を提供するアプリケーションの詳細についての明確化を行った。 実装方法の考察については、実装担当者が行うという形をとっていた。自身は赤外線 LED の信 号認識プログラム、信号認識補助のためのマーカートラッキングプログラム、デモンストレーショ ンのアプリケーションの実装を担当した。また、前期の活動で自分の実装担当部分の実装方法が概 要すらグループ全体に共有できていないという状況があったので、後期ではグループ全体への情報 共有のための時間を設けるなどして改善にあたった。 上記の実装法の考察にあたったプログラムに関して実装も共に行った。実験不足が目立つ場面が あり、特にデモンストレーション用のプログラムにおいて、実際のデモンストレーション中におけ るプログラムの不良動作が多かったため、今後は実装前のプログラムの仕様の明確化・実装中の実 験による仕様を満たしていることの確認により改善をしていく。 (※文責: 深浦) 5.6.3 宮尾 怜 4∼7 月にかけては Objective-C 言語の学習及び iPhone の AR アプリケーション作成の開発環 境の整備を行った。また中間発表のポスターの製作を行った。マーカーの外装デザインの製作にか かわった。 9∼12 月にかけては、10 月前半まで Objective-C の学習、その後 11 月前半まで Titanium に よる JavaScript を使用したスマートフォンアプリケーションの開発及び JavaScript の学習を行っ た。11 月後半までは OpenCV での赤外線マーカーのトラッキングシステムの一部分の製作にかか わった。以降は採取発表に向けたポスター、スライドの作成にかかわった。 Objective-C 言語では cocoa の基本的な使用法などを学ぶことができた。JavaScript では web サイト内に簡単な GIF アニメ-ションの作成ができるようになった。しかしスマートフォンでの AR アプリケーション製作はできなかった。 (※文責: 宮尾怜) 5.6.4 木村 健 私は、プロジェクト内の新型マーカー開発班の後期最終発表に使用するデモムービーの演出の担 当と、新型マーカーに用いる回路作成の補佐作業を行った。デモムービー制作の際、デモムービー の構成を整え、本グループが開発した新型マーカーの有用性をうまく伝えられるような演出を考案 し、デモムービーの撮影の補佐作業、そして撮影したデモムービーの編集作業を行った。 (※文責: 木村) 5.6.5 長村 勝也 前期後期ともにハードウェアの責任者として、ハードウェアに関する作業をメインに活動した。 主な活動としては、デバイスに必要な機能を明確化し、それをもとにハードウェア(電子回路、外 装)の設計製作。また、ソフトウェア側の作業に参加するといった活動を行った。 赤外線マーカーで必要だった赤外線 LED の点滅のための機能を考え、機能の明確化を行うこと Group Report of 2011 SISP - 51 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality で簡易的な回路図を製作し、機能を満たすための必要部品を選定した。選定した部品をもとに詳細 な回路図の作成を行った。また、製作した後のメンテナンスを考え、外装の構造を考案し開発する といった作業を行った。 製作した後のメンテナンスを考え、電池の交換がしやすいように、また、プログラムの書き込み が行いやすいように外装の構造を考案し開発するといった作業を行った。 (※文責: 長村) 5.6.6 今村 優太 私の本プロジェクトにおける役割は、プロジェクトリーダーとして「新型マーカー開発」及び 「直感操作型 AR 開発」の両グループどちらにも属さず、両グループの中立の立場として客観的に 物事を判断し、プロジェクト全体のマネージメントを行うことである。プロジェクト全体のマネー ジメントとしては、前期と後期の活動開始時には両グループに開発スケジュールを立ててもらい、 前期には、「サイボウズ Live」という情報共有サイトを用い、後期には、活動後に進捗報告会を設 けることで直接の話し合いの場を用いて両グループの開発などの進捗管理を一括して担った。ま た、メーリングリストや「SVN」と呼ばれるファイル共有ソフトを使用し、全メンバー個々人が情 報共有を行えるよう使用ルールの作成などを行うことで、プロジェクト活動及び個人の開発活動が 円滑に行えるようサポート役を担った。 両グループに属さないという立場を有効に利用し、開発時や議論などの活動時には、客観的な立 場からアドバイザーとしての助言を行なった。また、問題発生時などには、グループリーダー及 び開発担当者と協力し、解決策の模索及びスケジュールの再調整を迅速に行うことにより、スケ ジュールの遅延などを最低限に抑えるよう指示を出した。その他の役割として、中間発表会及び成 果発表会、函館アカデミックリンクなどの外部発表会などの特別スケジュールを立て、申し込みな どの手続き及び準備などの指示などプロジェクト全体としての指揮をとった。また、担当教員との 連絡やプロジェクト全体としての報告会の資料作成などを行なった。 (※文責: 今村) Group Report of 2011 SISP - 52 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 第6章 6.1 6.1.1 今後の課題 赤外線を用いることによるデメリット 認識可能角度に関して 実際にマーカーを作成し、一定の成果をあげることはできた。しかし、赤外線 LED の光が届く 角度は意外と狭いこと、赤外線 LED の正面より上下左右 5°以上ずれると認識が出来ないことは 3 章、4 章で述べたとおりである。厳密には上下左右 5°でなくとも取り込んだ画像内に赤外線の 光は認められるのだが、信号を正しく認識できないケースが多く、マーカーの認識に数十秒かかっ たりする。これではとても実用的とは言えない。 この解決策としては、現在の箱形のデバイスの、ある 1 平面上のみに赤外線 LED が並べられて いるという形状を変更してしまうことが有力と思われる。具体的には、デバイスを半円柱形のもの とし、円弧側の側面に赤外線 LED を配置する、という手法などがある。もちろん、認識側の画像 処理アルゴリズムもこれに合わせて変更する必要があるが、例えば、現在はサイコロの 5 の目のよ うに配置している赤外線 LED を、円弧側の側面に上段 6 個、中段 5 個、下段 6 個という三段に赤 外線 LED を並べ、ちょうどサイコロの 5 の目の組み合わせが 5 つ出来るような配置 (図 6.1) にす ると、認識可能角度は飛躍的に広がると思われる。 (※文責: 大御堂尊) 図 6.1 半円柱形のマーカー Group Report of 2011 SISP - 53 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 本グループは、第 4 章でも述べたとおり、成果発表会の説明ポスターの中に Sneaking Maker を 隠し、読み込むことにより来客へのメッセージをパラパラ漫画風の表現法により表示するという Invisible Message の製作を行ったほか、デモンストレーションにおいてマーカーを段ボール箱や 紙袋に埋め込んでしまうということを行った。これは、マーカーを他のものに埋め込み、周囲の環 境になじませると言うことを示したものであるが、これらは全て平面のものに埋め込んでいるが、 先ほどの形状はこれらにも適用できる。たとえば、図 6.1 のようにマーカーをベルト状に細長くし たものを埋め込むだけでも認識可能角度は広がるだろうし、柱や机の脚などといったものならばそ もそも円柱形であるので埋め込みやすいと思われる。観光地などに適用する場合、電柱に埋め込む のがもっとも手軽な方法としてあげられる。 (※文責: 大御堂尊) 6.1.2 赤外線の光点を信号とすることに関して 通常の ARToolKit による AR では、白と黒により描かれたマーカーを画像内で探索し、発見し た場合そこに仮想物体を表示するということが行われていることは述べてきた。それに対して我々 の成果物は、赤外線 LED による光点を取り込んだ画像の中から探索し、その点滅から信号を読み 取るというものである。光点を見つけるというものは特定の白と黒の記号を見つけるということに 比べて非常に外乱に弱い。それほどまでに普段の屋外や室内でも昼間・明所であると光点があふれ ているのである。プログラム内部の処理で画像を二値化するという過程があるのだが、その段階で 昼間・明所だとほとんどの部分が白として認識されてしまい、マーカーを正しく見つけることが困 難になる。例として、マーカーを蛍光灯などといった照明器具のそばに置き、プログラムを実行し たものが図 6.2 である。図中の丸で囲まれた部分がマーカーであるが、このように、プログラム内 部で二値化を実行すると、蛍光灯が白として認識され、蛍光灯から周囲にたくさんの光点が投げか けられていることがわかる。これをノイズとして除去することが当面の課題となっている。 現状の解決策の案としては、光点が明らかに過密かつ多数の場合は、それらの光点をノイズとし て除去してしまうというアルゴリズムが有効だと考えられるが、この点に関してはまだまだ検討の 余地があり、今後考察していく必要がある。 また、現段階では、直射日光下では著しく外乱が多く、様々な実験を通じて得られた結果を見る と、マーカーそのものに直射日光が当たってしまっている場合、ほぼゼロ距離でなければ認識が出 来ないということがわかった。このことから、屋外での安定した使用は不可能との見方が強い。画 像処理のアルゴリズムを考えても、マーカーに直射日光が当たる場合、マーカーの平面全てが白く なってしまうので、そこから信号となる赤外線 LED の光点を見つけるのはきわめて難しい。画像 の二値化の閾値を白側に振るというのは一つの手法ではあるが、白いものに直射日光が当たって しまっていたりすると、その白い部分を二値化で黒くできるレベルに閾値を設定した場合、今度は マーカーの光点が白として認識されず、撃ち落とされてしまう。 (※文責: 大御堂尊) 6.1.3 観光地での適用 屋内で用いることを考えても、もう 1 つ問題点がある。屋内であっても、観光地などでは何かし らの撮影をしたい場合というのはあるだろうが、その際に赤外線であるが故のデメリットが発生し Group Report of 2011 SISP - 54 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 図 6.2 照明の近くに置いたマーカー てしまう。どういうことかというと、このシステムは赤外線 LED によって赤外線光を発し、それ をカメラなどで認識することで AR のサービスを提供しようというものであるが、これが意味する ことは、赤外線光は AR の利用を求めていないカメラにも当然光が写りこんでしまうということで ある。肉眼で見る分には赤外線光は決して見えることはないので、目立たない外装を装備したデバ イスをマーカーとしたり、何かに埋め込んでそれをマーカーとして使う分には景観になじんでいる と言うことは出来る。しかし、そこにマーカーが存在することによって単に記念撮影などをしたい だけの場合、赤外線光が邪魔になる可能性は大いにある。この点も解決が難しい課題の 1 つであ り、今後様々な場所で場所で適用しようということを考えた場合に避けて通れない問題である。そ ういった AR を利用しない目的でカメラを向ける可能性のない場所、例えばカメラによる写真撮影 が禁止されている美術館などといった場所で情報を提供するツールとして使うことはもちろん可能 である。しかし、多種多様な目的を持った多数の観光客が来る可能性のある場所などでの利用を考 えると、この問題も検討していく必要がある。 (※文責: 大御堂尊) 6.1.4 iPhone アプリ化の障害 1 年間を通じた活動の目標の 1 つに、手軽に扱えるという付加価値で普及させるため、スマート フォンアプリ化を目指すというものがあった。その過程は第 4.2 節で述べたとおりなのだが、ここ でも赤外線 LED を用いることが 1 つのネックとなることが明らかになった。スマートフォンとい えば有名な Apple 社の iPhone は、iPhone4 以降の機種で、カメラに赤外線を除去するフィルター が張られているのである。私物の iPhone4 で実験したところ、マーカーの光が全く見えないとい Group Report of 2011 SISP - 55 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality うこともないが、それでも認識精度には無視できない悪い影響を及ぼすことがわかった。また、現 在発売されている AndroidOS を用いたスマートフォンでも一部メーカーによって製造された機種 では同様の赤外線除去フィルターが装着されている場合がある。タブレット端末という意味では、 iPad2 も実験したところ同様に認識精度が著しく落ちることがわかった。 (※文責: 大御堂尊) 6.2 6.2.1 ハードウエア 耐水性 さまざまな広い環境で用いることを考えた場合、紙のマーカーと違って耐水性を持たせるのは付 加価値になるのは 4 章で述べたとおりである。特に、本グループの技術を確立できた際には、夜間 であるならば屋外での使用も考えられる。ビジネスプランの 4.5.1 節で述べた、イルミネーション として使う案もその 1 つであると言うことが出来る。そこで、風雨にさらされることを考えると、 現段階の生活防水程度では不十分であることがわかる。 また、現状の耐水加工を施されたデバイスは、電池交換やプログラムの書き換えには困難が伴う ものであるので、ゴムパッキンを用いるなどしてその点を容易にすることも求められる。 (※文責: 大御堂尊) 6.2.2 耐久性 現状のデバイスの課題として、耐久性が低いこともあげられる。落下させれば容易に壊れてしま う他、長時間連続使用していると回路の不具合から正常動作しなくなることもある。現に、見晴公 園でのデモムービー撮影のために車で 20 分ほど輸送したところ、大学で正常動作していたものが 動作しなくなるという現象も発生した。今一度耐久性の見直しを行い、より強いデバイスを作っ ていくことが求められる。回路の動作に特化したプリント基板にしてしまうことも有効な手段で ある。 (※文責: 大御堂尊) 6.3 スマートフォン向けアプリ開発 何度も述べられていることではあるが、やはり観光地などで広く利用してもらうためには認識側 を PC のみではなく、スマートフォンやタブレット端末などの容易に持ち運びが出来るものが望ま しい。後期で取り組もうとしたことではあるがスケジューリングに難があり、実現には至らなかっ た。もう少し時間があれば、プログラミングの勉強会をもっと詳しく行い、実現に近づくことは出 来たと思う。 (※文責: 大御堂尊) Group Report of 2011 SISP - 56 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 6.4 認識精度の向上 現在のシステムには 2 つの意味で認識が甘い部分がある。 まず 1 つめとしては、現段階、改良を重ねてはいるがそれでも認識に時間がかかってしまうこと がある他、誤認識を起こし、画像 A が表示されるはずのところが別な信号を読み込んだときに表 示される画像 B が出てきてしまうなど、プログラムの改善は長い課題となってしまっている。 もう 1 つは、紙のマーカーの得意とするところとして、マーカーを傾けると表示物も傾くといっ た方向性の意味での認識である。デモムービーも結局は 5 章で述べたように 2D の画像が出てくる のみなのでリアリティに欠ける点は認めざるを得ない。3D のオブジェクトを制作し、マーカーを 斜めから読み込むと表示物も斜めから覗いたような感じになる、といったことは必要であろう。現 在、常時点灯している四隅の赤外線 LED を認識して四角形を構成しているというプログラムなの で、そこで長方形ではなく台形や平行四辺形を認めた場合、オブジェクトを傾けるなどといった処 理が要求されてくる。 (※文責: 大御堂尊) Group Report of 2011 SISP - 57 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 第 7 章 展望 第 6 章で述べたような課題を克服し、本グループの技術を確立させることが出来たならば、様々 な応用例が期待できると考えられる。第 4.5∼4.7 節で述べたようなプランはほぼ実現できるので はないだろうか。さらに踏み込んだ展望としては、紙のマーカーとは異なり、1 つのマーカーで複 数のパターンを表示できる、という長所を活かして、マーカー間を無線 LAN で結び、ネットワー クを介してサーバと接続して操作する、といったことも可能である。例えば、ある一定の施設や公 園の中で広告・宣伝を表示したり、また、情報を表示してそれに基づいた観光といった使い方も出 来るだろうし、表示内容を変えたくなった場合は中央のサーバを操作することで、一斉に表示パ ターンを変えたり、特定のマーカーのみ変えたりといったことも可能になるだろう。それでいて AR サービスを利用しない人にはマーカーは環境になじんでいるので気にならない、というのはま さに理想型である。こういったことが実現できれば AR をより日常に浸透させ、身近な存在となる 1 つの手法となり得るだろう。これで本グループおよび本プロジェクトの目的は完遂できるのでは ないだろうか。 (※文責: 大御堂尊) Group Report of 2011 SISP - 58 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 第 8 章 プロジェクト全体としての管理体系及 び活動報告 8.1 本章概要 本章は、「拡張現実感を用いた新規技術の提案と開発」プロジェクトに属する「新型マーカー開 発(グループ A)」と「直感操作型 AR 開発(グループ B)」の両グループを含めた、プロジェクト 全体としての管理体系及び中間発表会をはじめとする共通活動に関して、報告するものである。 本プロジェクトは、プロジェクトリーダーをグループ A 及び B のどちらにも所属させず、プロ ジェクト全体としてのマネージメントを行う管理体系をとったため、前述の各グループとしての報 告とは異なり、両グループを含めたプロジェクト全体としての報告が必須となる。 (※文責: 今村優太) 8.2 プロジェクト全体の組織体系 本プロジェクトは、図 8.1 に示すように、プロジェクトリーダーを中心として、 「新型マーカー開 発」 、 「直感操作型 AR 開発」の 2 つのグループに分かれ、それぞれのグループにグループリーダー を配置するという組織体系でプロジェクトを組織した。 この組織体系の目的は、マネージメントと開発などの活動を完全に分担し、個々人の活動内容を 明確にするためである。また、「新型マーカー開発」と「直感操作型 AR 開発」の両グループの活 動内容が、「拡張現実感」という共通した技術を用いること以外、異なる手法を用いて開発を行う ため、客観的にマネージメント及びプロジェクト全体として統率を図るためでもある。このような 組織体系をとった経緯としては、プロジェクトリーダーがどちらかの一方のグループに所属してし まった場合にいくつか懸念される点があったためである。中間発表会や成果発表会などのプロジェ クト全体としてマネージメントが必要な活動と、開発や実験などの各グループとしてのマネージメ ントまたは開発を一人が両立して行う組織体系をとった場合、グループとしてのマネージメントや 開発で予期せぬ問題などにより遅延が起き、自分が所属するグループの対応に追われ、プロジェク ト全体としてのマネージメントに影響を与え、もう一方のグループの進捗にも悪影響を与えてしま う可能性があるという懸念。さらに、プロジェクト全体としての活動と各グループの活動の両方が 忙しくなる前期末や後期末にメンバー一人に重要な仕事が集中してしまうという懸念。以上のよう な懸念を事前に回避するためにこのような組織体系をとった。 (※文責: 今村優太) 8.3 8.3.1 プロジェクトマネージメントの方法と評価 プロジェクトマネージメント概要 本プロジェクトの 1 年を通しての基本的なマネージメントの流れとして、 Group Report of 2011 SISP - 59 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 図 8.1 組織体系イメージ図 1. 各グループの前期または後期の目標及び成果物の完成イメージ設定。 2. 年間スケジュールの設定(前期プロジェクト開始時のみ)。 3. 前期または後期の大まかなスケジュールの設定。 4. 毎月、月別の詳細スケジュールの設定。 5. 毎週、進捗報告会を設け、両グループの進捗状況の情報共有。 6. その他、適宜議論の場を設け、スケジュール調整などを行う。 以上のような流れで、プロジェクト全体のマネージメントを行なった。 このようなマネージメントの流れをとった目的として、プロジェクト学習では、中間発表会及び 成果発表会という活動の節目とも言える期限が存在するため、1 年という活動の全体像と各期日を もとに、スケジュールを逆算して立てることで、1 年の活動の流れをイメージするためである。ま た、前期または後期の成果物の完成期日などの具体的な期日を設け、前期または後期の開発スケ ジュールを逆算して立てることは、全体の完成イメージから、開発を行う個人としては、自分の作 業目標や作業状況が把握しやすいので、リーダーなどのマネージメント側から見ると、各メンバー は全体からみた現在の状況報告がしやすく、全体の状況把握が容易に可能であるので、進捗管理が 行いやすいためである。 さらに、年間、前期や後期、月別と長期スケジュールから短期スケジュールに順々に期間を短く したスケジュールを立てることで、個人及びグループの開発などの短期目標が立てやすく、なおか つ、問題などによりスケジュールの遅延が起き、再調整が必要な際にも短期のスケジュールを立て Group Report of 2011 SISP - 60 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality ているため、スケジュール調整がしやすく、長期スケジュールに影響を与えにくくなる。また、定 期的に報告会を行い、プロジェクト全体で情報共有を行うことで、様々な状況に対して柔軟に対応 することもできるとう利点もある。 (※文責: 今村優太) 8.3.2 前期プロジェクトマネージメント 前期プロジェクトマネージメントとして、以下の Web サイトやツールを用いてマネージメント を行なった。 1. メーリングリストを用いた連絡 2. Skype を用いた会議及び情報共有 3. 「サイボウズ Live」を用いた進捗管理及び情報共有 4. 「SVN」を用いたファイル共有による情報共有及び開発時のバックアップ管理 また、その他の手段として、「定期報告会」や「活動日誌の提出」などの手段を用いて前期のマ ネージメントを行なった。 (※文責: 今村優太) メーリングリストを用いた連絡 メーリングリストを用いた連絡を行なった目的としては、メンバー間及び担当教員とメンバーと の間の連絡を全体で共有するためである。 メーリングリストは、「担当教員を含めたオフィシャルなメーリングリスト(以下オフィシャル メーリングリストとする。)」と「メンバー間のみメーリングリスト(以下メンバーメーリングリス トとする。 ) 」の 2 つを使用した。メーリングリストを分けた意図としては、プロジェクト全体とし ての連絡とメンバー間としての連絡の情報を分けることで、情報の種類の差別化と必要以上の情報 を担当教員に共有させないためである。具体的には、オフィシャルメーリングリストは、リーダー やメンバーと担当教員とのメールのやり取りをメンバー全員で把握することで、プロジェクト活動 内でプロジェクト全体の情報がメンバーが把握出来ていない状況をつくらないためであるが、メ ンバー間やグループ間の開発などの細かな連絡は、プロジェクト活動には必要な連絡であるが、担 当教員には「定期報告会」で、1 週間の活動をまとめたものを用いて情報共有する場を設けている ため、開発などで必要な細かな連絡をオフィシャルメーリングリストで連絡することは、必要以上 のメールを送信することになるのである。加えて、2 つのグループのメーリングリストをメンバー メーリングリストとしてまとめた理由として、第一に、メーリングリストを必要以上に増やすこと によって、プロジェクト全体としての情報共有の手段を複雑化しなように防ぐためである。複雑化 を防ぐことで、連絡手段自体が使いやすいものになるである。第二に、プロジェクトの組織体系と して、プロジェクトリーダーが両グループに属さないため、両グループの連絡を 1 つのメーリング リストで行い、オープンにすることで、プロジェクト全体として情報共有を行い、進捗管理を行い やすくするためである。 (※文責: 今村優太) Group Report of 2011 SISP - 61 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality Skype を用いた会議及び情報共有 Skype を用いて会議や情報共有を行なった目的として、メールなどと異なり、多人数がリアルタ イムでチャット会話が可能であることと、ネット環境さえあれば、自宅で会議への参加が可能であ ることなどから、様々なコースが集まったプロジェクトメンバー個人のスケジュール調整などが行 いやすく、活動時間外の話し合いが行いやすいためである。また、ファイルの送信などが可能なた め会議の場で作成したファイルを即時に共有することが可能である。 使用用途としては、主にグループ内のチャット会議やプロジェクト活動外での会議の予定合せな ど、即時にメンバーの意見が欲しい場合などに使用していた。また、メールの添付などと異なり送 信するファイルの大きさに制限がないため、メール添付では共有できないファイルも容易に共有で きる。 (※文責: 今村優太) 「サイボウズ Live」を用いた進捗管理及び情報共有 「サイボウズ Live」とは、クラウド型の無料コラボレーションツールであり、グループスペース を作成することで、そのグループスペースに所属するメンバーの個人スケジュールや自分のタスク を ToDo リストに登録することで、グループスペース内でそれらの情報を共有することが可能で ある。 「サイボウズ Live」を利用した目的は、11 名もいるプロジェクトメンバーの講義スケジュール 及び個人スケジュール、さらにプロジェクトの月間スケジュール、及び個人の作業スケジュールな どもを一元管理及び共有することと ToDo リストを用いて、作業の進行状況を報告してもらうこと で、メンバー全員及びプロジェクトの進捗管理を行うためである。 (※文責: 今村優太) 「SVN」を用いたファイル共有による情報共有及び開発時のバックアップ管理 「SVN」とは、「Subversion」と呼ばれる、バージョン管理システムのことであり、サーバー上 に共有フォルダを作成することで、プログラムなどのファイルの共有を行うことができる他、リビ ジョンと呼ばれるフォルダ内の情報に対し、更新順に番号を付加することでシステム上で更新前の フォルダ内の情報に戻す機能が存在する。 主な使用用途としては、フォルダ単位でのファイル管理が可能であるので、活動日誌やその他プ ロジェクト活動で必要なファイルの共有をフォルダ単位で情報の種類を分類し、共有である。ま た、ソフトウェアの開発時に、分割して作成したプログラムバックアップやプログラムの統合の際 のプログラムのプロジェクトフォルダ単位での共有、バグの発生時のバージョン管理による迅速な デバックなどに使用した。 (※文責: 今村優太) 前期スケジュールとマネージメント 両グループ共に前期スケジュールとしては、 • 4 月:前期目標及び前期成果物イメージの設定 Group Report of 2011 SISP - 62 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality • 5 月:開発に必要となる基礎技術の勉強会 • 6 月:前期成果物の開発 • 7 月:中間発表会の準備及び中間発表会 というスケジュールで活動を行なった。 前期のマネージメント流れは、前述したプロジェクトマネージメントの流れにそって活動を行 なった。プロジェクト活動開始と同時に、学生立ち上げである本プロジェクトは、プロジェクト全 体としての目的は明確であったので、年間スケジュール及び各グループとしての明確な前期の目標 と成果物イメージの設定の議論を各グループで行い、1 年及び前期の活動の流れの明確化を行なっ た。これらの議論を最優先で行なった目的としては、マネージメントを行う上で、開発や発表会準 備などの期日などを明確にし、それらを基準に開発の進度を比較し、進捗管理を行うためである。 定期的な進捗管理としては、毎週水曜日のプロジェクト活動時間開始時に、担当教員を含めた報 告会を行い、各メンバー及びグループリーダーから毎週個人及びグループの進捗報告を日誌という 形で、SVN の指定のフォルダに提出してもらい、それらをまとめたものをこの報告会で共有する ことで、プロジェクト全体としての情報共有及び進捗管理を行なった。また、その他の進捗管理の 方法として、サイボウズ Live を用いてスケジュールの共有を行い、ToDo リストを用いて個人の 細かな開発や作業のタスク単位での進捗管理を行なった。 「メーリングリスト」や「サイボウズ Live」及び「SVN」の使用方法は、情報などの管理を行う ために細かくルール化することで、全員が共通の使用方法で使用することが可能となり、どのメン バーが見ても目的の情報を即座に共有することが可能となる。 定期的な進捗管理のほかは、適宜プロジェクト活動終了 10 分前などに簡単な報告会などを行い、 直接的な話し合いによる進捗管理と情報共有を図った。また、開発時に問題などが発生した場合に は、即座に話し合いの場を設けることによって、スケジュールの再調整や問題の解決策の模索など を行い、進捗への影響を最小限に抑えるようにした。 加えて、プロジェクトリーダーを両グループに所属させない組織体系を取ることで、プロジェク ト活動時間などは、両グループのメンバーとのコミュニケーションを行なったり、会議に加わるこ とで、議論や開発に対して客観的なアドバイスを行うことが可能であるため、様々な状況にも柔軟 に対応でき、かつ議論などの場で議論が平行線になることも防ぐことが可能である。 (※文責: 今村優太) 8.3.3 後期プロジェクトマネージメント 後期プロジェクトマネージメントとしては、前期と異なり成果発表会までの活動期間が1ヶ月半 短期間なため、後期スケジュールと月別スケジュールは同一のものと考え、マネージメントを行 なった。また、前期の活動終了時点で、「サイボウズ Live」や「SVN」によるマネージメントに対 して、メンバーから使いずらいなどの意見があったため、後期マネージメントでは、1ヶ月半とい う短期間であることなども考慮し、活動後などの報告会によって直接の話し合いによる情報共有を 有効的に利用し、マネージメントを行なった。 (※文責: 今村優太) Group Report of 2011 SISP - 63 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 前期マネージメントとの変更点 前述したように、後期マネージメントでは「サイボウズ Live」と「SVN」によるマネージメント を一切行わず、基本的にメールによる日誌提出や活動後に直接報告会を開くことによるマネージメ ントを行なったことが変更点である。その他、「定期的な報告会」や「スケジュールの設定」など の基本的なマネージメントは、変更せず活動を行なった。 (※文責: 今村優太) 後期スケジュールとマネージメント 両グループともに後期スケジュールとしては、 • 9 月下旬及び 10 月下旬:後期目標及び後期成果物イメージの設定 • 10 月中旬から 11 月:後期成果物の開発、函館アカデミックリンクへの参加 • 12 月:成果発表会の準備及び成果発表会 というスケジュールで活動を行なった。 後期マネージメントも基本的に前述した変更点以外は同様にマネージメントを行なった。短期間 での開発であり、問題などへの早急な対処や詳細な進捗状況の確認と把握が重要となるため、前期 以上にメンバー間のコミュニケーションを密に取れるよう、活動中及び活動後に話し合いの場を多 く設けた。 (※文責: 今村優太) 8.3.4 その他マネージメント その他のマネージメントとして、プロジェクト活動を円滑に行うために、メンバー間の人間関係 のトラブルに関しての対処として、人間関係のトラブルがあった場合は、即座に当人同士の話し合 いの場を設け、プロジェクトリーダーやグループリーダーなどの第三者を交え、当人同士が納得す るまで話し合うことで、迅速に解決し、プロジェクト活動に影響が出ないよう考慮した。 (※文責: 今村優太) 8.3.5 前期プロジェクトマネージメントと後期プロジェクトマネージメント比較 と評価 プロジェクトマネージメントの前期と後期の比較としては、 • 後期の進捗管理及び情報共有に「サイボウズ Live」を利用しなかった点 • 後期のバージョン管理や情報共有に「SVN」を利用しなかった点 の 2 点が上げられる。以上の比較点を分析するために、プロジェクトマネージメントに関する評価 をプロジェクトメンバーに対して簡単なアンケートを行なった。アンケート内容は、上記の 2 点の 相違点に関してと、プロジェクトマネージメント全体に対しての意見を記述するものである。 まず、 「サイボウズ Live」に関しての意見だが、 Group Report of 2011 SISP - 64 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality • ルールが複雑であったため、使いづらかった。 • 初めて使用するツールであるため、使い方などの把握に時間がかかり使うのが手間になった。 • ルールを複雑化したために、サイボウズ Live の使用が負担になった。 • 個人で使用しているタスク管理ソフトと混同したため使用しずらかった。 などという意見が多く、「初めて使用するツールであること」や全員が共有するための方法として 作成したルールが使用する立場からは、「使用することが負担になった」という点が、前期にメン バーから指摘された点である。また、「サイボウズ Live を使用しなくても十分に情報共有する場 があった」という指摘もあったように、「日誌の提出」、「定期報告会」、その他適宜グループやプロ ジェクト全体で話し合いの場を設けていたので、それぞれの情報共有の手段で重複した内容の共有 を行なっていた。 以上のことから、「サイボウズ Live」によるマネージメントは、使用ルールを複雑にしてしまっ たことによる、使いづらさ、初めて使用するツールにより、使いこなすことが負担になってしまっ た、情報共有の機会が多く存在したために、サイボウズ Live を使用しての情報共有や進捗管理を 行う必要性が低くなってしまった、という点により、うまくいかなかった。 次に、 「SVN」に関しての意見だが、PC 上での動作でエラーが発生し、使用ができなくなった。 アップロードに時間がかかるため、バックアップの手段として使用しづらかった。学内と学外で使 用する際に、設定を変更する必要があり、使用しづらかった。プログラムなどの共有する必要性 があまりなかったことや、Skype や USB を用いて、データをやり取りすることの方が容易であっ た。という点から、「SVN」によるマネージメントを行わなくなった原因の第一に上げられるもの は、「PC 上での動作でエラーが発生し、使用できなくなった。」である。「SVN」の使用目的とし て、情報共有というものがある以上、メンバー全員が使えるものでなければ、目的を達することが できないため、必然的に利用することを止めざるを得ないのである。また、このような状態になっ た原因は、事前に「SVN」に関する動作確認を十分に行えなかったということもある。 さらに、「SVN」をバージョン管理やバックアップとして開発担当のメンバーが使用しなかった 原因としては、ソフトウェアの開発が少人数で行われたことや、プログラムを分割して開発を行 なってはいたものの、プログラムを共有する際には、USB を使用したほうが開発者の負担になら ないという点。また、バックアップの管理も「SVN」で行うには、アップロードに時間がかかる点 やデバックの方法などは既に開発者個人で個人的なやり方が確立しており、プロジェクトマネージ メントとして提供する必要がなかったという点が上げられる。 以上のことより、 「SVN」は、PC による動作の個体差が多く、動作確認が不十分であったため、 プロジェクトの情報共有のツールとしてその使用目的が果たせず、かつバージョン管理の手段とし ても、使いずらさや個人でバックアップやデバックの方法が確立していたので、使用する必要がな かったという点から、マネージメントには使用できなくなった。 (※文責: 今村優太) 8.3.6 プロジェクトマネージメントまとめ プロジェクトマネージメントのまとめとして、前期マネージメントと後期マネージメントを変更 したことは結果として、短期間で開発を行う上で適切な変更であった。また、マネージメントにお いて、直接の話し合いや Skype など反応が即座に返ってくる方法による情報共有の方が効果的で あった。その他、日誌や定期報告会などの場を設け、定期的にプロジェクト内の情報共有を行うこ Group Report of 2011 SISP - 65 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality とで、個々人の活動状況が把握しやすく、進捗管理が容易に出来た。 (※文責: 今村優太) 8.4 プロジェクト全体としての活動報告 8.4.1 年間スケジュール 1 年間の活動スケジュールとしては、 • 4 月:前期目標及び前期成果物イメージの設定 • 5 月:開発に必要となる基礎技術の勉強会 • 6 月:前期成果物の開発 • 7 月:中間発表会の準備及び中間発表会 • 9 月下旬及び 10 月下旬:後期目標及び後期成果物イメージの設定 • 10 月中旬から 11 月:後期成果物の開発、函館アカデミックリンクへの参加 • 12 月:成果発表会の準備及び成果発表会 である。 (※文責: 今村優太) 8.4.2 通常活動 前期、後期の目標及び成果物イメージの設定議論の活動では、活動時間及び時間外また、Skype によるチャット会議などを利用し、目標と成果物の設定を行い、それらの目標をもとにスケジュー ルの設定を行なった。 5 月の活動である「開発に必要となる基礎技術の勉強会」では、目的として、進捗報告やメン バー間の議論の際に、専門用語などの情報が問題なく共有でき、かつどのメンバーがどの役割に なっても活動に参加及び開発のフォローができるようにするためである。勉強会は、各メンバーが それぞれ一つ基礎技術の勉強を担当し、メンバーに教えるという形式をとった。これによって、教 える側は他人に教えることができるようその技術に関して熟知することができ、教わる側は、担当 メンバーが簡潔にまとめた教材を使用して勉強を行うので、短期間で開発に必要な技術を効果的に グループ内で共有することが可能である。 前期及び後期の成果物の開発は、両グループとも少なからず問題は発生したものの、マネージメ ントでも述べたように、密にコミュニケーションをとり、報告会などで常にメンバー間の情報共有 を行なっていたため、問題発生に対して即座に対応し、プロジェクト及びグループリーダーを交え て解決方法の模索やスケジュールの再調整を行なったため成果物が未完成になるなどの大きなミス は未然に防ぐことが出来た。 (※文責: 今村優太) Group Report of 2011 SISP - 66 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 8.4.3 中間発表会 スケジュール及び準備 中間発表会の準備は、各グループの立てたスケジュールとは別スケジュールを立て、プロジェク トリーダー及びイラストレータなどを使用できるメンバーと開発が終了したメンバーを順々に中間 発表会の準備作業へと移行させた。このような手段をとった目的としては、中間発表会の準備と同 時進行で、各グループの開発担当メンバーには開発及び成果物が完成した場合には、中間発表会で トラブルがないように微調整を行なってもらうためである。 準備スケジュールとしては、約 3 週間前から準備を開始し、2 週間前には担当教員に対してポス ター及びスライドの草案の提出、1 週間前には、担当教員に対して、ポスター及びスライドの完成 品の提出、プレゼンテーションの流れを確認していただき、以降中間発表会までは、プレゼンテー ションのリハーサルを続けるというスケジュールを立て、実行した。 中間発表会のプレゼンテーションの目標として、本プロジェクトが使用している拡張現実感とい う技術は、あまり認知されていないので、第三者にも拡張現実感という技術及び私たちの活動が分 かりやすく伝えられるような発表の準備を行なった。そのために、プレゼンテーションリハーサル では、専門用語などの使用や説明順などをメンバー内で評価し合いながら行い、スライドも文字に よる説明ではなく、図や写真による説明を多く取り入れた。 (※文責: 今村優太) ポスター及びスライドの作成 中間発表に向けた準備として、プレゼンテーションのためのスライドと展示用のポスターを制作 した。 スライドの制作はプレゼンテーションの練習を繰り返す中で行われた。これは、スライド中の説 明文を極力減らす目的から、図やイラストが必要な部分を明確にし、プレゼンターが補うべき事柄 を明確にするためである。図やイラストは順序や個々の項目の関連性を表すのに秀でていると考 え、現在スマートフォンで提供されている拡張現実感の問題点や、本プロジェクトにおいて我々が 開発したシステムの内部処理の説明などに多用した。プレゼンターはこれらの図やイラストの内容 を説明する形でプレゼンテーションを行うこととした。 ポスターの制作はイメージ写真による視線の引きつけと、本プロジェクトにおけるキーフレーズ の強調に重点を置いた。本プロジェクトの中間発表ではポスターを用いたプレゼンテーションは行 わない。従って、ポスターのみで本プロジェクトの発表内容を観衆に伝える必要があった。一方、 観衆は他のプロジェクトの発表ブースを覗きながら本プロジェクトの発表ブースにやって来る。そ のため、遠くからでも本プロジェクトのポスターに視線を向けさせる必要があった。文字よりも写 真の方が瞬時に多くの情報が伝わり、興味に繋がるだろうと考え、大きなイメージ写真を用いるこ とにした。このイメージ写真は本プロジェクトで開発したシステムを動作させている様子を撮影し た物である。(図 8.2) このイメージ写真で本プロジェクトに興味を持った観衆に次の情報として本プロジェクトにおけ るキーフレーズを提示する。このキーフレーズは見出しとした。観衆が歩きながらポスターを見る ことを考え、おおよそ 5 6 メートル離れた位置から読めるよう、見出しの文字の大きさ、ウエイト を選択した。大きな文字は遠くからでも目に入りやすいことから、キーフレーズの重要度と文字の 大きさを比例させることが適当だと考えた。観衆が近寄りながら読むことを想定しているので、本 Group Report of 2011 SISP - 67 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality プロジェクトにおいて最も重要なキーフレーズを最も大きくした。次に重要なキーフレーズはそれ よりもやや小さく、さらにそれぞれのキーフレーズの説明文、図やイラストの説明文は 1 メートル 程度から読めるような大きさにした。 使用したフォントはモリサワの新ゴファミリーである。このフォントファミリーは JR の駅構内 の案内などに使われていることから、視認性に優れ、遠くからでも判読しやすいと考え、本プロ ジェクトのポスターに使用した。 図 8.2 システム動作イメージ図 (※文責: 小林真幸) 8.4.4 中間発表会及びその評価 中間発表会はエレクトロニクス工房を使用して行い、開発したデモなどの動作にも問題は発生せ ず、事前のリハーサル通り中間発表会は進行した。 中間発表会に参加していただいた視聴者のアンケートの「発表技術」と「発表内容」の点数評価 は以下の表○のようになった。 前半と後半のアンケートを集計時にまとめてしまったことで、前半と後半別々の評価の比較は できなかったが、表○のように比較的高い点数であった。中間発表会での主な改善点の指摘とし ては、 Group Report of 2011 SISP - 68 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 表 8.1 発表技術 発表内容 8.26 8.06 中間発表会アンケートの点数平均 • ビジネスプランに関して提案を行なっていたが、その提案が曖昧である。 • 設定した目標が曖昧である。 というものが多く、前期はプロジェクトの基盤となる技術の開発を目標とし、活動していた点を考 えると、指摘通り前期の発表では、ビジネスプランとして後期の活動を提案するのではなく、具体 的に前期で開発した技術を用いた成果物のイメージの提案を行うべきであった。 一方で、評価された指摘点としては、 • デモを使用して、発表がわかりやすかった。 • 声が聞き取りやすかった。 • 知識がない人にとっても、理解しやすかった。 などの指摘が多く、発表内容、発表技術の点数もふまえ、中間発表会の目標を達成したと考えら れる。 (※文責: 今村優太) 8.4.5 函館アカデミックリンク 函館アカデミックリンクとは、函館市内の大学の研究発表会及び交流するイベントである。本プ ロジェクトは、中間発表会の時点で基盤技術の開発が終了し、デモンストレーションなど外部に発 表できるだけの成果物があったことや成果発表会に向け、外部発表会への参加などの経験をしたい というメンバー全員の希望から、参加した。 (※文責: 今村優太) アカデミックリンク参加内容 アカデミックリンクの参加内容としては、ブースセッションと呼ばれる展示形式の発表であっ た。発表内容としては、主に中間発表会で使用したポスター及びデモンストレーションを使用し、 その他として、本プロジェクトの活動を簡潔にまとめたムービーを作成し流すことにより、簡単に 見て回る参加者の方々にも簡潔に本プロジェクトを理解できるよう配慮した。 (※文責: 今村優太) アカデミックリンク準備 アカデミックリンクに向けての準備として、本プロジェクトのプロモーションビデオを制作し た。プロモーションビデオを制作した理由として、アカデミックリンクではプレゼンテーションの ための時間が取られておらず、聴衆は好きずきにブースを渡り歩くことができるため、短時間で本 プロジェクトの活動を伝える必要があったからだ。 Group Report of 2011 SISP - 69 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 演出意図としては、成果物をより美しく見せることを心がけた。制作したデバイスを映すシーン ではデバイス自体を回転させているのだが、これにはオフィスチェアの脚の回転機構を流用した。 オフィスチェアは逆さまにして、その上に台を置き、デバイスを載せて、カメラに写らないところ から手で回転させて撮影した。 その他、光る部分を持つデバイスは暗所で撮影し、暗闇で光る怪しい機械を思わせることで、観 衆の興味をそそることを狙った。 また、遠近感や被写体の強調のためにフォーカスを前後させる方法や、カメラの位置を目線位置 よりも高く置くことで活動風景を俯瞰で見渡すような撮影もした。 編集ではなるべく説明的な文章は用いないことと、シーンの切り替えをテンポよく行うことを心 がけた。そのために、映像中でもっとも大切なキーフレーズのみをテキストとして映像に添えた。 また、シーンの切り替えでは、上下左右に動きのあるトランジションを加えた。 (※文責: 小林真幸) アカデミックリンク当日の様子 アカデミックリンク当日の様子としては、多くの参加者の方に興味を持っていただいたようでは あるのだが、拡張現実感という技術の説明が口頭説明では理解しにくく、本プロジェクトの活動を 十分に発表出来ていたとは言えなかった。また、事前の準備が不十分だったために、当日にデモン ストレーションが動作しないなどのトラブルが発生し、アカデミックリンクの前半では、せっかく 興味を持って来ていただいた参加者の方々に発表を見せることができなかった。 一方で、デモンストレーションが正常に動作している状態では、身に来ていただいた参加者の 方々にも理解していただけたようなので、その点は評価するべき点である。 加えて、アカデミックリンクに参加したことにより、第三者に対して、拡張現実感という技術の 口頭での説明の難しさを知ることが出来たという点は、成果発表会の改善点として事前に知ること ができ、よかった点である。 (※文責: 今村優太) 8.4.6 成果発表会 スケジュール及び準備 成果発表会の準備は、中間発表会の準備と同様の手段をとり、準備を行なった。 準備スケジュールとしては、中間発表会の経験とスライドなどのデータを一部流用し、準備が可 能かつ、プレゼンテーションの流れなども中間発表会同様の流れで可能であると判断し、約 2 週間 前から準備を開始した。8日前には担当教員に対してポスター及びスライドの草案の提出、1 週間 前には、担当教員に対して、ポスター及びスライドの完成品の提出し、プレゼンテーションの流れ を確認していただき、以降中間発表会までは、プレゼンテーションのリハーサルを続けるというス ケジュールを立て、実行した。 成果発表会の目標も、中間発表会同様、第三者に対して分かりやすい発表を目標とした。また、 アカデミックリンクで経験した改善点として、拡張現実感という技術が、口頭や文章、図を用いて の説明では伝わりにくいということがあったので、成果発表会では実際に拡張現実感の技術を用い たデモンストレーションを用いて説明するように改善した。 また、中間発表会を行なった経験として、実際に発表を視聴するだけでなく、ポスターなどのみ Group Report of 2011 SISP - 70 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality でも十分本プロジェクトの活動を理解してもらうために、エレクトロニクス工房の前のポスターの 展示場所で、実際に拡張現実感のデモンストレーションを行なったり、新型マーカー開発が開発し た新型マーカーを実際にポスターに埋込み使用して見せるという発表形式の改善も行なった。 (※文責: 今村優太) ポスター及びスライドの作成 最終発表に向けた準備として、プレゼンテーションのためのスライドと展示用のポスターを制作 した。 スライドは中間発表と同様に、プレゼンテーションの練習を通して、文章の更正を行った。ま た、図やイラストはスライドに適したレイアウトに作り直したり、新たに制作することで、スク リーンに投影した時の聴衆からの見やすさの向上を目指した。また、これは同時にプレゼンターの プレゼンテーションのしやすさ向上にもつながった。 ポスター制作では、中間発表の物よりも遠くからでも読みやすく、また印象的であることを目 指した。その結果、従来型の A1 縦のフォーマットから A1 横のフォーマットに変更した。これに よって、横長のイメージ写真をポスターの一面に印刷することができた。ポスター一枚をイメージ 写真とすることで遠くから見た観衆により興味を持ってもらえると考えた。また、興味を持った聴 衆がポスターに近づいたときに概念図や説明文が読めるように文字の大きさ、ポイント、色に気を 配った。 使用したフォントは中間発表のポスターと同様にモリサワの新ゴファミリーを用いた。最終発表 のポスターでは文字同士のすき間を調整し、印刷物としての完成度を高めた。 最終発表のポスターで使用したイメージ写真は Photoshop や Illustrator を用いて加工、あるい は合成をした。Photoshop の合成モードの使い方を覚えたことにより、Illustrator で制作したイ ラストを写真中に綺麗に合成できるようになった。 最終発表のポスターには新型マーカー開発班の成果物である赤外線マーカーを組み込んだ。これ は、赤外線マーカーのコンセプトである周囲の環境に自然に馴染むということをデモとして観衆に みせるためである。赤外線マーカーを組み込んだポスターには一人のプレゼンターをつけて、本プ ロジェクトの発表ブースの入り口で新型マーカーのデモを行った。 (※文責: 小林真幸) 8.4.7 成果発表会及びその評価 成果発表会は、中間発表会同様エレクトロニクス工房を使用して行い、概ね中間発表会同様リ ハーサル通り進行したが、前半の直感操作型 AR 開発のデモンストレーションでは、デモンスト レーションのトラブルで、視聴者に見せることができないという事態が発生した。 成果発表会に参加していただいた視聴者のアンケートの「発表技術」と「発表内容」の点数評価 は以下の表 8.1 のようになった。 まず、発表技術、発表内容に関して、前半と後半共に若干の差があるのは、前半にデモンスト レーションのトラブルがあったためと考えられる。実際に、 • 不具合が残念だった。 Group Report of 2011 SISP - 71 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 前半平均 後半平均 全体平均 発表技術 8.15 8.59 8.37 発表内容 8.35 8.69 8.52 表 8.2 成果発表会アンケートの点数平均 • 不具合も想定して欲しかった。 という指摘があったことからも、準備不足や想定不足であった。しかし、全体的な点数や評価を見 ると、中間発表会同様評価は良いものであった。後半の内容に関しては特に多く指摘されていた部 分はなかった。 また、前期で指摘があったビジネスプランの提案に関しては、後期目標の設定時点で、改善を行 い、後期の目標を将来的に使用する一例としてのアプリケーションの開発とする目標に改善した。 よかった指摘としては、ほぼ中間発表会と同様に、 • デモや映像を交えての発表がわかりやすかった。 • はっきりとした声で聴きやすかった。 などという意見が多く、中間発表会同様、成果発表会でも第三者にわかりやい発表会をという目標 は達成したと言える。 (※文責: 今村優太) 8.5 まとめ プロジェクトマネージメント及び活動のまとめとして、本プロジェクトは学生の立ち上げによる プロジェクトであり、その立ち上げの目的として、「学生主導で、企業と同様にひとつのプロジェ クトを1から運営することで、今後に活かせる経験をする。」というものもあったが、中間発表会 及び成果発表会のアンケート結果で発表技術などの評価も高いことや、実際に前期後期共に成果物 が期日までに完成したことなどから、結果としてプロジェクトマネージメントや個々人が考え動け ていいたことによってものであることから、個々人にとってプロジェクトとして活動する良い経験 が出来たと言える。 (※文責: 今村優太) Group Report of 2011 SISP - 72 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 付録 A 新規習得技術 OpenCV をもちいた画像処理プログラミング ・2値化を用いた画像認識 ・マスキングによる画像の範囲抽出 ・膨張と収縮を用いた画像内ノイズの軽減 ・画像内の像の輪郭情報を扱った処理 ・読み込んだ映像の、画像としてのファイル出力 ・読み込んだ画像の、映像としてのファイル出力 ・読み込んだ画像に対する任意の範囲抽出 Timer.h をもちいた時間管理プログラミング JavaScript によるプログラミング技術 Objective-C 言語の基礎のによるアプリケーション開発の基礎技術 C 言語を用いたマイコンによる LED 制御プログラミング 電子回路製作 Premire による動画編集技術 ・動画の必要個所のカット、合成 リーダーシップ プレゼンテーションスキル Group Report of 2011 SISP - 73 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 付録 B 活用した講義 画像工学 マーカーの信号認識の際の画像処理について活用した。 情報アーキテクチャ演習 コミュニケーション マイコンプログラミングについて活用した。 動画の編集の際に活用した。 電子工学基礎 回路設計・製作で参考にした。 コミュニケーション論 会議の進行の仕方、発言の仕方の参考になった。 Group Report of 2011 SISP - 74 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 付録 C 相互評価 プロジェクト内で各メンバーへの評価を相互にしあった。評価されたメンバーの名前の下に、評 価したメンバーの名前と評価を書いた。 C.1 今村優太 C.1.1 大御堂尊 リーダーとしてとても精力的に働いていたと思う。こちらの進捗が遅れたときは的確にサポート してくれた。リーダーとして申し分ない動きだったと思う。 C.1.2 木村健 本プロジェクトのリーダーとして、プロジェクトグループの総括を行なっていた。定期的な報告 会、会議などプロジェクトメンバー全員のタスク管理やメンバーへの連絡が行き届いており、プロ ジェクトの活動をしっかりとまとめていた。 C.1.3 長村勝也 プロジェクトのリーダーとして、会議などのスケジュール調整等を行ってくれた。先生への書類 をまとめるなど、先に行動していてくれるので、とても開発や活動を行いやすかった。 C.1.4 深浦竜馬 グループ A、B をあわせたプロジェクトリーダーとして、全体の活動・スケジュールの把握・管 理を行っており、全体を見通した的確な指示をしてくれた。 C.1.5 宮尾怜 プロジェクトのリーダーとして全体のスケジュール管理をしてくれた。スケジュールがずれてし まった時など迅速に対応し、スケージュールの建て直しなどをしてくれた。責任を持って作業をし 凄いと感じた。 C.2 大御堂尊 C.2.1 今村優太 彼は、グループリーダーとしてマネージメントだけでなく、開発でもマイコンプログラミングを 手掛けるなど様々な場面で、プロジェクトの成功の助けとなってくれた。マネージメントでは、私 がプロジェクトのマネージメントがしやすいよう、私が求める以上に適切なグループの状況の報告 Group Report of 2011 SISP - 75 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality と問題発生時には迅速な対応をしてくれた。また、プロジェクト全体としてアカデミックリンクへ の参加時や発表会準備の際には、適切な意見でフォローしてくれるなど、グループのことだけでな くプロジェクト全体としても、助けられた。 C.2.2 木村健 本グループのグループリーダーとして皆を導いて活動していた。グループ内のスケジュール管理 や、会議の場を設けたり、また班員のモチベーション維持を行なっていた。他にも、スケジュール が押している担当作業を補佐作業や、マイコンプログラミングの改良、デモムービーの編集や、開 発の相談など、グループ活動の全般を行なっていた。 C.2.3 長村勝也 我々のグループのリーダーとして、グループメンバーのモチベーションを損なわないスケジュー ル管理や、会議の場を設けるなどといった活動を行ってくれた。また、デバイスの赤外線 LED 点 滅制御のプログラムやデモムービーの編集、開発やデモの相談などグループ全体の進行管理と開発 の双方を担ってくれることで、グループが滞りなく活動することに貢献してくれた。 C.2.4 深浦竜馬 グループ A のグループリーダーとして、活動の方針、計画、実行中のタスク管理、遅延タスクの 補助にあたり、メンバーが働きやすい環境作りに徹していた。またタスクの管理では大筋を把握し ながら、問題がない場合に関しては活動をメンバーに任せてくれ、逆に問題があればその解決に時 間を割いてくれるスタイルで実際にとても働きやすい環境が提供された。また、プレゼンテーショ ンが上手く、外部への発表ではメインプレゼンターの一人を担っていた。 C.2.5 宮尾怜 新型マーカー開発班のグループリーダーを務めてくれた。スケジュールの管理、マイコンプログ ラミング、動画編集やスライド製作・発表等様々な仕事に柔軟に対応してくれていた。色々なこと をこなせて凄いと感じた。 C.3 C.3.1 木村健 今村優太 彼は、主にグループ及びプロジェクト全体での議論の際に、積極的に意見を出してくれることに よって、議論が良い意味で盛り上がった。後期のデモムービーの演出などは成果発表会でもデモ ムービーが良かったと言う意見があるよう、ホラー画像などで精神的に辛い中でも頑張ってくれ た。さらに、慣れない画像加工などの細かい作業にも根気強く取り組んでくれた。また、プロジェ クト内の人間関係のトラブルには、仲介役として両者の関係の改善に一役かってくれた。 Group Report of 2011 SISP - 76 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality C.3.2 大御堂尊 デモの作成から、中間発表のスライド制作に至るまで、さまざまなタスクがあったにもかかわら ず、よく作業してくれた。話し合いの場でも的確な発言が多かった。 C.3.3 長村勝也 デモの演出担当として、よりよくシステム全体を見れる方法を考案してくれた。かなり大規模な デモも考えていたため、大変な作業だったと思う。またスライドの製作からプレゼンまで、わかり やすく製作とプレゼンを行ってくれた。 C.3.4 深浦竜馬 グループ A のデモンストレーションの考案、作成にあたり、デモンストレーションの品質向上 のために、様々な参考資料を用いて精力的にタスクに取り組んでいた。また、周囲への気遣いがあ り疲れ・緊張状態のメンバーに対する精神的・物理的フォローはグループの作業効率の状態維持に 貢献していた。また、氏もプレゼンテーションがうまく、外部発表におけるメインプレゼンターの 一人を担っていた。 C.3.5 宮尾怜 トラッキングシステム開発の補助や、デモムービーの作成、画像の加工などを行ってくれた。 様々な仕事の補助をこなしてくれた。色々なことをこなし凄いと感じた。 C.4 長村勝也 C.4.1 今村優太 彼は、昔から電子工作をしているということから、グループのデバイス開発の設計から開発まで を一手に担うという重要な役割を前期から後期まで責任もってやりきってくれた。それだけでな く、手が空くとソフトウェアの開発にも積極的に参加し、挑戦してくれた。一方で前期に人間関係 のトラブルを起こしてしまったりしたものの、話し合いで両者しっかりお互いを理解してからは、 自分の言動にも気をつけていた。 C.4.2 大御堂尊 ハード・回路面の知識があり、大きく助けられた。また、後期は画像処理の方にも尽力してくれ た。ただ、もうちょっと自己主張があっても良かったと思う。 C.4.3 木村健 本グループのソフトウェア開発とハードウェア開発を行った。新型マーカーの回路制作や、ソフ トウェア開発に携わり、特筆すべきは相当数な回路を製作したことである。また、グループ内では 回路制作や材料加工に秀でており、回路制作では皆を導いていた。 Group Report of 2011 SISP - 77 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality C.4.4 深浦竜馬 グループ A のハードウエア制作班の責任者であり、外装デザイン・製作、電子回路設計・製作の タスクにあたっていた。ロボット製作の趣味があり、外装・電子回路製作に関しては明確なタスク と、物理的な部品のストックさえあれば、瞬時に仕事をこなしてしまうモチベーションの高い技術 者であり、責任者としての責務を十分に果たしていた。また、ソフトウエアに関する学習意欲も高 く赤外線の認識プログラムの中の信号認識部分について、自学しながらアルゴリズムを製作してお りこちらでも活躍していた。 C.4.5 宮尾怜 赤外線マーカーの作成をしてくれた。電子回路の組み立てなど専門的な知識が多く、必要なとこ ろをやっていた。デリケートな作業をこなしていて凄いと感じた。 C.5 深浦竜馬 C.5.1 今村優太 彼は、プログラミングができるということもあり、ソフトウェア開発の責任者としてほぼ全てを 任せてしまい、正直かなり負担をかけてしまった。でも、開発もほぼスケジュール通りに進め、進 捗報告も適切に行なってくれたおかげで、マネージメントしやすく、かつ多少の遅れはあったもの の最後まで責任もって開発を行なってしっかり完成させてくれた。 C.5.2 大御堂尊 仕事量が多く、画像認識部分のメイン処理を担当してもらったにもかかわらず自主的にかつかな り積極的に活動してくれたのでとても助かった。また、グループの活動の方向性に一石を投じる発 言も多く、成功に貢献していると言える。 C.5.3 木村健 本グループのソフトウェア開発の軸として活動していた。ストイックに開発に取り組み、ギリギ リまでソフトウェアの改良を続けるなど、見ていてこちらが体調を心配するほどによく活動して いた。 C.5.4 長村勝也 グループのソフトウェア開発の責任者として、赤外線 LED の点滅パターンの認識システム等を 製作してくれた。ソフトウェア開発のほとんどを竜馬君に任せっきりにしてしまった。にもかかわ らず、仕事をこなしてくれた。彼のおかげでシステムは完成された。 Group Report of 2011 SISP - 78 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality C.5.5 宮尾怜 赤外線マーカーの認識システムを作った。非常に多いタスクを期限にきちんとこなしていて凄い と感じた。 C.6 C.6.1 宮尾怜 今村優太 彼は、議論ではメンバーの意見をしっかり取り込んで、議論をうまくまとめる手助けをしてくれ た。また、前期の勉強会や開発の時には、苦手なプログラミングに挑戦し、深浦君にアドバイスや 手助けをしてもらいながらも、最低限自分の与えられた仕事をしっかりとこなしてくれた。一方 で、自分の仕事が終わってしまった後に、ただ指示を待つのではなく、自ら仕事を探して活動する ような姿勢を取る努力をして欲しかった。 C.6.2 大御堂尊 本グループの発案者であるが故に、的確な発言が多かった。また、iPhone アプリに向けての調 査・勉強会も精力的に行ってくれたほか、ポスター・スライド制作にも尽力してくれた。 C.6.3 木村健 本グループのソフトウェア開発と、技術調査を行った。活動開始初期頃に、必要な技術の調査を 行い、開発開始後はソフトウェア開発を担った。また、最終発表用のスライドの作成やポスターの 作成の補佐を行った。 C.6.4 長村勝也 タイタニウムや、スライド製作を行ってくれた。スライドの製作では、わかりやすく製作を行っ てくれた。 C.6.5 深浦竜馬 グループ A のソフトウエア制作班兼外部発表準備でスマートフォンアプリの製作の基礎技術の 勉強や、後期に入ってからの赤外線光を用いたトラッキングのプログラムの製作、発表準備におい て、スライド・ポスターのデザインと広く様々な仕事を行っていた。 Group Report of 2011 SISP - 79 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 付録 D その他製作物 画像データ収集用プログラム 秒数指定を行い web カメラからの映像を指定された秒数だけ msec 単位で jpg ファイルに変換するプログラム。 Group Report of 2011 SISP - 80 - Group Number 16-A The Proposal and Development of the Novel Technology with Augmented Reality 参考文献 [1] これなら分かる AR(拡張現実)http://www.atmarkit.co.jp/fwcr/design/tool/ar01/01.html(最 終アクセス 2011 年 1 月 11 日) [2] ニ ン テ ン ド ー 3DS AR ゲ ー ム ズ http://www.nintendo.co.jp/3ds/software/builtin/ar/index.html(最終アクセス 2012 年 1 月 10 日) [3] viva Cocoa / Objective-C 入門. http://vivacocoa.jp/objective-c3e/chapter0.php (最終アク セス 2011 年 12 月 29 日) [4] サルにも出来る iPhone アプリの作り方. http://ameblo.jp/micro-garden/ (最終アクセス 2011 年 12 月 29 日) [5] とほほの JavaScript リファレンス. http://www.tohoho-web.com/js/index.htm (最終アク セス 2011 年 12 月 29 日) [6] クロノス・クラウン 柳井 政和. マンガでわかる JavaScript.. 秀和システム ,2010/10/27. [7] 河西 朝雄. JavaScript 超入門-楽しいプログラミング-. 技術評論社,2010/1/8. [8] 北尾雅人, 増井雄一郎. Ttanium Mobile で開発する iPhone/Android アプリ (smart Mbile Developer). 翔泳社, 2011/6/10. [9] 大津真. Xcode による Objective-C 入門. 毎日コミュニケーションズ,2010/1/23. [10] 大津真. OS プログラミング入門-Objective-C+Xcode4 で学ぶ、iOS アプリ開発の基礎-. ピー・エヌ・エヌ新社,2011/6/24. [11] iPhone で OpenCV(2.2 以降) を使う. http://taichino.com/programming/2109 (最終アク セス 2011 年 12 月 29 日) [12] iPhone & Android プ ロ グ ラ ミ ン グ 記: iPhone で OpenCV を 使 え る よ う に す る (1). http://amaterasu4.seesaa.net/article/115892385.html (最終アクセス 2011 年 12 月 29 日) Group Report of 2011 SISP - 81 - Group Number 16-A
© Copyright 2025 Paperzz