公立はこだて未来大学 2011 年度 システム情報科学実習 グループ報告書 Future University Hakodate 2011 System Information Science Practice Group Report プロジェクト名 マインドコミュニケーション Project Name Mind Communication グループ名 グループ B Group Name Group B プロジェクト番号/Project No. 23-B プロジェクトリーダ/Project Leader 1009201 Tatsuya Honda 本多達也 グループリーダ/Group Leader 1009154 Takahiro Suzuki 鈴木孝宏 グループメンバ/Group Member 1009022 井内美里 Misato Iuchi 1009055 鳥谷部一平 1009097 長束薫 1009154 鈴木孝宏 Takahiro Suzuki 1009215 田代麻衣 Mai Tashiro Ippei Toriyabe Kaoru Nagatsuka 指導教員 佐藤直行 岡本誠 花田光彦 伊藤精英 Advisor Naoyuki Sato Makoto Okamoto Mitsuhiko Hanada Kiyohide Ito 提出日 2012 年 1 月 18 日 Date of Submission January 18, 2012 概要 本プロジェクト,マインドコミュニケーションでは,人のマインドに相当する情報を用いた, 新しいコミュニケーションツールを製作するプロジェクトである.そもそも, 「マインドコミュ ニケーション」とはどういうものだろうか.これに似た言葉に, 「ニューロコミュニケーショ ン」[1] という言葉がある.これは,脳波を使って気持ちを伝える(意思伝達を実現する)もの である.このプロジェクトが, 「ニューロ」ではなく敢えて「マインド」という言葉を選んでい る理由は,脳波だけでなく心拍などあらゆる生体情報を包含していることを表すためである. すなわち,マインドコミュニケーションとは,身体の内部にある様々な情報を使って意思伝達 をするものである.マインドコミュニケーションを実現するためには,生体情報を何らかの方 法でコンピュータに伝え,それを操作する必要がある.これは,フィジカルコンピューティン グという技術で解決することが出来る.フィジカルコンピューティングとは,センサー等の入 出力デバイスを用いることによって,身体の様々な情報をコンピュータと意思疎通するもので ある.これは,デバイスで取得した生体情報等の数値データをコンピュータに伝えたり,コン ピュータ側の反応を音や光,振動などで人間の五感に訴えることで実現することが出来る. 本プロジェクトの達成すべき目標は,脳波をはじめとする生体情報に着目し,これらの情報 を用いたコミュニケーションツールを生み出すことである.プロジェクト全体は 15 名で,3 つ の 5 人グループを作り,それぞれのグループが独自の視点でツールを製作する.我々 B グルー プは,前期で脳波の基礎知識やフィジカルコンピューティングに必要なデバイス技術の習得か ら始め,デザインプロセスを経て,プロトタイプ「Selfeel」を製作した.これは, 「自分の内面 を可視化し,自分を感じる」というコンセプトを体現したもので,スクリーンに表示された光 の球が脳波に対応して動きが変化するものであった.後期は,中間発表のフィードバックやプ ロトタイプの問題点を補いつつ,最終成果物「follow」を完成させた.これは, 「今まで見えな かった新たな一面がきっかけに」というコンセプトを具現化したもので,今まで見ることの出 来なかった脳波を可視化し,それを影に投影することで,コミュニケーションのきっかけにし てもらうというものであった.この報告書には,Selfeel から follow に至るまでのプロセスが 記されている. キーワード フィジカルコンピューティング, コミュニケーション,脳波 (文責: 鈴木) -i- Abstract The Mind Communication project is the project that create new communication tool which use information of human mind. To begin with, what is the Mind Communication. There is a resemblant word. It is Neuro Communication. This is a communication that use the electroencephalogram(EEG). The reason why we use the word “mind” instead of “neuro” is to show that we also use the different biological information. Therefore, the Mind Communication is communication that use internal information of our body. We have to transfer our biological information to computer to make the Mind Communication come true. The physical computing is useful for the Mind Communication. This is a communication between human and computer. It uses IO devices or sensors. By sending our biological information to the computer or expressing computer’s returns to our five senses, the physical computing will work. Our project had 15 students. It was constructed by 3 groups. There were 5 students per a group. We decided our goal. That was what we would make the communication tool that used biological information. In the first half year, we studied the basic knowledge about EEG and the technique of physical computing. Then our group made the “Selfeel.” It was a prototype of communication tool. Its concept was feeling yourself by visualizing your mind. Selfeel indicated for us situation of user’s mind by expression of light ball move. After that, we made up for problems of prototype by checking feedbacks of midterm presentation. Then we completed our communication tool named the ”follow.” Its concept was to make the catalyst by visualizing invisible internal aspect. The follow makes the catalyst for communication by indicating the EEG which is unseen and project it to our shadow. In this report, our process is written. Keyword Physical computing, Communication, Brain wave (文責: 鈴木) - ii - 目次 第1章 はじめに 1 1.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 本プロジェクトにおける目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 第2章 2.1 2.2 第3章 到達目標課題 2 課題設定までのアプローチ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2.1.1 先行事例調査 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.1.2 先行事例における問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 目標課題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 課題解決のプロセスの概要 6 3.1 脳波に関する基礎知識の習得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3.2 先行研究における問題点の抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3.3 脳波実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3.1 脳波実験における役割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3.2 実験班としての役割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3.3 解析班としての役割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.3.4 解析の手順と結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 制作物のプラン作成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.4.1 ブレインストーミング . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.4.2 KJ 法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.4.3 コンセプトシート . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.4.4 報告会 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 デバイスの習熟 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.5.1 習得技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.5.2 Phidgets 学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.5.3 Arduino 学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.5.4 Gainer 学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.5.5 Processing 学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.6 習得成果物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.7 ユーザテスト . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.7.1 プロトコル分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.7.2 結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.4 3.5 第4章 4.1 中間発表 33 評価結果(中間発表) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.1.1 プレゼンテーション . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.1.2 制作物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 - iii - 4.2 前期の反省 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 最終発表 36 5.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 5.2 コンセプト . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 5.3 システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 5.3.1 導入 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 5.3.2 プロセス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 5.3.3 通信部分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 5.3.4 描画用 PC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.4 仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.5 シナリオ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.6 リフレクション . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.7 結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.7.1 製作物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.7.2 評価結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 担当課題評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 第5章 5.8 5.8.1 井内美里の担当課題評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 5.8.2 鳥谷部一平の担当課題評価 . . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.8.3 長束薫の担当課題評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 5.8.4 鈴木孝宏の担当課題評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 5.8.5 田代麻衣の担当課題評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 第6章 今後の課題と展望 6.1 制作物に関連して . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 6.2 全体の展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 資料 64 付録 A 62 65 参考文献 - iv - Mind Communication 第1章 1.1 はじめに 背景 近年,脳波や生体信号を用いたツールが開発され,販売されるようになってきた.しかし,まだ 開発されたツールの数も少なく,ほとんどの人には知られていないのが現状である.本プロジェク トでは脳波や生体信号を用いるという新たな発想は斬新で,若干の操作感もあるということが,面 白いと考えた.将来的には,脳波や生体信号を用いたツールはたくさん開発され,認知度も上が り,人気が出るのではないかと考える.そこで,脳波や生体信号をメインにしたコミュニケーショ ンを量ることのできるツールを開発することにした. 私たちが普段何気なく行っているコミュニケーションは,表情・声・仕草等から成り立っている. そのコミュニケーションに脳波情報を付加し,今よりもっと円滑にコミュニケーションが量れるよ うにしたいと考えた.また,今まで見ることのできなかった自分や他人の状態を見ることができ, それだけでも楽しいのではないかと考えた.脳波状態もわかりやすく表現することで親しみやすく し,今までになかった新感覚なコミュニケーションツールを開発しようと考える. (文責: 田代) 1.2 本プロジェクトにおける目的 本プロジェクトでは,人に面白いと思って貰うことのできる,脳波を用いたコミュニケーション ツールを開発することが目的である.その中で私たちのグループの目的は,まず自分や他人の脳波 や生体信号をフィードバックすることによって,自分自身や相手を知ることである.そして,その 情報を基に相手の心理状態を推測し,次の行動に移すきっかけにしてほしいと考えている. 私たちのグループでは,まず「自分を見る」ということに注目した.自分の脳波を自分自身に フィードバックすることによって,自分の状態を知るきっかけになると考えた.また,自分の脳波 を見ることに利点もあり,自分の脳波を見ること自体が面白いにではないかと考える. 次に「他人の脳波を見る」ということに注目した.私たちはどのようなことをしても他人の脳波 を見ることはできない.そこで,ツールを1人でも複数人でも使えるようにすることにした.複数 人で使うことによって,コミュニケーションを量ることができると考えた. (文責: 田代) Group Report of 2011 SISP -1- Group Number 23-B Mind Communication 第 2 章 到達目標課題 2.1 課題設定までのアプローチ 課題解決を行っていくにあたり,私達はまずプロジェクトリーダー・サブリーダーを決定した. これはプロジェクト内の統制と作業の効率化を図るためである.その後,A,B,C の3グループ を 5 人ずつの人数配分でグループ分けを行い,各グループリーダーを決定した.また,グループ内 で作業を行うためデザイン班と実装班に分かれた.デザイン班では主にポスター製作を担当した. 実装班では主にデバイスの実装を行った. 「マインドコミュニケーション」では脳波を用いたコミュニケーションツールを製作するので, いままでの脳波の研究について調べる必要があった.そこで各グループごとに脳波について先行事 例調査を行い,プロジェクト内でプレゼンテーションを行った.そしてその調査による良かった点 や悪かった点などをグループ内で議論しあって製作物案に役立てようとした. 先行事例調査では脳波でどのような研究がされていたのかという理解は深まったが,脳波の知識 が必要であった.そこで私達は佐藤先生に脳波についての講義を受け,脳波の知識を習得した. さらに脳波の知識についての理解を深めるためにプロジェクト内で実験班と解析班に分かれて 作業を行った.実験班では各グループから一人を選出して被験者になり,いろいろな条件下で脳波 を測定した.解析班では,その測定結果を解析して条件によって脳波の変化は生じるのかを分析し た.最後に各班それぞれ行ってきたことをプロジェクト内でプレゼンテーションを行った. 成果物について,どのように脳波を用いてコミュニケーションするかについてブレインストーミ ングや KJ 法を用いることでコンセプトを固めた.それらをもとにコンセプトシートを作成し,毎 時間プロジェクト内でプレゼンテーションを行い,評価をしてもらった.その結果,前期での製作 物は selfeel に決定した. 成果物製作では processing を学ぶことにした.processing は初心者にも比較的簡単な言語であ ることと,クラスの概念が入っているため実装も容易くできるだろうと考察したため,使用するこ とにした. 中間発表では,ポスターセッションで発表することにした.「マインドコミュニケーション」で は 3 つのグループと脳波とは何かという全体の発表も行うことになっていたので一つの場所です るのではなくて,それぞれ分かれて発表するのがいいのではないかと結論づけたからである.ポス ターセッションでは説明をできるだけ簡略化させ,それを見ている人達が質問できるような場を提 供することを教わった.そのため,私達は中間発表の直前にプレ発表会というものを設けた.これ は本番と同じ形式にして,前半の発表者が発表している間に後半の発表者が他のグループの発表 を見て回り,質問をするというものだ.これを繰り返すことで質問されるであろう質問に対処した り,プレゼンテーション能力が向上した. 後期では中間発表のアンケートの結果を用いて,今後の目標を決定した.私達の班では selfeel のコンセプトである「自分の内面を可視化し,自分を感じる」というものに対して疑問点を持った のでコンセプトの詰め直しを行った.その結果,新たに私達は follow というものを提案した. follow では出力方法が selfeel と異なっているので新たに実装を行った.follow では selfeel と同 じ光の球を用いているので follow でも processing を用いて実装することを決定した. 本プロジェクトでは,実装したデバイスを用いて,ユーザーテストを行った.ユーザーテストで Group Report of 2011 SISP -2- Group Number 23-B Mind Communication は自分達の今まで考えてきたコンセプトに沿って本当に使うことができるのか,というものを確認 するためであった.ユーザーテストの結果を用いて,グループ内でコンセプトについての議論が行 われた. 中間発表時にポスターセッションだったため,見に来てもらった方全員に説明するのが不可能で あった.そのため私達は PV を製作することにした.PV ではデバイスの説明,使い方を映すこと にした.そうすることで説明を受けなくてもデバイスのことがわかるのではないか,と考察した. また最終発表のポスターでは背景やコンセプト,プロトタイプだけではなく,システムやユー ザーシナリオ,リフレクションなどの項目を増やした.システムについては,説明だけでは説明さ れる側もよく理解できないので図を増やすことで理解することができるのではないかと考察したた めであった.ユーザーシナリオではどういう場面でデバイスを用いることができるかを説明するこ とでより理解を深められるのではないかと考察したためであったリフレクションでは本プロジェク トではユーザーテストを行ったため,どういう結果が得られたかの説明のためであった. 最終発表では,中間発表と同じポスターセッションで発表したが中間発表の時以上にプレ発表を 行った.中間発表では同じプロジェクト内でプレ発表を行ったため,脳波というものに対して知識 をもってない者からの視点を考慮に入れていなかったので想定外の質問も多かったからである. なお,プロジェクトの意味や,根底についてのさまざまな疑問,戸惑いなどが個人及びグループ 内,またはプロジェクト全体から問題視されていくことが考えられる.その問題解決と共に成果物 を各チーム一つずつ作ることをし,私達の行っている「マインドコミュニケーション」というプロ ジェクトにおいて,プロセスや背景,目的に基づいてモノを製作すること全てを本プロジェクトと し,これらの実践を行うことでこのプロジェクトを進めていった. (文責: 長束) 2.1.1 先行事例調査 本プロジェクトでは,脳波情報を用いたコミュニケーションツールを製作するので,まず,いま までの脳波の研究について調べた方が今後の進行にも効率化が図れるのではないかと私達は考察し た.そこで,各グループごとに脳波についての先行事例調査を行った.B グループでは,脳波を用 いることで人や物とコミュニケーションができるような先行事例について調査した.調査方法とし ては主にインターネットを用いて各自調査を行った.その後,プロジェクト内で各グループごとに 自分達で調査したことについてプレゼンテーションで発表した.そしてその調査による良かった点 や悪かった点などをグループ内で議論しあって製作物案に役立てようとした.B グループで挙げら れた先行事例を表 1 にまとめた. (文責: 長束) Group Report of 2011 SISP -3- Group Number 23-B Mind Communication 表 2.1 先行研究 先行事例 内容 脳波を用いた玩具 脳波を用いた玩具として一般的に有名である集中度 合いによってファンからの風力の調整を行ってゲー ム盤上のボールを浮上させてコントロールして遊ぶ マインドフレックス,集中度合いで球を浮かばせる ブレインメントの事例調査を行った.[2],[3] 脳波マウス 手による操作ではなく、脳波でマウスやキー操作が 行えるデバイスについての事例調査を行った.[4] 絵文字によるコミュニケーションツール 認知知的障害者のための絵文字を用いたコミュニケ ーションツールについての事例調査を行った.[5] バイオフィードバック 自分の意識の状態を正確に把握してコントロールす る方法として心身症の治療や学習やスポーツの分野 で研究されている事例調査を行った.[6] 脳波による同調 隔離された人間同士による脳活動の同期発生につい てや何らかの未知の情報的あるいはエネルギー的交 換が,隔離された人々の間で存在するなどといった 事例調査を行った. 2.1.2 先行事例における問題点 私達のグループでは,先行事例調査を行った結果,事例を大きく 3 つのカテゴリーに分けること ができた.それを表 2 に示す.まず脳波を用いた玩具や脳波マウスといった脳波を用いて機械操作 といったモノとのコミュニケーションが行える先行事例,次に絵文字によるコミュニケーション ツールや脳波の同調といった人とのコミュニケーションが行える先行事例,バイオフィードバック といった自分とのコミュニケーションが行える先行事例の調査と分けることができた. 表 2.2 先行研究のカテゴリー分け カテゴリー 先行事例 モノとのコミュニケーション 脳波を用いた玩具 脳波マウス 人とのコミュニケーション 絵文字によるコミュニケーションツール 脳波の同調 自分とのコミュニケーション バイオフィードバック モノとのコミュニケーションについては,脳波マウスについてアルファ波とベータ波で具体的に どのような操作が行えるかなどが明確ではなかった. また人とのコミュニケーションについては,どちらの事例においても具体例などが明確ではな かった.また自分とのコミュニケーションについては,病気の回復や睡眠サポートといった自分に フィードバックされるものであったが,それを何らかに出力してそれを見ることで自分にフィード Group Report of 2011 SISP -4- Group Number 23-B Mind Communication バックされる事例の調査ができていなかったのではないかと私達は考察したので問題点とした. (文責: 長束) 2.2 目標課題設定 ツールを作成する前に,まずはグループごとに先行事例を調査した.今まで脳波を用いて作成さ れたツールにはどのようなものがあるのか,また,どのような技術を用いているのか参考にしよう とした.そして,これからのアイディア出しに役立てようと考えた. 私たちが調べた先行事例には,実際に脳波を使った玩具や障害者向けのツールや脳波による同 調というものがあった.脳波を使った玩具に関しては,自分達で実際に使用し,脳波を操作できる ということを知ることができた.しかし,慣れるまではうまく操作はできないということもわかっ た.障害者向けのツールや同調に関しては,論文やインターネット等で調べた.同調について,と ても面白そうだと感じた.そしてこれから先,同調についても理解を深めたいと考えた. コミュニケーションの形態は「人と人とのコミュニケーション」,「人とモノとのコミュニケー ション」,「自分とのコミュニケーション」の 3 つに分けられると分析した.そこで私たちは,「人 とモノとのコミュニケーション」,「自分とのコミュニケーション」に興味を持った. 私たちは,睡眠時の脳波の変化や普段生活している時のアルファ波,ベータ波について知りたい と考えた.睡眠による脳波の変化は,眠い時,睡眠時,目を覚ます時でどのように脳波に変化があ るのか,また,どのような特徴があるのか,実際に見てみたいと考えた.周波数成分であるアル ファ波,ベータ波はそれぞれ普段生活している上でどのようなときに出ているのか,またどのくら い出ているのかを見る.リラックスや集中とはどのような状況なのか,私たちが学んだ脳波の前提 知識は正しいのか,脳波に触れ少しずつ理解を深めていこうと考えた. (文責: 田代) Group Report of 2011 SISP -5- Group Number 23-B Mind Communication 第 3 章 課題解決のプロセスの概要 3.1 脳波に関する基礎知識の習得 脳波について学ぶ前に,脳の基礎知識を学んだ.大脳には,約 150 億個のニューロンが存在す る.ニューロンとは,神経細胞のことである.ニューロンは,細胞内外で-65mV の電位差があり, 大脳の表面の薄皮の部分にしか存在しない.脳波は,頭に電極を付けて測定をすることができる. 電極1個に対して 106 ∼107 個のニューロン細胞が存在し,主に前頭葉では意思決定,頭頂葉では 体性感覚・空間処理,後頭葉では視覚,側頭葉では物体認識の機能について担っている. 次に脳波について学んだ.脳波とは脳の活動で生じる電気信号であり,デルタ波 (δ波),シータ 波 (θ波),アルファ波 (α波),ベータ波 (β波),ガンマ波 (γ波) という種類がある.単位はヘル ツ [Hz] である.脳波は 1∼4[Hz] のときデルタ波,4∼8[Hz] のときシータ波,8∼12[Hz] のときア ルファ波,15∼20[Hz] のときベータ波,30∼[Hz] のときガンマ波と分類される.デルタ波は睡眠 時,シータ波は睡眠時・注意時,アルファ波はリラックス状態・閉眼時,ベータ波は集中・運動, ガンマ波は視覚処理のときに強く出るということがわかっている.(図 3.1) アルファ波は,ヘッド セット装着時にきちんと脳波が読み取れているのかを確認する基準にもなる.測定した脳波をフー リエ変換を用いて解析することで脳波状態を知ることができる.脳波に随意性はほとんどない. 図 3.1 脳波図 (文責: 田代) 3.2 先行研究における問題点の抽出 私達はこれまで脳波に関わる先行事例調査と佐藤先生から脳波についての講義を受けた.先行事 例調査では,いままでの脳波についての研究などを調査することで今後の進行に効率化を図るため であった.次に私達は自分達が学んできた前提知識は正しいのか,また脳波の知識についての理解 を深めるためにも実験を行うことにした.実験では,現時点で明らかに脳波の違いが現れるといわ れている開閉眼における条件をはじめ,さまざまな条件下で脳波の測定を行うことにした.そのた めにまず私達はグループ内で自分達が確認したい条件を決定した.その後,教師を含めてプロジェ Group Report of 2011 SISP -6- Group Number 23-B Mind Communication クト内で発表し,批評しあい,プロジェクト内でどの条件下で実験を行うかを決定した. (文責: 長束) 3.3 脳波実験 3.3.1 脳波実験における役割 3.3.2 実験班としての役割 私たちは,まず脳波を実際に測定して理解するため,各グループから 2 名を実験班,残りの 3 名 を解析班とし,2つのグループに分かれた.そのうち,実験班としては,脳波の測定方法,解析方 法を学ぶため,また,各条件毎の脳波の違いや変化を調べるため,実験を行った. <実験の目的> 実験を行うにあたり,電極位置や実験手順を学び,実際に被験者に装着出来るようになる.また, 各実験項目を行うことにより,各実験項目による脳波の違いや変化を調べ,実際に脳波は何を示し ているのか理解し,提案への基礎知識とするため. <被験者> 公立はこだて未来大学3年 マインドコミュニケーションプロジェクトに所属する男女合計3名で あった. <場所> 公立はこだて未来大学 佐藤直行研究室で行われた. <方法> 被験者には1人ずつ部屋に入ってもらい,イスに座った状態で実験を行った.8つの電極を用い て,脳波を測定した.図 1 のように数字の順通り位置を被験者の頭部に対応させ電極を装着する. (図 3.2)GND はグランドであり前頭中央部,REF はリファレンスであり右耳たぶに装着した.計 測には,PolymoteII を用いた.(図 3.3) Group Report of 2011 SISP -7- Group Number 23-B Mind Communication 図 3.2 図 3.3 電極測定位置 脳波計測に使用した装置(TEAC 社 PolymoteII) 下に各実験項目を記す. Group Report of 2011 SISP -8- Group Number 23-B Mind Communication 表 3.1 先行研究 No. 実験内容 意図 1 開眼している状態で部屋の電気が点いている 開閉眼の先行事例としてはリラックス時に 2 閉眼している状態で部屋の電気が点いている 出現するため閉眼しているとα波が出ると 3 開眼している状態で部屋の電気が消えている いわれている. 4 閉眼している状態で部屋の電気が消えている 5 1 倍速のクラシック音楽を聞く 音を聞くことでリラックスできるのでα波 6 2 倍速のクラシック音楽を聞く が観測されるという先行事例があった. 7 右手の掌を握る,開く α波に左右差はあるとされているが,正常 8 左手の掌を握る,開く 者では基本的にないといわれている. 9 30 秒毎に,酢を飲む 先行事例はなし 10 30 秒毎に,味の素を飲む 11 30 秒毎に,塩水を飲む 12 30 秒毎に,砂糖水を飲む 13 30 秒毎に,コーヒーを飲む 14 快と感じるような子猫の動画を見る 15 不快と感じるような虫の動画を見る 先行事例はなし この状態で各4分間被験者は動かず,出来るだけまばだきをせずに,イスに座り,リラックスを して,出来る限りまばたきをしないように指示をした. また,最後に,被験者を1名だけ用いて床に横になり,2 時間の睡眠実験を行った.睡眠実験の 目的は,人間の睡眠時に出るというθ波,δ波を計測し,睡眠時の脳波を知るためであった.なお, 実験項目 9 13 は被験者によって順番をランダムに入れ替え,順番によって差が出ないようにした. また,実験項目 1∼4 の狙いは,α波の計測,明るさと脳波との関連を知るためであった.実験 項目 5∼6 の狙いは,音楽と脳波との関連を知るためであった.実験項目 7∼8 の狙いは,右脳と左 脳の脳波の違いを知るためであった.実験項目 9∼13 の狙いはそれぞれ味覚と脳波との関連を知 るためであった.ここでは,五味として,酸味,旨味,塩味,甘味,苦みを感じるため,酢,味の 素,塩水,砂糖水,コーヒーを用いた.また,各試行の前に前の味を口の残さないため,無味(水) を 1 分間口に含み,漱いでもらった.(図 3.4)実験項目 14∼15 の狙いは,人間が感じる快・不快 と脳波との関連を知るためであった. 図 3.4 Group Report of 2011 SISP 味覚刺激の実験 -9- Group Number 23-B Mind Communication (文責: 井内) 3.3.3 解析班としての役割 解析班には,実験班が実験で計測した脳波のデータを解析する役割が与えられた.実験班から提 供された脳波データ(CSV ファイル)を,Scilab に読み込ませ解析した. まず,解析班は,それぞれのメンバーのパソコンに Scilab をインストールした.その後,佐藤 直行先生と花田光彦先生に,Scilab の使い方の講習をお願いし,解析班のメンバーに Scilab の使 い方を教えていただいた. 脳波データは高速フーリエ変換(FFT)により,周波数解析する事にした.高速フーリエ変換と は計算機上で高速にフーリエ変換を行うアルゴリズムの事であるが,Scilab はこれに対応している ため,脳波の波形データを FFT することにした.FFT すると,周波数ごとの脳波の強さを求める ことができる.これによって,被験者の脳の状態を推測することができるようになる. 解析を進めていくと,脳波の解析に必要な周波数以外のノイズ部分を除去する必要が出てきた. そのため,本プロジェクトの担当教員である佐藤先生にお願いし,必要な周波数以外のローカッ ト,ハイカット出来るアルゴリズムを提供していただいた. 実験は,2 条件の比較が出来るように条件設定をして実験をしていた.すなわち,独立した 2 つ の脳波データを比較することが必要であった.Scilab で二つの脳波データのフーリエ変換後の周波 数ごとのデータを比較するプログラムを作成した.これは,周波数帯ごとの単位時間あたりのレベ ルの平均値をとり,2 つの脳波データの同一周波数帯の平均値の差を比較するものである.t 検定 によって二つのデータに有意な差があるかどうかを検定した. これらのプロセスによって仕上がった,解析アルゴリズムに,実験班が計測した脳波データをひ とつひとつ解析していき,実験の条件ごとの差を比較した. (文責: 鈴木) 3.3.4 解析の手順と結果 解析作業は主に 5 月 20 日から 30 日にかけて,大学の講義の休憩時間や放課後などを用いて行っ た.実験によって得られた脳波データから特定の組み合わせの 2 種類を比較し,各状態における脳 波の変化を考察していくものとした. 以下のグラフは実験で得られた脳波データの内,特定のデータを比較した差を表したものであ る.これらのグラフから有意なデータを探し出して脳波を考察していくものとした.グラフはx軸 が脳波の周波数帯域,y軸が各脳波の値の差とする.各脳波同士において 2 以上の差が見られるも のを有意なデータと見なし,特にはっきりとしたデータが出ている箇所においては丸印をつけて いる. • 明るい部屋での目の開閉時の比較 図 3.5 は部屋の電気が点いている状態での閉眼時の脳波から開眼時の脳波を引いたものであ る.開眼時よりも閉眼時の方がα波が大きいことが確認できた. Group Report of 2011 SISP - 10 - Group Number 23-B Mind Communication 図 3.5 部屋の電気が点いている状態での閉眼時の脳波から開眼時の脳波を引いたデータ.(横 軸:脳波の周波数帯域,縦軸:各脳波の値の差) • 開眼時の部屋の明るさの明暗による比較 図 3.6 は開眼時での部屋が明るい状態の脳波から部屋が暗い状態の脳波を引いたものである である.開眼時では明るい状態よりも暗い状態の方がα波が大きいことが確認できた. 図 3.6 開眼時での部屋が明るい状態の脳波から部屋が暗い状態の脳波を引いたデータ.(横 軸:脳波の周波数帯域,縦軸:各脳波の値の差) Group Report of 2011 SISP - 11 - Group Number 23-B Mind Communication • 閉眼時の部屋の明るさの明暗による比較 図 3.7 は閉眼時での部屋が明るい状態の脳波から部屋が暗い状態の脳波を引いたものであ る.閉眼時では暗い状態よりも明るい状態の方がα波が大きいという傾向が見られた. 図 3.7 閉眼時での部屋が明るい状態の脳波から部屋が暗い状態の脳波を引いたデータ.(横 軸:脳波の周波数帯域,縦軸:各脳波の値の差) • 暗い部屋での目の開閉時の比較 図 3.8 は部屋の電気が消えている状態での開眼時の脳波から閉眼時の脳波を引いたものであ る.暗い部屋でも目を閉じるとα波が出ることが確認できた. 図 3.8 部屋の電気が消えている状態での開眼時の脳波から閉眼時の脳波を引いたデータ.(横 軸:脳波の周波数帯域,縦軸:各脳波の値の差) Group Report of 2011 SISP - 12 - Group Number 23-B Mind Communication • 音楽を聴いているときとそうでないときの比較 図 3.9 は音楽を聴いている状態から聴いていない状態のものを引いたものである.有意な データは少なかったが,音楽を聴いているときの方がα波が出ている傾向が見られた. 図 3.9 音楽を聴いている状態から聴いていない状態のものを引いたデータ.(横軸:脳波の周 波数帯域,縦軸:各脳波の値の差) • 音楽のテンポの違いによる比較 図 3.10 は音楽を聴いている状態の脳波からその 2 倍のテンポの音楽を聴いている状態の脳 波を引いたものである.有意なデータは得られなかったが,テンポの速い曲よりも遅い曲の 方がα波がでていることが確認できた. 図 3.10 音楽を聴いている状態の脳波からその2倍のテンポの音楽を聴いている状態の脳波 を引いたデータ.(横軸:脳波の周波数帯域,縦軸:各脳波の値の差) Group Report of 2011 SISP - 13 - Group Number 23-B Mind Communication • 右手と左手をそれぞれ動かしているときの比較 図 3.11 は右手を動かしている状態の脳波から左手を動かしている状態の脳波を引いたもの である.脳波の出方が左右で逆になっていることが確認できた. 図 3.11 右手を動かしている状態の脳波から左手を動かしている状態の脳波を引いたデータ. (横軸:脳波の周波数帯域,縦軸:各脳波の値の差) • 甘味を感じているときとそうでないときの比較 図 3.12 は普通の水を飲んだときの脳波から砂糖水を飲んだときの脳波を引いたものである. 甘味を感じているとα波が出ることが確認できた. 図 3.12 普通の水を飲んだ時の脳から砂糖水を飲んだ時の脳波を引いたデータ.(横軸:脳波の 周波数帯域,縦軸:各脳波の値の差) Group Report of 2011 SISP - 14 - Group Number 23-B Mind Communication • 酸味を感じているときとそうでないときの比較 図 3.13 は酢を飲んだときの脳波から普通の水を飲んだときの脳波を引いたものである.酸 味を感じているときの方がα波が低く,β波が高い結果が得られた. 図 3.13 酢を飲んだ時の脳波から普通の水を飲んだ時の脳波を引いたデータ.(横軸:脳波の周 波数帯域,縦軸:各脳波の値の差) • 塩分を感じているときとそうでないときの比較 図 3.14 は普通の水を飲んだときの脳波から塩水を飲んだときの脳波を引いたものである. 有意なデータは得られなかったが,塩分を感じているときの方がα波がでている傾向が見ら れた. 図 3.14 普通の水を飲んだ時の脳波から塩水を飲んだ時の脳波を引いたデータ.(横軸:脳波の 周波数帯域,縦軸:各脳波の値の差) Group Report of 2011 SISP - 15 - Group Number 23-B Mind Communication • 旨味を感じているときとそうでないときの比較 図 3.15 は普通の水を飲んだときの脳波から味のもとを飲んだときの脳波を引いたものであ る.旨味を感じているときの方がα波が低いことが確認できた. 図 3.15 普通の水を飲んだ時の脳波から味の素を飲んだ時の脳波を引いたデータ.(横軸:脳波 の周波数帯域,縦軸:各脳波の値の差) (文責: 鳥谷部) 3.4 制作物のプラン作成 3.4.1 ブレインストーミング B グループでは,製作物を作るにあたって,α波が出そうな時,また,コミュニケーションとは 何かについて 2 回のブレインストーミングを行った.まだ脳波について詳しく知らない私たちに とってのα波のイメージや,マインドコミュニケーションというプロジェクト名にも含まれるコ ミュニケーションとは何か,グループ内での認識を共有することが出来た. ブレインストーミングとは,1930 年代にアレックス・F・オズボーンによって考案された発想支 援法の一つで,集団思考とも訳される.ブレインストーミング法 (BS 法),ブレスト,課題抽出と もいう. 少数の集団で自由に意見を出し合い,あるテーマに関する多様な意見を抽出する手法のことであ る.質より量を重視し,お互いの批判をせず,自由に意見を出し合うことで,周辺知識を列挙する ことが出来る.個人が集積している知識は,非常に限られているが,複数人が集まって提案するこ とで,様々な知識の結合がおこり,これまでにない新しい発想がしやすくなる. ブレインストーミングを行う上で,基本的な4つの決まりがある.以下に,その決まりを示す. 1. 質より量を重視する アイデア創出の段階では,質よりも量を重視する,一般的な考え方,アイデアはもちろん, 一般的ではなく新規性のある考え方,アイデアまで,あらゆる提案を歓迎する. 2. 批評・批判をしない 多くのアイデアが出そろうまでは,各個人に対して,批評・批判することは慎む.個人のメ リット・デメリットなどの評価は,ブレインストーミングの次の段階で行う.批評・批判に ついては,各自メモをとるなどしておく. Group Report of 2011 SISP - 16 - Group Number 23-B Mind Communication 3. 粗野な考えを歓迎する 誰もが思いつきそうなアイデアよりも,奇抜な考え方や,ユニークで斬新なアイデアを重視 する.新規性のある発明は,たいてい最初は笑い者にされる事が多く,そういった提案こそ を重視する事. 4. アイデアを結合子発展させる 別々のアイデアをくっつけたり,一部を変化させたりすることで,新たなアイデアを生み出 して行く.この過程こそが,ブレインストーミングの最大のメリットである. 私たちは,テーマに沿ったアイデアを,ポストイットに記入し,グループ全員が見ることの出来 る模造紙に貼ることにより,グループ内でのアイデアを共有していった.時には他人のアイデアを 見て連想したり,複数のアイデアを結合することにより,アイデアを展開していった. ブレインストーミングを行った後,KJ 法を用いてグルーピングを行い,提案につなげるため, アイデアを広げていった. 図 3.16 ブレインストーミングを行っている様子 (文責: 井内) 3.4.2 KJ 法 KJ 法とは,文化人類学者の川喜田二郎が考案した,ブレインストーミングでカード化された多 数の意見・アイディアをグループ化し,論理的に整序して問題解決の道筋を明らかにしていくため の手法である. <手続き> グループ化作業 ブレインストーミングで製作した多数のポストイットを,用意した模造紙に広げる.次に,内容 に関連性のある数枚のポストイットを集めてまとめ,その関連性のタイトルをつけ,小グループ を作る.このとき,他のカードに関連性がなく1枚のまま残るカードは無理に他のグループに加 えず,1 枚のまま残さなければならない.次に,小グループのタイトルについて,互いに関連性の ある小グループを中グループにまとめる.この作業を何度かくりかえし,最終的に 10 近くの大グ ループにまとめる. Group Report of 2011 SISP - 17 - Group Number 23-B Mind Communication <空間配置と因果連関> グループ間に論理的な関連性が出来るよう大グループのカードの束を並べ替える.次に,グルー プ間の因果連関の内容を矢印を使って,空間配置の論理連絡が分かるように書き込む.例えば,関 係の有無や,原因・結果,反対・対立などの因果関係がある. <評価とテーマ設定> 模造紙の図を見ながら,すべてのグループのうち,どれが重要と考えるかをグループ内で話し合 う.ここで重要であるとしたキーワードを中心に議論テーマ とする. <作業結果> KJ 法を行った結果,図 3.17,3.18 のようになった. 図 3.17 図 3.18 ブレインストーミング (α波が出そうなとき) ブレインストーミング (自分達にとってのコミュニケーション) ブレインストーミングと KJ 法の結果より,私たちは「α波の出そうな時」について,コミュ ニケーション時,リラックス時,睡眠時・快適な時などにα波が出やすいというイメージを持って Group Report of 2011 SISP - 18 - Group Number 23-B Mind Communication いることが分かった. 「コミュニケーションとは何か」については,手段や場所などで分類することが出来た.またこ こでは,B グループでは他人とのコミュニケーションより,自分自身とのコミュニケーションにつ いて多くの意見があがった. KJ 法の結果から,自分自身とのコミュニケーションについて焦点を当て,話し合いを重ね,提 案につながるようなアイデアをピックアップしコンセプトシートとしてまとめた. (文責: 井内) 3.4.3 コンセプトシート 提案を考えるにあたって,コンセプトとなる考えをコンセプトシートとして,製作していった. (図 3.19) (図 3.20) (図 3.21) (図 3.22)記入する内容は,コンセプト名,問題点,解決法,コンセ プト,それを説明する図である.自分たちの頭の中にある考えをまとめ,コンセプトシートを製作 する事により,より相手に説明しやすくなる.これを製作するにあたって,メンバー全員の考えを お互いに理解し,一つにまとめることが必要であり,アイデアからコンセプトにするにあたって重 要な作業である.このコンセプトシートを用いて報告会で,プロジェクト全体にプレゼンテーショ ンを行い,意見交換を繰り返すことにより,成果物のコンセプトを固めていった. 実際に製作した際には,説明図を書けないことや,抽象的になってしまうことが多く,相手にい つどういう時にどのように使用するか,また使用することによって何が変わるのか,伝わりづらい ことがあった.より具体的にユーザーシーンなどを考え,より伝えやすく図示すること・論理的に 考え,説明することの重要性を学ぶことが出来た. 図 3.19 Group Report of 2011 SISP Selfeel - 19 - Group Number 23-B Mind Communication 図 3.20 Yumetomo 図 3.21 図 3.22 Group Report of 2011 SISP Bable Mind Letter - 20 - Group Number 23-B Mind Communication (文責: 井内) 3.4.4 報告会 各グループ毎に複数のコンセプトシートを製作し,発表することにより意見交換をする報告会を 数回行った.(図 3.23)グループの中でのみ話し合うよりも,他のグループや TA の前で発表する ことにより,客観的な意見を得ることが出来た.例えば,MIND LETTER においては,このツー ルによって具体的に今までのコミュニケーションと何が変わるのか,どのような会話をすることが 理想であるのか,であった. また,この報告会は本プロジェクトにおいてのグループ毎の初めての発表機会であった.人に向 けて発表する機会を持つことにより,自分たちの考えを伝える際により説得力を持たせるよう工夫 することの重要性を学んだ.これは,具体的に提案においてもユーザーシナリオを製作することの 利点を学ぶことにも繋がった.このように積極的に発表機会を持ち経験を重ねたことが,個人の発 表スキルを上げ,最終発表会で満足のいく発表が出来たことにもつながっていると考えられる. 報告会で得た意見を生かしグループで再度話し合い,改善や新しいコンセプトへと繋げた. 図 3.23 報告会での発表の様子 図 3.24 報告会の様子 (文責: 井内) Group Report of 2011 SISP - 21 - Group Number 23-B Mind Communication 3.5 3.5.1 デバイスの習熟 習得技術 本プロジェクトでは,脳波情報を用いたコミュニケーションツールを製作する,つまり外部から の入力によってコンピュータ上で何らかのアウトプットを出しコミュニケーションをとるという ツールである.Phidgets や Arduino では一般的に外部からの入力によってコンピュータ上で出力 できるような言語であったので,私達は TA の方からそれらについての講義を受けた.具体的に は,インストールをはじめ,外部から入力できるようにするための設定,最終的にはサンプルプロ グラムを用いて簡単な実装ができるまでになった. (文責: 長束) 3.5.2 Phidgets 学習 そもそも Phidgets とは光センサや RFID,サーボモータなどの複数のセンサやアクチュエータ をコンピュータにつないで制御したいときに便利なマイコンボードのことであり,USB で PC に 接続して使うことによって C/C++ や Flash,Max/MSP,VB,Java などといったいろいろな言 語で実装が可能であることである. Phidgets では外部入力によってコンピュータのアウトプットを出すので脳波の計測の数値に よってコンピュータによる出力の変化が可能であるので私達は Phidgets 学習を行った.主に, Phidgets のインストールをはじめ,スライダーセンサとコンピュータの接続,最終的にはサンプ ルプログラムから Phidgets を実行させることによってスライダーセンサの値を手で操作すること でコンピュータの出力が変化する技術を習得することができた. 図 3.25 Phidgets (文責: 長束) Group Report of 2011 SISP - 22 - Group Number 23-B Mind Communication 3.5.3 Arduino 学習 そもそも Arduino とは AVR マイコン,入出力ポートを備えた基板,C 言語風の Arduino 言語 とそれの統合開発環境から構成されるシステムのことであり,Arduino はスタンドアロン型のイン タラクティブデバイス開発だけでなく,コンピュータ上のソフトウェアで制御することもできる. また組み立て済みの基板を購入することもできるが,オープンソースハードウェアであり,ハー ド ウェア設計情報の EAGLE ファイルは無料で公開されており,誰でも自分の手で Arduino を組み 立てることができる. Arduino では外部入力によって LED の出力の変化を出すので脳波の計測の数値によって LED の出力の変化が可能であると私達は考察した.主に,Arduino のインストールをはじめ,Arduino とコンピュータの接続の設定,最終的にはサンプルプログラムから Arduino を実行させることに よってマウスパッドを手で操作することで LED の光の強弱が変化する技術を習得することがで きた. 図 3.26 Arduino (文責: 長束) 3.5.4 Gainer 学習 そもそも Gainer とはセンサやアクチュエータとパソコンを接続する I/O モジュールと, Max/MSP や Processing 用のソフトウェアライブラリからなる環境です.この環境を用いるこ とで,モニター,キーボード,マウスといった通常のパソコンの環境に留まらない作品やインタ フェースのプロトタイプを短時間で作り出すことができます. Gainer では外部入力によって LED の出力の変化を出すので脳波の計測の数値によって LED の出力の変化が可能であると私達は考察した.これは Arduino と似ているが,Gainer の方がいろ いろな機能があるので Gainer 学習を行った.主に,Gainer のインストールをはじめ,Gainer と コンピュータの接続の設定,最終的にはサンプルプログラムから Gainer を実行させることによっ てマウスカーソルを操作することで LED の光の強弱が変化する技術を習得することができた. (文責: 長束) Group Report of 2011 SISP - 23 - Group Number 23-B Mind Communication 図 3.27 3.5.5 Gainer Processing 学習 そもそも Processing とは Casey Reas によるオープンソースプロジェクトである.ビジュアル デザインのためのプログラミング言語である. 視覚的なフィードバックが即座に得られるため, 初心者がプログラミングを学習するのに適しておりまた比較的 Java に近い言語なのでクラスの概 念を用いることができる. 実際に Mindset を用いて脳波を計測してテキストファイルとして書き込みを行う.そして Processing を用いることによってファイルを読み込み,各脳波の値を計算することによって光の 球の動きを変化させるというプログラムの制作に成功した.さらに follow では web カメラの画像 から影を認識させ,その場所に selfeel で用いた丸の形を投影させるというプログラムの制作に成 功した. 図 3.28 Processing (文責: 長束) Group Report of 2011 SISP - 24 - Group Number 23-B Mind Communication 3.6 習得成果物 私達の班では Phidgets 学習や Arduino 学習を行ってきたが,Processing はビジュアルデザイ ンに特化したプログラム言語であるため,私達の成果物である selfeel,follow は計測した脳波をコ ンピュータ上でビジュアルに表現させるものなので processing の方が適しているのではないかと 私達は考察した.また,selfeel の丸の形を表現する際にクラス化させることによって今後の実装に 効率化が図れるのではないかと私達は考察した. 実際に selfeel では,脳波の計測の数値によってコンピュータの出力の変化がビジュアルに変化 させるプログラムの実装に成功した.また follow では selfeel で用いた丸の形を特定の場所に映し 出し,ビジュアルに変化させることに成功した. 図 3.29 リラックス状態における光の球の変化 図 3.30 集中状態における光の球の変化 (文責: 長束) 3.7 ユーザテスト マインドコミュニケーションプロジェクトではそれぞれの班で製作したデバイスが果たして本当 にコンセプト通りに使用することができるのか.それを確認するために私達はユーザテストを行っ た.ユーザテストでは被験者に各グループのデバイスを使用してもらって実際にコミュニケーショ ンをしてもらい,コンセプト通りにコミュニケーションできたかどうかをアンケートに答えても らった.またコミュニケーションの過程でデバイスを使用することで何らかの変化が生じるのか, ということを確認するためにプロトコル分析を通して結果を解析した. 私達 follow 班では,「今まで見えなかった新しい一面がきっかけ」というコンセプトにした.自 分と同じ動きや形,それ以外何も情報を持たないという性質を持つ影に私達は着目した.これと身 近には存在しているが,意識しても知ることは出来ない脳波を組み合わせることでより脳波を自分 の情報として受け取り,何かを感じ取って行動,またはコミュニケーションに活かして欲しいとい うものである. follow 班では,一人でコミュニケーションする実験と二人でコミュニケーションする実験を行っ Group Report of 2011 SISP - 25 - Group Number 23-B Mind Communication た.まずデバイスを使用してもらい,集中とリラックスの練習をしてもらった.その後,一人でコ ミュニケーションする実験では,デバイスを使って輪投げをしてもらった.また,二人でコミュニ ケーションする実験では,デバイスを使ってデバイスを題材として話し合ってもらった.その後, アンケートに答えてもらった. 図 3.31 ユーザテスト 図 3.32 一人でコミュニケーションする実験のアンケート用紙 図 3.33 二人でコミュニケーションする実験のアンケート用紙 Group Report of 2011 SISP - 26 - Group Number 23-B Mind Communication 3.7.1 プロトコル分析 プロトコル分析とは,人間の発話データをもとにした認知プロセスの分析である.ユーザーに課 題を与え,頭に浮かんだことを話しながら行動を行ってもらう.考えて解釈した結果ではなく,頭 をよぎったことがリアルに発話されるため,より人間の認知過程を推理しやすくなる.ユーザーが 間違った箇所や混乱した個所,さらにどういう原因でそうなったかを推理・分析し整理する手法で ある. 今回の評価実験ではこのプロトコル分析を用いた.被験者が輪投げの課題を行う際の発話・被験 者 2 名の会話をビデオを用いて動画に記録し分析することにより,行動に伴う思考や,過程を分析 した. (文責: 井内) 3.7.2 結果 • 1 人の場合 結果は以下の通りとなった. 図 3.34 図 3.35 質問 1. 自分の脳波だと感じられますか? 質問 2. 自分の状態 (集中・リラックス) が分かりましたか? Group Report of 2011 SISP - 27 - Group Number 23-B Mind Communication 図 3.36 質問 3. 他の人と使ってみたいと思いましたか? 図 3.37 図 3.38 Group Report of 2011 SISP 質問 4. 今後,また使いたいと思いましたか? 質問 5. 自分の脳波を操作することができましたか? - 28 - Group Number 23-B Mind Communication 図 3.39 質問 6. このツールを使うことにより,輪投げを上手く投げる参考になりましたか? 1. の質問に対しては全ての被験者が「少し感じられた」「感じられた」と回答していた. 2. の質問に対しても「分かった」などの回答が 8 割を占めていた.回答欄には,「自分の意 識と映し出された映像がシンクロしているような気がした」,「暗算を行うと映像が集中状態 になった」などの記述があり,今回のテストによって使用者に自分自身の脳波を実感する機 会を与えることが出来たと言える. 3. と 4. の質問に対してしてはほとんどの被験者が使って見たいと回答していた.follow に対して興味をもってもらうことに成功した. 5. の質問にでは肯定的な回答は 6 割のみという結果になった.「上手くいかなかった」, 「自分の意識と違った」などの記述をしていた被験者が存在するため,脳波を測定するのに コツが必要なことや個人差があることを考慮しなければならないことが確認できた. 6. の質問では「参考にならない」などの回答が 6 割を占めた.本ツールはコミュニケー ション以外の用途にはあまり向かないことが推測される. 7. の質問に対しては以下のような意見が寄せられていた. – 気持ちを落ち着かせる – 運動しているときや眠っているときの状態も見て見たい – 何かのゲームに活用できそう – 授業やスポーツなどで意識をコントロールできるかどうか分かりそう • 2 人の場合 結果は以下の通りとなった. Group Report of 2011 SISP - 29 - Group Number 23-B Mind Communication 図 3.40 図 3.41 図 3.42 質問 1. 自分の脳波だと感じられましたか?(外側:初対面同士 内側:知り合い同士) 質問 2. 自分や相手の状態が分かりましたか?(外側:初対面同士 内側:知り合い同士) 質問 3. 相手の状態を推測した上で,コミュニケーションをとろうと思いましたか?(外 側:初対面同士 内側:知り合い同士) Group Report of 2011 SISP - 30 - Group Number 23-B Mind Communication 図 3.43 質問 4. 自分の脳波を影で見る体験は新鮮でしたか?(外側:初対面同士 内側:知り合い同士) 図 3.44 質問 5. このツールを使うことにより,コミュニケーションに変化を感じましたか?(外 側:初対面同士 内側:知り合い同士) 図 3.45 質問 6. 今後,また使いたいと思いましたか?(外側:初対面同士 内側:知り合い同士) Group Report of 2011 SISP - 31 - Group Number 23-B Mind Communication 1. の質問では,知り合い同士の方が「感じられた」「少し感じられた」の回答数が増加し ていることが分かる.記述欄には,「楽しく会話しているとリラックス状態になった」など の回答があり,知り合い同士のコミュニケーションだと本ツールが使用しやすいという推測 ができる.また,知り合い同士の被験者の中にはスマートフォンの対戦ゲームで遊んでいた 者もおり,記述欄には「自分の番が終了するとリラックス状態になった」という記述があっ た. 2. の質問では,初対面同士の被験者の記述欄に「話をつなげようとしている時に集中状態 になっていることが確認できた」とあった.また,知り合い同士の被験者の記述欄では「相 手に自分の状態を指摘された」という記述があった.これらのことから本ツールがコミュニ ケーションにある程度の影響を与えていることが推測される. 5. の質問では,初対面同士の実験の方が感じたと回答した被験者が多かったことが確認 できる.記述欄には「話題にはなるが話しやすいとは思わない」「自分の脳内を見られてい るようで恥ずかしい」 「相手が集中状態のときは話しづらい」とあり,初対面同士だと本ツー ルの存在は逆にコミュニケーションを取りづらい環境にしてしまうことが推測される.一方 で,知り合い同士の実験では「今までの対話に新しい付加価値がついた」 「横目で相手の状態 を見るのが楽しい」など今までの通常のコミュニケーションと比較してのコメントが多かっ た.1. の結果と合わせて,本ツールを使用するのは初対面よりも知り合い同士の方が向いて いるという推測ができる. 7. の質問に対しては以下のような意見が寄せられていた. – 障害者の方や動物に使う – 授業中にみんなで使う – 相手との話のタイミングを見つける – 多数の相手と話すのに使いたい – オセロなどのテーブルゲームで観客が両者の脳内を見れると面白い (文責: 鳥谷部) Group Report of 2011 SISP - 32 - Group Number 23-B Mind Communication 第4章 4.1 中間発表 評価結果(中間発表) 4.1.1 プレゼンテーション ミュージアム内で 4 つのブースに分かれ,ポスターセッションという形で中間発表を行った.ま た説明だけでなく,実際に制作物を使って貰う体験型の発表も行った. 評価シートの全体を見ると,発表技術,発表内容に関しては平均 8.5 点と考えていたよりも高い 評価が付いた.ハキハキと説明ができていた,聞き手にしっかり対応していた,質問にすぐ答えて くれてよかった等のコメントを貰えた.このことから,見に来てくれた人達に比較的にわかりやす い発表ができていたのではないかと考える.しかし,ミュージアム内で4つのブースに分かれての 発表だったため,各ブースの声が室内に響いてしまって,声が聞きとりにくいという指摘もあった. このことは,最終発表の際に特に気を付けたいと考える.体験型の発表形式も好評だった.実際に 体験出来て楽しかったという声をたくさん聞くことができた.しかし,実際に使ってみてこの制作 物を実践の場で使ったら何が起きるのか,また将来のビジョンをもっと明確にすべきというコメン トがあり,これからはもっとアイディアを詰め,使用シーン等を考えていく必要があると考えた. 学年別平均点数 • 1 年生 (8 人):8 点 • 2 年生 (11 人):8 点 • 3 年生 (29 人):8.5 点 • 4 年生 (13 人):7.5 点 • 教員 (5 人):9 点 • 院生 (3 人):7.5 点 (文責: 田代) 4.1.2 制作物 中間発表で使用されたプロトタイプの製作物は測定した脳波から集中状態・リラックス状態の2 つを判定し,それに応じて映像上の光の玉が異なる動きをするというものであった.発表中は発表 者が Mindwave を装着して説明するだけでなく,訪れた人々に実際に試用してもらうことも行っ た.評価シートに書かれた点数を平均すると全体的に好評価だったことが確認できる.また,製作 物が結果が目に見える物で使っている実感が湧きやすいこともあって,プロトタイプを試用して もらった多くの方々を感動させることが出来ていたと言える.ただ,否定的な意見が無い訳ではな かったのでこの発表によって得られた結果を参考に製作物の改良を行っていく必要性があった. 平均点数 • 総合評価:7.83 点 Group Report of 2011 SISP - 33 - Group Number 23-B Mind Communication • コンセプトが理解できたか:8 点 • コンセプトに興味を惹かれたか:5 点 • 使いたいと思いましたか:4.5 点 • ツールに脳波を使う意味があると思いますか:8 点 • 脳波とコミュニケーションとの関連性が分かりましたか:7.5 点 • このツールを使うことで,今までに無いものが得られると思いますか:5 点 評価シート上での主なコメント • 体験させてもらえてとても良かった • 実際に脳波を見ながら集中・リラックス状態を判断でき,面白かった • 「実践の場で使ったら何が起きたか」も報告してほしい • 遊び心があり,応用もきくため良い • 脳波は表に出していいものと,出したら雰囲気が悪くなってしまうものがあるのでそこも考 慮したほうがいい • 脳波の表現法にメタファー (比喩表現) を加えるとアートな方向に扱えそう (文責: 鳥谷部) 4.2 前期の反省 中間発表でのアンケートの結果をもとに前期での活動の評価をグループ内で行った. 前期の成果物において自分の脳波の状態をスクリーン上にある球でフィードバックして動きを表現 させるというものであった.しかし,本当にこの成果物を用いることで自分とのコミュニケーショ ンをとることができるのかという指摘を受けた.議論をした結果,最終製作物では自分と同じ動き や形,それ以外何も情報を持たないという性質を持つ影を用いることで自分の脳波の状態をフィー ドバックしてその影に出力させるような成果物にすることでその問題が解消されるのではないかと いう結論に至った. また私達のグループでは自分とのコミュニケーションが目標であるのだが,議論しているなかで 自分とのコミュニケーションではコミュニケーションの範囲が自分限定なので狭く感じられる.最 終製作物では基本的には自分とのコミュニケーションを目標とするがそれだけに限定せず,影と脳 波を組み合わせることでより自分の情報として受け取り,何かを感じ取ってコミュニケーションに 活かしてほしいという製作物に発展することを決定した.また,影を用いてコミュニケーションす ることで日頃では体験することのできない新しい体験をすることによって,日頃のコミュニケー ションに何か変化をもたらすことを目標とした. 発表について,議論しあったコンセプトだが「自分を感じる」とは製作物を用いることによって 自分の脳波を知るというものだった.しかし,グループメンバー全員がそのことを捉えることがで きていなかったので全員が一致した答えを答えることができなかった.また議論をしているなかで も以前に議論をした内容を再び議論するということが起こっていたので皆で一度決定した内容につ いて互いに確認しあうことが必要である. 中間発表で今回はプロジェクト全体で脳波についての発表を行ってから,各グループに分かれ て発表を行う形式をとったが,その形式についてアンケートでは好評ではあったが,それぞれのグ ループが同じ部屋で発表しているため声が聞き取りにくいという評価も得た.また,中間発表では Group Report of 2011 SISP - 34 - Group Number 23-B Mind Communication ポスターセッションだったため,見に来てもらった方全員に説明するのが不可能であった.説明し ている間にポスターだけを見て帰っていく人も少なくはなかった.そのため私達は最終発表では PV を製作することにした.PV ではデバイスの説明,使い方を映し出すこと説明を受けなくても デバイスのことがわかるようにした. アンケートについては,前期の製作物を実際に傍観者に利用してもらった.集中度によって出力 される球体の集まりについては爽快感や達成感があるという評価を得た.しかし,集中状態に入る ことができず出力ができない者にとっては操作感が分からないという評価を得た.またコンセプト についてはこの製作物を利用することで何ができるかということがよく理解できなかったという評 価を得た. また中間発表で用いたアンケートについて表裏に質問が書かれていないため,それに気づかな い人が非常に多かった.そのため最終発表の際にはそれの改善を行うことについての議論なども 行った. (文責: 長束) Group Report of 2011 SISP - 35 - Group Number 23-B Mind Communication 第 5 章 最終発表 5.1 背景 脳波は,我々の脳が活動する際に発生する電気信号のことである.すなわち,脳波は常に我々の 身近に存在している.事実,頭皮の表面にそれが出てくる訳だから,いつも一心同体であることに は違いない.しかし,脳波は意識しても自分で自らのそれを見たりすることは出来ないというのが 現状である.このことから我々は,その脳波を可視化し,人々にそれを見る機会を提供したいと考 えた. 我々は影に着目した.前期で製作した Selfeel は,たとえば 2 人以上で使用したときに誰の脳波 が表現されているか分からないという問題点があり,それを解決する必要があったためである.影 は,自分と同じ動きや形を持っているが,それ以外に何も情報を持っていないという性質がある. 我々は,この一心同体の自分の影に,いままで我々が自ら見ることの出来なかった脳波を組み合わ せることにした. (文責: 鈴木) 5.2 コンセプト これまでのプロセスから,中間発表まででは「自分の内面を可視化し,自分を感じる」というも のであったが,本当に selfeel を用いることで自分を感じることができるのかというものが問題点 となったために,議論した結果,follow では基本的には自分とのコミュニケーションを目標とする がそれだけに限定せず,「今まで見えなかった新しい一面がきっかけ」にというコンセプトにした. 自分と同じ動きや形,それ以外何も情報を持たないという性質を持つ影に私達は着目した.これと 身近には存在しているが,意識しても知ることは出来ない脳波を組み合わせることでより脳波を自 分の情報として受け取り,何かを感じ取って行動,またはコミュニケーションに活かして欲しいと いうものになった.follow では脳波を光の球として可視化し,影に映し出すことでユーザがより親 しみやすくなり,更に影に脳波を表現することで自分の動きと連動し,より脳波を自分の情報と感 じ取ることができるのではないかと考察した. (文責: 長束) 5.3 5.3.1 システム 導入 最終発表で使ったシステムは計測用の Mindwave が使用人数分,通信用の PC が使用人数分,描 画用の PC が 1 台,2 つの PC 間でデータを送受信するためのワイヤレスネットワークのルータ, ウェブカメラ,プロジェクターから成り立っている. Mindwave は follow を使用する人数分だけ用意する.ヘッドセットで測定した各脳波の値が通 Group Report of 2011 SISP - 36 - Group Number 23-B Mind Communication 信用 PC に送信される. 通信用 PC には,グループメンバーが所持する 2009 年度の未来大学の生徒の推奨機が使用され た.この PC には計測した脳波の値を int 型の変数として受信し,無線ネットワークを使って描画 用 PC へデータを送信する役割を果たすプログラムが搭載されている. 描画用 PC には,カメラから映像を読み取りプロジェクターで投影する映像を出力するプログラ ムが搭載されており,ウェブカメラとプロジェクターを接続して設置しておく.今回使用した PC は映像を描写するのに適した高性能の処理能力を有しており,処理落ちなどの問題点を解決するこ とに成功した. ウェブカメラは描画用 PC の USB ポートに接続する.このウェブカメラには専用のドライバの ソフトウェアが存在し,描画用 PC に予めインストールされてある.このドライバの設定を調節す ることによってカメラから得られる映像を影を認識するのに最適な状態に加工することが可能とな る. プロジェクターはミュージアムの天井の中央に設置してあるプロジェクターを使用した.このプ ロジェクターは地面に対して垂直に向き合う形で固定されており,今回のシステムにおいて映像を 投影するのに最適な形となった.このプロジェクターのレンズの付近にウェブカメラを同じ向きで 固定することにより,実際の影の位置にプログラムで出力した映像を重ねることができるように なった. (文責: 鳥谷部) 5.3.2 プロセス • 役割の分担 後期では processing による映像処理に加えてカメラの映像の認識やワイヤレスネット ワークを使ったデータの送受信などより専門的な機能を搭載することが決定した.これらの システムを構成するためには複数の PC を用意し,それぞれに個別のプログラムを用意する 必要があった.そのため今回は技術班の 2 人で担当するプログラムを分担し,同時進行で作 業を進めていく形となった. • カメラの映像の認識 描画用のプログラムの作成はまずウェブカメラを用いた色や動体の認識から始まった.初 期段階では Processing に標準搭載されている機能を用いてカメラ内の映像の色 (RGB 値) を認識し追尾する機能を作成した.しかし,この時点では複数の物体を認識することが出来 ないなどの不完全な要素が目立っていた.そこで,色や動体の認識を簡単に行うことができ る外部ライブラリである『JMyron』を導入することにより上記の問題点を解決し,より複 雑な処理を行うことが可能となった. • 複数の影の区別 利用者が複数いる場合,カメラで認識した影の内どの影がどの人物の物なのかを区別する 必要がある.この処理を行うために使用者にマーカーを装着させ,その色を認識しそれぞれ の位置を計算して比較することにより影を区別するという機能を搭載することが予定されて いた.しかし,ライトを使って強い光を当てるという環境の中だとマーカーの色を正しく認 識できないという問題点が発見されたため,この方法は不採用となった.その後も代替案と して様々な方法が考案されたがスケジュールの都合上搭載する余裕をとることが出来なかっ Group Report of 2011 SISP - 37 - Group Number 23-B Mind Communication たため,後述の位置関係をあらかじめ決めておく方法を採用することとなった. • 搭載されなかった機能 当初は心拍も計測し,得られた情報を利用して映像に新たな表現を追加するという案が存 在した.この機能を搭載するために心拍が計測可能な機器も既に購入して用意されていた が,スケジュールの都合が合わず未搭載のまま終わる結果となってしまった. (文責: 鳥谷部) 5.3.3 通信部分 我々が製作した「follow」のシステムは大きく分けて通信部分と描画部分の二つに分けることが 出来る.通信部分はさらに,脳波を取得するデバイス部分と,描画用 PC に脳波データを送信する 送信部分に分けることが出来る.この節では,まずデバイス部分について述べる.さらに,前期に 製作したプロトタイプ「Selfeel」の通信部分での問題点,それを解決し「follow」の通信システム に至るまでのプロセスも述べることにする. • デバイス部分 デバイス部分は,ユーザーの脳波を取得し,その脳波データを通信用 PC にデータをワイ ヤレスで送信するものである.使用したデバイスは,NeuroSky 社の MindWave[12] という デバイスである(図 5.1) .プロトタイプから最終製作物まで,一貫してこのデバイスを使用 した. 図 5.1 MindWave このデバイスは,ユーザーの頭部に装着することによって,頭皮表面に出てきた脳波の電 気信号を感知する.感知した脳波は,デバイス内部で解析,数値化し,通信用 PC の USB 接続された通信モジュールへデータを送信する(図 5.2) . Group Report of 2011 SISP - 38 - Group Number 23-B Mind Communication 図 5.2 MindWve と通信する USB ドングル 一般的に,脳波を計測するためには第 3 章 3.3.2 にあるように,ピックアップと呼ばれる センサをいくつも頭部に取り付ける.また取り付けの際にはジェルを塗らなければならず, 準備から後片付けまで容易ではない.それに対して MindWave は,ヘッドセット型になっ ており,ピックアップも額の 1 点のみであるため,手軽に着脱することが出来る. • MindWave について MindWave は脳波の数値データを PC に送信する.具体的にプロセスとして書き表すと, MindWave が脳波の電気信号を感知,解析し,数値データとして通信用 PC にデータを送 信する.データは,通信用 PC に USB 接続された受信モジュールで受信する.PC 内部の プログラムからデータを取得するには,localhost 上に起動した ThinkGearConnector とい うサーバに TCP でアクセスする.取得したパケットを解析することで,各周波数帯ごとの 数値データ,集中度,リラックス度,瞬き強度,センサー感度,1 秒間の脳波波形のデータ を取り出すことが出来る. 数値データは解析された周波数帯ごとの整数値であるため,数 値による条件分岐等が容易になる. MindWave は,その仕様から,一つの MindWave に対して,PC が一台必要になる.す なわち,同時に使用する場合,MindWave の数と同数の PC が必要になる. ここからは,中間発表のプロトタイプとして製作した Selfeel の通信部分とその問題点につ いて述べることにする. • Selfeel での通信部分 前期で製作した Selfeel に脳波の数値データを伝えるには,2 つの手順が必要であった. まず,脳波を取得しログデータを出力する.次に,ログデータを Selfeel が読み込み,数値 データを格納する.こうして,Selfeel に数値データを伝えていた.(図 5.3) Group Report of 2011 SISP - 39 - Group Number 23-B Mind Communication 図 5.3 selfeel システム 1 つ目の手順では,脳波のデータを取得するために,「MindSet data visualizer」[13] と 呼ばれる Windows 向けプログラムを使用した(図 5.4) .これは,MindWave からのパケッ トデータを解析し,取り出した数値データをテキストデータとしてログ出力することが出来 るプログラムである. 図 5.4 MindSet data visualizer 2 つ目の手順は,ログデータ読み込み専用のクラスを作ることで解決した.Selfeel 自体 が,Processing を用いて自分たちでコーディングしたものだったため,直接ログデータを保 持するには,Processing で使えるクラスを作成するのが最も簡潔な方法であった. このように,Selfeel では,脳波をテキストデータで書き出す,Processing で読み込むと いった 2 段階の手順を踏んでプログラムに脳波の数値データを伝えていた. • Selfeel の通信部分の問題点 前期の中間発表を終えた時点で,Selfeel の通信部分にはいく つかの問題点が存在した.問題点は,以下の 4 つであった. Group Report of 2011 SISP - 40 - Group Number 23-B Mind Communication – 問題点 1:MindSet data visualizer の動作が不安定で,しばしば MindWave と通信が出 来ない. – 問題点 2: MindWave が確実に脳波を取れているのか分からない. – 問題点 3:ログファイルの出力先が変更になると,Selfeel のプログラムも変更しなけれ ばならない. – 問題点 4:MindWave との通信と,Selfeel の描画を 1 台の PC で行うため,動作が重く なる. したがって,最終製作物 follow に求める条件は,これらの問題点を解決することが必須 事項であった.また,follow は複数の人数で使用することを想定していたため,MindWave が複数になっても対応できるようにしなければならなかった. • 問題点の解決 我々は,まずは描画用 PC の動作の重さを解決することにした.Selfeel では,脳波の取得 から描画まで 1 台の PC で処理していたが,follow では脳波の取得と描画を,それぞれ別の PC で分担処理させることで,1 台あたりの処理を軽くすることにした. 分担処理をするということは,脳波の数値データをネットワークで送受信する必要があ る.それに加えて,follow は複数の人数で使用するため,通信用 PC が複数台必要であっ た.これらから,複数の PC をつなぐネットワークシステムのデザインから始めることにし た. follow システム案は 2 つあった.1 つは,Apache サーバを通信用 PC に組み込み,描 画用 PC から通信用 PC に対してデータの問い合わせをするという方法であった(案 1). もう一方は,描画用 PC にサーバー(ホスト)としての機能を組み込み,それに対して通 信用 PC からデータを送りつける(ソケット通信)という方法であった(案 2). (図 案 1 Apache を使う方法)(図 案 2 独自アプリケーションを使う方法) 図 5.5 Group Report of 2011 SISP 案 1 Apache を使う方法 - 41 - Group Number 23-B Mind Communication 図 5.6 案 2 独自アプリケーションを使う方法 二つの案を比較した結果,我々は後者を選んだ.案 2 を選ぶことによって,我々は,問題点 1∼3 を同時に解決しようとした. 案 1 の場合,Apache サーバを組み込むだけなので構築は非常に容易であったと考えられ る.しかし,通信用 PC の台数が変化(MindWave の台数が変化)すると,描画用 PC のプ ログラムを修正する必要があった.すなわち,描画用 PC から問い合わせするサーバ数が変 化するため,追加分の IP アドレスなど,プログラムを修正する作業がありバグが発生する 可能性が考えられた. 案 2 の場合,描画用 PC はデータを受け取るだけなので,ネットワークがシンプルにな る.すなわち,通信用 PC と描画用 PC のプログラム同士が繋がるため,ログファイルを 介さないデータ共有が可能になる.また,これが実現できれば MindWave の台数が変化し てもプログラムの修正の必要がなく,柔軟に対応できると考えた.ただ,これを実現する場 合,前期で使用した MindSet data visualizer ではない,独自のアプリケーションを作る必 要があった. • Client for ThinkGear 我々は,通信用 PC 向けに,MindWave と接続し,受信した脳波の数値データを描画用 PC に対して送信するアプリケーションを開発した.我々はこれに,「Client for ThinikGear」 と名前をつけた.MindWave のデータを返す localhost のサーバ「ThinkGearConnector」 に対するクライアントであり,且つ,follow のホストに対するクライアントであるという意 味がある.(図 Client for ThinkGear) Group Report of 2011 SISP - 42 - Group Number 23-B Mind Communication 図 5.7 Client for ThinkGear このアプリケーションは,Processing で開発した. Processing には,有志が製作した沢山のライブラリが存在する.Client for ThinkGear を開発するにあたり,我々は3つのライブラリを使用した.ThinkGearConnector と接続 するためのライブラリ「ThinkGear」[14],GUI のコンポーネントを提供するライブラリ 「ControlP5」[15],ネットワークライブラリ「Network」[16] を使用した.また,Processing は Java のライブラリも使用できる.定期的に描画用 PC にデータを送信するため,Timer ライブラリを使用した. 最終的には,Java アプリケーションとしてエクスポートすることで,Processing が無い 環境でも実行できるようにした. ここで,Selfeel システムの問題点が解決できているかを述べる. 問題点 1 は,ThinkGear ライブラリを使用することによって解決した.このライブラリ は,前期で使用した MindSet data visualizer よりも安定して ThinkGearConnector と通 信できた. 問題点 2 は,Client for ThingGear の画面上に,脳波の波形データを表示することによっ て,脳波そのものを視覚化することによって解決した.生の波形データを見ることで,脳波 がしっかり取れる装着のしかたが分かるようになった. 問題点 3 は,Client for ThinkGear と描画用 PC で起動している follow プログラム同士 が通信するため,ログファイルを介さないシステムが実現した.描画用 PC の IP アドレス さえ分かれば,脳波の数値データを共有することが出来るようになった.これによって,前 期で使用したログファイル読み込み用の Reader クラスは使用しなくなった. • follow システム follow の通信部分は,下の図にあるように,大きく 2 つに分けることができる.デバイ ス部分と送信部分である.デバイス部分で取得したユーザーの脳波の数値データは送信部分 で処理され,follow の描画部分で使用するデータのみをソケット通信する.描画部分のプロ グラムには,データ受信用にサーバプログラムを組み込んでおき,受信したデータを描画用 PC で使用する変数に格納する機能を持たせた.(図 follow のシステム図.) Group Report of 2011 SISP - 43 - Group Number 23-B Mind Communication 図 5.8 follow のシステム ソケット通信をするためには,通信用 PC と描画用 PC を接続するためのポート番号を決 める必要があった.ポート番号は,他のアプリケーション等との干渉を避けるため,IANA が提言している DYNAMIC AND/OR PRIVATE PORTS から一つ選んだ. 脳波の数値データを通信・共有するためには,Client for ThinkGear(通信部分)から サーバプログラムに送られた文字列が,何のデータかを判別する必要があった.つまり,通 信する文字列の決まりを作る必要があった. 通信するデータは,個々のユーザーの数値データ(集中度・リラックス度),MindWave を頭部に装着しているか否かの2つであった.この 2 つのデータを区別するために,下のよ うに文字列の決まりを作った. – 数値データの場合:MindWaveID[16 進数], 集中度[0∼100], リラックス度[0∼ 100] – 脳波強度の場合:poorSignal, MindWaveID[16 進数], 状態[on / off] たとえば,ユーザーが ID が 716D の MindWave を使用していて,集中度 52,リラック ス度 10 のデータを通信する場合「716D, 52, 10」という文字列が送信される.また,ID が 9D6D の MindWave を頭部から外した場合, 「poorSignal, 9D6D, off」という文字列が送信 される.これをサーバプログラムが文字列を区別し,描画用プログラムの変数に格納するよ うにした. 最終発表では,MindWave を 2 台しか使用せず,また 2 台をそれぞれ色で区別していた ため,MindWaveID の部分には,Red または Blue という文字列を使用して区別した. サーバプログラムでは,データを受信するタイミングによって,文字列が勝手に改行さ れたり,複数のデータがまとまって長い文字列が生成されることがあった.それによって, follow そのものの動作が停止してしまうことがあった.これに対処するため,通信する文字 列の決まりにそっていない文字列を受信した場合は,そのデータを無視する機能も付け加え た.こうすることによって,プログラムの動作が停止することがなくなった. 以上のように,Selfeel の問題点を改良する形で,新しいアイデア follow のコンセプト・ Group Report of 2011 SISP - 44 - Group Number 23-B Mind Communication 機能を満たすように通信部分を仕上げることになった. (文責: 鈴木) 5.3.4 描画用 PC 描画用 PC にはカメラの映像から影を認識し,得られた脳波のデータを元にして脳波の状態を光 の玉として抽象化してプロジェクターから影の上に投影するプログラムが搭載されている.今回の このプログラムは,通常の processing の機能に加えていくつかの外部ライブラリを搭載すること により,今回の機能を実現することに成功した. • ウェブカメラの映像処理 このプログラムは USB に繋いだウェブカメラを元にして映像処理を行っている.カメラ から得られた映像はウェブカメラのドライバの設定を変更することによってある程度の加工 を行い,後に行う影の認識や脳波の状態を表す光の玉の表示などを行い易いように調節を 行う. • 影の認識 映像の処理に関しては JMyron と呼ばれる processing の外部ライブラリの機能を使用し ている.JMyron とは海外のサイトで公開されているオープンソースライブラリの一つであ り,カメラの映像のキャプチャ処理や動体認識などの処理を行う機能を備えたものである. この機能を利用することにより,影を認識する機能を簡単に搭載することが可能となる. ウェブカメラから入手した映像データから RGB の値を判定し,値が指定した誤差の範囲内 となっている部分を影のある場所として判定しその範囲の座標を入手する仕組みとなってい る.また,この機能には複数の物体を判定することも可能となっており,プログラムの内容 を書き換えることによって認識する影の数を変更することが可能となっている.今回の最終 発表においては1∼2人で使用するものと想定して影の認識を 2 つまで行うように設定して ある. • 使用者と認識した影の対応付け 複数の人物がこのデバイスを利用する場合,それぞれの使用者に対して複数の影の内どの 影がどの人物の物なのかを判定する必要がある.今回の発表会では 2 つの Mindwave それ ぞれの使用者の立ち位置についてあらかじめ右側か左側か決めておくものとし,映像内の影 の認識において入手したそれぞれの影の x 座標を比較することによって使用者と影を対応付 けるものとした. • 脳波の値の受け取り 通信用 PC の方で測定しておいた脳波の値をワイヤレスネットワークを通して受信する. 今回のプログラムにおいては int 型の長さ 3 の配列を 2 つ用意し,それぞれの Mindwave か ら“ヘッドセットが装着されているかどうか”, “装着者の集中度合い (ATN として扱う)”, “装着者のリラックス度合い (MED として扱う)”の 3 つの変数として値を受信し,格納す るようになっている. • 光の玉の処理 上記の脳波の値の受信で受け取った 3 種類の値を元にして,影の上に表示する光の玉の Group Report of 2011 SISP - 45 - Group Number 23-B Mind Communication 映像に処理を行う.まず,“Mindwave が装着されているかどうか”の値を読み取ることに よって,Mindewave を装着している人数やどちらの Mindwave が使われているかなどを判 定することが可能となる.次に,ATN・MED の2つの値を判定することにより,光の玉が どのような動作をするのかを決定する.この 2 つの値は 0∼100 までの範囲となっており今 回のプログラムではこれらの各値が 50 を越えた場合,それぞれ“集中している”, “リラッ クスしている”として判定し,それぞれ対応した動作をするように設定してある.尚,測定 中 ATN・MED が共に 50 を越える“集中していて尚且つリラックスもしている”という状 態になることがある.この場合,『使用者は集中しているという意識の方が強いのではない か』という意見をもとにして集中しているという判定を優先して処理することにした. • 影の上に投影する 上記の判定を元にした光の玉の映像を影のある位置に投影する.影の認識において入手し た影のある位置の x 座標,y 座標を使ってどの位置に光の玉の映像を表示させればよいのか を決定する.影の中心座標や x 座標,y 座標それぞれの最小値・最大値(どの位置からどの 位置まで影があるのか)を使うことによって光の玉の表示する範囲や反射する位置,集まる 位置などを計算する.影の上に光の玉を重ねて投影した後は影がない部分を黒く塗りつぶす 処理を行う.これを行うことによって影のある位置にのみ光の玉が表示されるようになり, 影の形や動きに応じて光の玉が表示される場所が変化するようになる. • 映像の全画面表示 映像をフルスクリーン化して表示するために,fullscreen という外部ライブラリを使用し た.このライブラリを使用することによって表示される映像を簡単に全画面で表示すること が可能となる.また,この機能は解像度を変更することなく全画面で表示することが可能な ため,動作が重くなるようなことが無くスムーズな映像処理を行うことが可能となる. (文責: 鳥谷部) 5.4 仕様 follow は,ヘッドセットを使い脳波を読み取り,解析し,それを影に光の球として表現するツー ルである.影に映し出された光の球を見ることで,自分の脳波だけでなく,他人の脳波の状況を推 測することができる.これによって,自分や相手の状態を知り,そこから自分の行動に移すきっか けにしてほしい. follow は脳波状況によって光の球の動きが異なる.まず,集中もリラックスもしていない時の 光の球は白色で散らばっている.集中している時は,白く散らばっていた光の球が一点に集まり, 赤色になる.リラックスしている時は,散らばっていた光の球がだんだん大きくなり影一面に広が る.そして光の球の色が青色になる. また follow には若干の操作感がある.操作感があることで操作する楽しみが生まれると考えた. 目を瞑ったり,気持ちを穏やかにすることでリラックスをすることができる.頭の中で計算をした りすると集中することができる. follow のシステムは,ヘッドセットと通信用 PC と,follow を描画する描画用 PC に分けて組 んでいる.描画用 PC から受信した脳波の数値データと,Web カメラの画像から影を認識した結 果を合わせて,光の球を描画する.光の球は,プロジェクターから足下の影に投影される. Group Report of 2011 SISP - 46 - Group Number 23-B Mind Communication (文責: 田代) 5.5 シナリオ 私たちは,follow をどのような時にどのように使用することができるのかグループで話し合っ た.そして,follow を使うことで,使った人がどう幸せになれるのか話を詰めていった.その際 に,まず私たちが follow を使って皆さんにどのように思って貰いたいかを考えた. まず,私たちはたくさんの人に follow を使って貰い,脳波を見る体験をしてもらいたい.そして 自分や相手の脳波を見て,そこから心理状態等を推測し,その情報を次の行動に移すきっかけにし てほしいと考えている. 私たちは,上記のことを満たすことのできるユーザシナリオとして対話やゲーム時を考えた.そ の具体的な使用方法について詳しくまとめた. • 対話 友人と話をしている場合を考える.その友人が疲れていて,自分の話や話術で相手をリ ラックスさせてあげたいと思ったとする.その時に友人の影に映っている光の球を見て,そ の動きから友達の状況を確認する.もしも自分が話している時に,青色の光の球が影の中 いっぱいに広がっていたら,友人はリラックスしていて,自分の話術でリラックスさせるこ とができたということになる.しかし,友人の影に映っている光の球が赤色で一点に集まっ ていたら,集中していることになるためリラックスさせることができていない.そこで,相 手をリラックスさせるために,また新たな話題や話術を取り入れ,相手をリラックスさせる ように行動してほしいと考える. 他にも,自分の話を相手がどのような状態で聞いているのかを知るきっかけにもなるので はないかと考える.自分が話している時に,相手の光の球の動きを見ることで,相手が自分 の話を集中して聞いてくれているのか,リラックスして聞いてくれているのか知ることがで きる. 図 5.9 対話 • ゲーム オセロや将棋やチェス等のゲーム時を考える.2 人の脳波状態が見える形でゲームをす Group Report of 2011 SISP - 47 - Group Number 23-B Mind Communication る.その時,次の手をさそうとする相手が集中していたら,何か考えがあるのかもしれな い,戦略を思いついたのかもしれないと考えることができる.もし相手が集中していて,何 か戦略がありそうな時,相手の集中を持続させないように相手の邪魔をする等,何か行動に 移す.そのように,自分で何か相手の状況を読み取り,行動に移し,行動してほしい.そし て,ゲームでも駆け引きだけでなく,可視化した脳波でも駆け引きすることができると考 える. 図 5.10 図 5.11 ゲーム時 (将棋) ゲーム (トランプタワー) (文責: 田代) 5.6 リフレクション follow を実際に使ったらどのようなものが得られるか,また,改善点等を見つけるためにユー ザー実験を行った.そしてその結果を考察した. まず使用人数が 1 人の時,自分の脳波だと感じられた,操作感があったという人が多かった.こ れから,自分の脳波だと感じてもらうことや楽しんでもらうという目標は達成したと考える.しか し,複数人で使用すると自分の脳波だと感じる人が少なかった.複数人で使用すると人の声や表情 に集中してしまい,脳波をあまり意識しなくなることが原因ではないかと私たちは考えた. また複数人で使用する時に,聴き手と話し手によって脳波状態が違うことがわかった.話し手が 集中し,聴き手がリラックスするという状態が良く見られた.そして,話し手と聴き手が入れ換わ Group Report of 2011 SISP - 48 - Group Number 23-B Mind Communication ると脳波状態も入れ換わるという現象を見ることができた.被験者の方からは,今まで行っていた コミュニケーションに脳波情報という付加効果があったと言う人もいた.聴き手や話し手の状況が 入れ換わるということは,私たちも予想していなかった.ユーザー実験をして新たな発見があった と考える. (文責: 田代) 5.7 5.7.1 結果 製作物 最終発表に向け,follow を説明するポスターを 2 枚と PV,web を製作した. ポスターについては,一枚が,ツールを表す写真とコンセプト,提案の背景について,提案シス テムについてを記載した.もう一枚には,具体的なシステムについてとその説明図,使用方法,提 案を使用するにあたってのユーザーシナリオ,リフレクションを記載した.これは,最終発表にお いて説明員が側にいる状況で,このポスターを用いて説明することを前提に製作した.そのため, 全ての情報が記載されている訳ではなく,必要最小限のキーワードや文章を用いて説明に生かして いる.また,記載することの出来る量が限られているため,写真や図を効果的に用いて,より分か りやすく解説することの出来るよう意識した. 表記については日本語のみでなく,英語でも表記することにより,英語圏の観覧者にも理解出来 るポスターを目指し,製作した.英語の文章については,最初は日本語の文章をただ英語に当ては めて訳していたが,繰り返し文章の執筆を重ね,佐藤先生に幾度と無く協力していただくことによ り,短く要約しながら文章にまとめることが出来た. また,PV については,最終発表において各グループのブースに設置し,来場者に見てもらうた め製作した.内容は 1 分程度であり,follow のユーザーシーンについて説明した動画である.ユー ザーがこれを見ることにより,よりユーザーシーンについて具体的なイメージを持ってもらうこと を目的としている. PV では,脳波を光の球として自分の影のなかに表現したこと,使用者が集中した時に光の球 が集まること,リラックスした時には光の球が大きくなり広がること,また,使用者の身体の動き (影の動き)に follow がついて動くこと,の大きな4点について説明している.集中時については, 輪投げの輪を投げようと構えている時,リラックスについては,トランプタワーを組み立て終えた 直後で表現している. web については,これまでのプロジェクトの成果を外部の人に公開する目的で製作した.内容 については,最終発表用のポスターをもとに製作され,ポスターよりもより詳しい説明が加えられ ている.web の構成としては,トップページを本プロジェクトの説明のページとし,このページ から各グループのページにリンクしている.各グループの項目は各グループに共通して,ツールの 概要,背景,システム,ユーザーシナリオ,ユーザーテスト,メンバー,の 6 項目である.また, ユーザーシーンについてより詳しく説明するため,製作した PV を掲載し,観覧することが出来る ようにした. (文責: 井内) Group Report of 2011 SISP - 49 - Group Number 23-B Mind Communication 5.7.2 評価結果 最終発表の際に評価シートを配布し,発表内容や発表技術,follow について評価してもらった. 発表は中間発表と同様,ポスターセッション形式で行った.しかし,今回は PV を作成し,それを 流すことによって説明を聞くことができなかった人にも follow がどのようなツールなのか,使用 方法等がわかるようにした. 学年別平均点 (発表内容,発表技術) • 1 年生 (10 人):9.17 点 • 2 年生 (66 人):8.02 点 • 3 年生 (38 人):8.42 点 • 4 年生 (29 人):8.32 点 • 教員 (12 人):7.67 点 • 院生 (13 人):8.2 点 評価シートに書かれたコメントについて以下に記す. <発表技術> • 説明を絶やさない手法が良い • 体験型の発表形式が良い • 説明がうまい • 順路がわからなく,時間内では回れない • 声が聞こえづらい • 質問に対する答えが甘い 図 5.12 発表技術(横軸:学年,縦軸:平均点) <発表内容> • 研究内容から今まで見なかった発想だったため新鮮だった • ツールの活用法についてもう少し分析してほしい Group Report of 2011 SISP - 50 - Group Number 23-B Mind Communication • 3つのシステムのコンセプトの違いをもっとよく説明した方が良い • ポスターに結果 (評価) のことがほとんど書かれていない • プロジェクトとしての目標や推進状況についてもまとめる必要がある • もう少し詳しく説明してほしかった 図 5.13 発表内容(横軸:学年,縦軸:平均点) 上記のコメントから,発表技術について考察を行った.ポスターセッションや体験型の発表方式 は好評だった.ポスターセッション形式にすることで,人に細かいところまで説明することや質疑 応答をしやすくすることができたと考える.しかし,各グループのブースが近く,声が重なってし まい,うまく聞き取れなかったというコメントがあった.また,時間内ではブースを回ることがで きないという意見もあった.確かに,ポスターセッションも聴き,体験も行うとするとかなりの時 間を要する.それを 3 グループ分回るとすると,15 分という限られた時間では無理だったかもし れないと考えた.質問に対する答えが甘いという意見も多かった.各班,発表の前に特定の質問に 対する答えを一致させていた.また,何度も発表練習を行い,受け答えの練習をしていた.しか し,もしかしたらそのせいで受け答えがマニュアルの様になっていたのかもしれないと考えた.コ メントの中に,マニュアル通りに発表しないでほしいという意見もあり,もっと自分達の言葉で話 せたら良かったのではないかと反省した. 次に発表内容について考察を行った.脳波や生体信号を用いたツールをいうことに皆新鮮さを 感じてくれたと考える.皆が興味を持ってくれたと感じた.しかし,今回の発表ではどのような場 面で,どのように使うのかについて,聴きに来てくれた人の中に疑問が残ってしまったと考える. ツールの活用法について,もっと各グループごとで話し合う必要があったと考える.どのグループ でも脳波を可視化してコミュニケーションに結び付けているため,はっきりした違いを伝えられな かった可能性があると考える.また,中間発表の時には全体の発表スライドを作成し発表したが, 最終発表では全体のスライドを作成しなかった.そのため,もう少しこのプロジェクトについて今 までの流れや今までに出た案等をどこかにまとめて,見れる形にまとめればよかったと考える. follow についての評価 (平均) • 総合評価:8.04 点 • コンセプトが理解できましたか:7.74 点 • コンセプトに興味を惹かれましたか:7.4 点 Group Report of 2011 SISP - 51 - Group Number 23-B Mind Communication • 使いたいと思いましたか:7.19 点 • ツールに脳波を使う意味があると思いますか:7.07 点 • 脳波とコミュニケーションの関連性がわかりましたか:7.2 点 • このツールを使うことで,今までにないものが得られると思いますか:7.17 点 上記の結果から,コンセプトに興味を惹かれましたか,使いたいと思いましたかという問いの点 数は,中間発表の時よりも評価が上がっていることがわかる.中間発表で指摘された点等をきちん と改善できたと考えられる.最終発表までに,人に使いたいと思って貰えるツールを作成できたの ではないかと考える.しかし,中間発表の時と同じように,使用シーンがまだまだ甘いということ もわかった.もっとしっかりと脳波を使った利点や売り等を説明出来たらよかった. (文責: 田代) 5.8 担当課題評価 5.8.1 井内美里の担当課題評価 • 前期 まず,普段あまり身近では無かった脳波について理解を深めるために,実験班と解析班に 分かれ脳波の理解を深めた.ここでは実験班として,脳波測定の技術を習得するため脳波実 験を繰り返し行った.実験するに当たり,電極の付け方や測定の方法などをしっかりと学ぶ 事が出来た.また,被験者としても脳波の測定を体験し,実際に自分の状態と脳波のリアル タイムな関連を見ることが出来た. 次に,プロジェクトを3つのグループに分け,各グループ毎にブレインストーミング・KJ 法を行い,提案物のコンセプトになるアイデア出しを行った.ここでは,グループワークの 経験を生かし,積極的に話し合いに参加した.その後,プロジェクト内での発表を経てグ ループ毎の提案を決定し,プロトタイプ製作,中間発表準備を行った. 中間発表で使用する,ポスターセッション用のプロジェクトについて説明するポスター一 枚,グループの提案を説明するポスター一枚,プロジェクトのロゴを製作した.評価とし て,成果物をきちんと完成させる事が出来たが,中間発表の前日にポスターを完成・印刷す ることとなってしまったため,より計画性を持ち,余裕を持って行動すべきであったと感じ られた.B グループのポスターについては,プロトタイプの動きの説明をする図が少し分か りづらくなってしまった. • 後期 中間発表での意見や反省をグループ内で共有し,反省を行った.結果として,コンセプト やユーザーシーンについてより明確にし,発展させていくこととなった.そのため,プロト タイプの製作を一旦止め,グループ全体で話し合いを重ねた.ここでは,話し合いの進行役 を務め,グループ内で話し合うべき議題や課題を常に明確にし,活発な話し合いが出来るよ う心がけた. その後,最終発表に向けて,最終発表用ポスターの製作とデバイス製作に分かれたが,最 終発表用ポスターの製作を担当した.ポスターに乗せる情報をグループ内で分担し,余裕を 持って進めることが出来た. Group Report of 2011 SISP - 52 - Group Number 23-B Mind Communication 最終発表では,follow の実演と来場者の体験補助を担当した.あらかじめ follow の使用 経験があり,慣れていたこともあり,スムーズな実演が出来た.また,来場者の体験補助の 際には,ヘッドセットの装着や質疑応答もこなし,様々な意見や来場者の生の感想を得るこ とが出来た. また,web の製作を中心となって進めた.web の構造とデザインを製作し,各グループに は必要な画像や文章などの必要な素材を指定して,用意してもらえるよう割り振ることによ り,混乱すること無くよりスムーズに進行させることが出来た.また,あらかじめかなり早 めの時期から企画することにより,時間に余裕を持って製作することが出来た. また,マインドコミュニケーション用のポートフォリオ製作を行っている.本プロジェク トのデザインコースで分担しその中でも,前期に行った先行事例研究のページと,一年間の プロジェクト活動の作業風景のページを担当し,現在製作している. ポートフォリオの作業風景のページの製作に関連して,本プロジェクトの記録係としても 活動した.プロジェクト中の活動風景や各グループの実験・作業,中間発表や最終発表の発 表風景の写真を撮影した.また,メンバーが撮影したプロジェクト内の写真を取り纏めて管 理し,ポートフォリオ製作やポスター制作・web 製作において生かしている. 後期には前期の反省を生かし,最終発表用のポスター印刷を最終発表の前々日に行った. また,web 製作・ポートフォリオ製作を早い段階から企画・分担して進めるなど,後期にお いては時間に余裕を持ち,計画的に活動出来た.また,ただ計画を建てることが重要なので は無く,実現可能な計画を建てること,進行状態を見ながらお互いのタスクを確認し,再分 担することや,時には締切を延ばすことの重要性を学ぶことが出来た. 5.8.2 鳥谷部一平の担当課題評価 先行事例の調査では脳波を使った機器はどのようなものが存在するのか調べたり,脳波を 使ったおもちゃを実際に使ってみるなどの調査を行った.これによって脳波を利用してどの ようなことが出来るのかというイメージを固めることができた.脳波実験においては,解析 班として scilab を使って他のメンバーと強力し,得られた脳波データの解析に努めた.各 メンバーで役割担当データを分担し,効率の良い解析作業を行うことが出来た.これらの作 業により脳波に対する知識を深めることに成功した. グループにおけるコンセプトの話し合いについては,ブレインストーミングなどを行って グループが製作するツールについて話し合った.これらの作業ではあまり自分の意見を主張 できなかったことや発表が上手く出来なかったことなどが自分の大きな反省点として挙げら れる.この話し合いを通して脳波とコミュニケーションの関連性についてより考えを深める ことができた. 前期の活動における技術班としての製作物の作成においては前述の点を挽回すべく,時間 を有効に使いつつメインのプログラミング作業に努めた.デバッグ作業や他メンバーとの情 報の行き違いによるタイムロスも存在したことが悔やまれるが,最終的に中間発表のプロト タイプとして十分な出来に到達することが出来たため満足のいく結果を残すことができたと いえる. 中間発表については自分は後半での製作物の発表を担当した.グループのコンセプトや製 作物をうまく伝えられるか不安だったが,説明や質問に対する回答も何とか無難にこなすこ とが出来たため一応は成功したと言える. 後期の活動は前期で得られた意見を元にしてコンセプトを見直すというディスカッション Group Report of 2011 SISP - 53 - Group Number 23-B Mind Communication から始まった.このディスカッションについては非常に難しい議題であったため,討論の期 間が大きく長引く形となってしまった.グループがこの議題の解決に苦しんでいる中,自分 はあまり積極的な意見を出すことが出来ずにグループに貢献することがあまり出来なかった という結果になってしまった.この点については今回のプロジェクト活動全体を通しての自 分の大きな反省点として捉えられる. ディスカッションが終わってからの実装作業については前述の失敗を補うために,積極的 に実装作業に取り組んできた.ディスカッションが長引いたこともあって発表までのスケ ジュールが非常に厳しい状態となっていたため,放課後の時間や休日の時間帯をうまく活用 することによってデバイスの完成を目指してきた.予定していた機能を搭載する時間が無 く,搭載せずに終わってしまった機能がいくつか存在することが悔やまれるが,主な機能は すべて搭載することに成功し最終発表にも間に合わせることができた. 最終発表では後半の発表を担当した.多くの人が本プロジェクトの発表を見に来たため, 人数の多さに対応しきれず発表が多少曖昧な状態になってしまっていたことが失敗点とし て挙げられる.それでも多くの人に follow を使用してもらい,このツールのコンセプトを 知ってもらうことが出来た. 今回のプロジェクト活動を通して,非常に多くの物を学び取ることが出来たといえる.グ ループディスカッションでは,製作する物に対してのアイディアを固めていく過程を学び取 ることが出来た.実装作業では,人の意見や要望をまとめてどのような方法でそれを実現さ せていくかという過程の重要さを理解することが出来た.複数の人数で活動していくのに必 要な物を一通り学ぶことが出来たと言える. 5.8.3 長束薫の担当課題評価 長束薫が実際に活動したスケジュールは以下の通りである. 4月 先行事例調査 5月 実験解析 6月 テーマ設定 7月 プログラミングと中間発表と中間報告書 9月 前期の反省 10 月 コンセプトの詰め直し 11 月 ユーザテスト,ポスター撮影,PV 撮影 12 月 最終発表 1月 最終報告書 • 先行事例調査 マインドフレックスなどの脳波を用いた玩具について調査し,発表用スライドで発表でき るようにまとめプロジェクト内で自分の担当した部分についての発表した.またプロジェク ト全体の発表を通して,私達が調査を行った先行事例の良い点や悪い点などを議論した. • 実験解析 担当講師から脳波についてや計測された脳波の解析方法を学び,自ら解析できる技術を学 んだ.また実際に実験で行われた音楽のテンポによる脳波の変化についての解析を行ったり 担当講師から学んだ脳波についてまとめて発表用スライドで発表できるようにまとめた. Group Report of 2011 SISP - 54 - Group Number 23-B Mind Communication • テーマ設定 ブレインストーミングや KJ 法を用いることによって脳波を用いたコミュニケーション ツールについて具体的にどのようなものを制作するのかのアイデア出しをグループ内におい て討論を行い決定した.またコンセプトシートを制作してどのようなものを制作するのかを プロジェクト内で発表し,批評してもらった.その後,グループ内で議論を行い,実際に製 作するデバイスの決定をした. • プログラミング 計測された脳波の数値がファイルとしてデバイスから出力されるが,processing を用いて そのファイルの読み込みをできるようにしたことと「selfeel」で用いられる円を表現する処 理を行うためにクラスを制作して実装を比較的に容易にできるようにしたことでグループ活 動に貢献した. • 中間発表 グループでの発表時に前半グループとして発表した.脳波を知らない人でもこのツールが どのようなものであるのかを簡潔に説明して実際に使ってみたいユーザに装着させて実験し てもらい,質疑応答の時間を設けて質問に答えた.反省点としては,ユーザの質問に答えら れなかった時もあったので,しっかりとコンセプトについて理解していなかったことや説明 しているときに他の人が来ているのにも関わらず,説明しすぎて他の人が帰ってしまうとい うような臨機応変に対応できなかったことだ.この反省点を踏まえて後期ではこのようなこ とがないようにしていきたい. • 前期の反省 中間発表でのアンケートの結果を用いてグループ内で反省を行った.主に発表の仕方,コ ンセプトの明確化,グループ内での情報共有が問題点になっていたので一つずつグループ内 で話し合いを行うことで解決していった.発表の仕方では,説明を受けていない者のために PV を用意して,follow のコンセプトなどを知ってもらうなどの工夫を行った.またグルー プ内での情報共有では,一つの話し合いにおいて語句の定義などを復習していくことで情報 共有ができるのではないかと考えた. • コンセプトの詰め直し 「selfeel」のコンセプトである「自分を感じる」というものが本当にこれを用いることに よって自分を感じられているのか,ということに疑問を持った.そこでグループ内でコンセ プトの詰め直しを行った.そこで私は「質より量」を念頭にできる限り多くの発言をした. また前期と同様,ブレインストーミングなどを用いることでアイデア出しの効率性を高め た.プロジェクト内でコンセプトの発表を行い,批評してもらった.その後,グループ内で 議論し,コンセプトを決定した. • ユーザテスト 主に2人でのコミュニケーションの実験を担当した.実験内容を決定し,被験者に教示し たり,実験後のアンケートの質問内容などを決定し,答えてもらった.また被験者を学内か ら探して実験への参加の承諾を積極的に行った.またユーザーテストで発言された内容のプ ロトコル分析,アンケートの結果の集計を行った. • ポスター撮影・PV 撮影 ポスターの写真の撮影と PV 撮影を行った.私は主に,撮影のために必要な機材などの持 ち運び,設定を行った.またポスターの写真の撮影では,ユーザシーンの写真のために自ら 撮影してもらった.また影をきれいに映し出すためにスポットライトを用いたので,撮影の Group Report of 2011 SISP - 55 - Group Number 23-B Mind Communication 間に倒れないように注意を向けた. • 最終発表 グループでの発表時に前半グループとして発表した.脳波を知らない人でも分かるように できる限り専門用語を使わないように心がけた.また最後に質疑応答の時間を設けて質問に 答えた.反省点として,中間発表に比べてどんな質問に対応できるようにしたつもりであっ たが,想定外の質問に言葉を濁らせてしまったことだ.また最終発表では PV を用意してい たのにも関わらず,質問されない限りは PV の説明をしなかったことだ. • 全体 一つの研究についてグループで活動することを今までで経験したことがなかったので,こ の一年を通して良い経験になったと思う.その中でもグループディスカッションでは苦労し た.経験したことがなかったのか,前期の頃はあまり発言することができなかった.しか し,繰り返していく内に発言の回数も増えてきて,グループ活動に貢献できた. 5.8.4 鈴木孝宏の担当課題評価 本プロジェクトで,私は,前期は解析班に所属し,脳波データの解析等を担当した.前期の後半 は,グループの技術班に所属し,プロトタイプの製作やシステム構築を行った.後期は終始技術班 に所属し,前期で制作したプロトタイプの改良,follow システムの構築を引き続き行った.通年で 本プロジェクト B グループのリーダーを担当し,グループメンバーをまとめる作業を担った. ここからは,本プロジェクトで担当した項目それぞれについて述べていくことにする. • 脳波データの解析を担当【前期】 プロジェクト開始当初は,解析班に所属し,脳波データの解析を担当した.まずは,Scilab を習得するところからはじめ,さまざまなホームページ等を参考にし,Scilab を早く使える ようになろうと努めた. また,解析班メンバーに Scilab の使い方を教えることもした.早く使えるように努力し たかいもあり,Scilab の習得は早かった.そのため,まだ使い方に慣れていないメンバーに 使い方を教える講義を行った.講義にはプロジェクターを使い,スクリーンに大きく映し出 し,メンバー全体でノウハウを共有できるようにした. • 解析結果を表示するアルゴリズムの改良【前期】 解析班のメンバーが共通のアルゴリズムを使用して解析をしていたが,毎回 Scilab のプ ログラムを修正しながら解析をする必要があった.しかし,自分としては,解析結果が見づ らかったり,手間がかかると思っていた.そのため,Scilab の解析結果をより見やすく,使 いやすい形にしようと,新しい解析用アルゴリズムを作成した.しかし,出てくる結果が間 違っていたようで,結局は使い物にならなかった. 新しいツールを使うときには,自分から様々な情報を探して,使ってみようとする点は自 分でも評価出来ると思っっている.ただ,自分には情報をしっかり読み込まないで使い始め る点があるので,結果,使い物にならないプログラムを作ってしまう自体になったのだと思 う.今後は,使い方等の情報をしっかり理解してから作業に取りかかりたいと考えている. • Processing を使用しプロトタイプ製作【前期】 プロジェクト前期の後半は,グループの技術班として活動した.プロトタイプの開発言 語は,Processing を使用することにした.Processing は技術班メンバー全員が,学部 1 年 の時点で授業で使用した経験があるため,導入がスムーズだと考えた.しかし,メンバー Group Report of 2011 SISP - 56 - Group Number 23-B Mind Communication は Processing 自体使うのが 2 年ぶりということもあり,まずは Processing のコーディング や使い方を思い出す作業から始めることにした.この時点で,メンバーに Processing の基 本的な使い方やコーディングをそれぞれ勉強させつつも,自分から説明する機会も設けた. Processing の使い方がある程度つかめた時点で,3 つのクラスをメンバーに作らせた.自 分は,それらの 3 つのクラスをまとめる作業を担当した.その中でも,脳波のログデータ を読み込む Reader クラスは,このプロジェクトの各グループが使っている MindSet data visualizer のログデータを読み込むのに必要で,他のグループでも使用してもらうことが出 来た.これをきっかけに,このプロジェクトの各グループが開発言語に Processing を使用 することになった. これらの作業から,オブジェクト指向言語を使って複数の人数でコーディングしていく作 業の難しさがわかった.クラスをまとめていく作業をしていたが,クラスからの返り値の型 とメインのクラスの変数の型が合わない等の問題が発生したりした.これは,あらかじめ仕 様を決めた上でコーディングしていれば,クラス間の連携を取りやすかったと考えられる. 今後は,コーディング作業に入る前に,しっかりとした設計をしてから分担作業に入るよう にしたいと考えている. • MindSet data visualizer のプログラム改良【前期】 プロトタイプの製作と同時に,C++ で脳波の数値データを受信するアプリケーション 「MindSet data visualizer」のプログラムを改良し,今回のプロトタイプで使いやすいデー タを出力出来るようにコードを作り変えた. もともと,このアプリケーションは追記型のログを出力する機能を持っていた.ログは CVS 形式で,先頭の行に各列の値の名前が入り,2 行目以降は数値データが一秒ごとに追 記されていく形式であった.これでは,Processing 側でログを読み込んだ際に,毎秒毎秒, 最終行まで読み込まなければ最新の脳波データを読み込めないという問題点があった.そこ で,このプログラムを改良し,データを累積型ではなく更新型にし,先頭の行を読み込むだ けで最新データを取得できるようにした. Processing 側で動作している Reader クラスに合うようにログを出力するようにした ため,Processing との相性もよくなり,データが使いやすくなった.この改良によって, MindSet data visualizer は他のグループでも使用してもらうことになった. • Client for ThinkGear の製作【後期】 follow をメインで製作していたメンバーは自分を含めて 2 人だった.分担して制作して いくため,通信部分を自分が担当した.通信部分を実装するためには,新たに通信用アプリ ケーションを製作する必要があった. このアプリケーションを制作するため,何日も Processing 関連の情報を探し回った.脳 波の数値データのパケットを返す ThinkGearConnector サーバが TCP ソケットで接続す ることが分かっていたので,当初は Processing から直接それを読み込んで解析するアプリ ケーションを作ろうと考えていた.事実サーバにアクセスすることも出来たし,パケット も取得できたが,パケットを解析する方法が分からなかった.その解析に関する情報を探 していたところ,Processing で使用できるライブラリ ThinkGear Java socket を見つけ, Processing に組み込んだところ,いとも簡単に数値データを取得することが出来た.結果, このライブラリを使用して Client for ThinkGear を製作した. 前期に引き続き新たに作成したプログラムを他のグループにも使ってもらいたかったが, このプログラムの完成が最終発表の直前になってしまったため,他のグループに使ってもら Group Report of 2011 SISP - 57 - Group Number 23-B Mind Communication うことは出来なかった.メインで動くプログラムの動作を止めないよう対策を施したプログ ラムだっただけに,他のグループのプログラムが止まってしまうという状況が非常に残念 だった.もっと計画的に早めに完成させるべきだった. • サーバプログラムの作成【後期】 Client for ThinkGear の製作と同時に,それのホストとなるサーバプログラムも作成し た.これを作成するにあたって,Processing にもともと入っているサンプルプログラムと, インターネット上で見つけたサンプルプログラム [17] を参考にした. サーバプログラムは,Client for ThinkGear からのデータを頼りに,MindWave を区別 する仕組みにした. 開発に当たっては,何度も自宅の無線 LAN 環境で,クライアントとサーバが接続し通信 できるかどうかの実験を行った.無線 LAN 環境でしっかり動作するようになったので,最 終成果物 follow のネットワークも無線 LAN で構成することにした.follow のシステムを設 置する部分も限られているため,なるべく配線を極力少なくなるようにする意図もあった. 無線のローカルネットワークの環境で繋がるため,大学内のワイヤレスネットワークでも 使えると考えていた.こうすることにより,より設置に必要な機材を減らすことができると 考えた. しかし,大学のネットワークを使うことは出来なかった.大学の有線環境で実験した結 果,どうやら,follow で使うポートが開けられていないようで,サーバとクライアントの通 信は出来なかった.これにより,follow は,無線 LAN ルータを会場に設置することで通信 環境を整えた. • プロモーションビデオ(PV)の作成【後期】 プロジェクトで各グループが製作物のプロモーションビデオを作成することになった.プ ロモーションビデオの構成,撮影,編集の全てを担当した. 構成は,絵コンテを描くことでイメージを伝わりやすくなるようにした.ただ,絵コンテ の完成が撮影当日の朝になってしまったため,メンバーにチェックしてもらう時間がなかっ た. プロモーションビデオを撮影するにあたり,5 人で撮影するには人手が足りなかったため, TA の先輩にもお願いをして撮影した. follow は現段階で,プロジェクターがある暗い場所でしか使うことが出来ない.しかし, 撮影は明るい場所で撮影しなければならなかった.というのも,この follow がどのような 使われ方をするかを説明するためには,日常的なシーンでイメージさせる必要があったから だ.結果,follow が使えない環境で撮影をしたため,編集の段階で,follow(影・光の球)を 合成することになった.(図 プロモーションビデオの一部) Group Report of 2011 SISP - 58 - Group Number 23-B Mind Communication 図 5.14 プロモーションビデオの一部 1 図 5.15 プロモーションビデオの一部 2 • ポスターの一部を担当【後期】 発表に使用するポスターのシステム解説部分を担当した.あらかじめ解説用の字数と,解 説イラストの大きさを教えてもらい,そのサイズに合うように作成した. • グループリーダーを担当【通年】 グループ内ではグループリーダーを担当した. 前期は,メンバーをまとめる事の大変さを感じていた.自分自身がリーダーという引っ 張っていく存在でありながら,メンバーより少し前にいようという意識を持っていなかった のが原因だと考えている. 後期は,その反省から,意識してメンバーを引っ張っていこうと努めていたつもりだが, あまりその成果は出なかったと思う.ただ,メンバーそれぞれが役割を見つけて動いてくれ たのもあり,前期に比べて仕事分担がうまくいき,スムーズにグループ作業が進んでいたよ うに感じている. 前期に製作した Selfeel から,最終成果物 follow まで,完成に導いてくれたグループメン バー皆に,感謝している. Group Report of 2011 SISP - 59 - Group Number 23-B Mind Communication 5.8.5 田代麻衣の担当課題評価 • 前期 中間発表までの約3ヶ月間,主にどのような生成物を作るか話し合った.今までにグルー プワークをした経験がなかったため,初めのうちは話し合いもどのような順序で進めていけ ばよいのかわからなかった.また,数多くの意見を出し,その中から何個かに絞って,その 意見を詰めていくことが難しかった.私は,あまり意見が出せないということもあり,どの ような製作物を作るかという班の話し合いに上手く参加することが出来なかった.また私た ちのグループは,アイディア出しが苦手らしく,アイディアの数はあまり出なかった.他の グループと比べてあまり意見も出ず,皆自主的ではなかった. その次のコンセプトシート作成時も,意見が出なかったためコンセプトが決まらず,初め はうまく書くことができなかった.コンセプトシートを書くことに苦戦したが,それは数を こなすうちに慣れてきたと思う. 脳波の測定実験を行った.私は実験班として,実際に脳波を測定した.電極を頭の何処に 貼り,どのような方法で脳波を測定するのか学んだ.失敗を何度もしながら夜遅くまで残 り,積極的に実験に取り組めたと思う. 先輩の指導の元,Phidgets を学んだ.Phidgets を使う環境を整え,実際に動かした.し かし,私の設定がうまくできていなく Phidgets が動かなかった.何度もめげずに挑戦した. 時間はかかったが,最終的には動かすことができた. 中間発表に向けて,デザイン班として全体のプレゼンテーションやポスターの文章等を考 えた.イラストレータ等,今までに使ったことのないアプリケーションを用いた.皆の足手 まといにならぬよう,アプリケーションの使い方等を事前に調べ,活動に励んだ.しかし, まだまだ至らぬ点が多いため,最終発表に向けもっと勉強し,使いこなせるようになろうと 思う. 中間発表では後半に発表した.自分たちの伝えたいことをうまく伝えられるように話すこ とも工夫した.質疑応答にはなるべくわかりやすく,丁寧に答えるように心がけた. 今後は,もっと自主的にプロジェクトに参加したいと思っている.意見出しもうまくでき ず,皆に迷惑をかけてしまった.これからは,少しずつでも自分の意見を発言できるように 頑張っていきたいと考える.前期ではプログラミングはやらなかったため,今後はプログラ ミングにも挑戦したい.これからは,新しいことに自分から自主的に挑戦していきたいと考 える. • 後期 中間発表の時の評価シートを見て,最終発表に向けてツールを改善していく.そのために 初めに話し合いをした.前期ではスケジューリングができていなかったため,まず最終発表 までの間のスケジュールを立てた.その後,コンセプトや背景が甘い,使用シーンをもっと 練った方が良いという意見から,再度コンセプトや背景を詰めた.その際,もうこれ以上 selfeel を発展させることができないと考え,制作物自体を変えようかと考えた.予定よりも ツールについて考える時間を多めに取り,話し合いを行った.その結果,コンセプトと背景 を前期よりも振り下げ,詳しいものとした.前期の制作物から出力の形を変えた.またコン セプトも多少変わったため,ツール名を selfeel から follow を変更した.その時,毎回のプ ロジェクトで最低でも 1 つの意見を持っていこうと目標を立てた.意見出しがうまくできる ようになるよう一生懸命頑張った.プロジェクト以外の時間でも,自分なりにコンセプトや Group Report of 2011 SISP - 60 - Group Number 23-B Mind Communication 背景を考えた.それを話し合いの時に,どんなにくだらない意見でも発現するようにした. 意見を質より量を出せるよう努力した. ツールについて固め,どのように実装するか決定してからは,実装する人,ポスター等を 作成する人,報告書を担当する人に分担し,仕事を進めた.私はポスターを作成した.主に コンセプトや背景の意味づけや文章化を行った.短い文章で自分達の伝えたいことを書くと いうことは難しかった.また,ユーザーシーンについても話し合い,どのような時に使うと どのような利点があるのか,いくつか意見を出した. ユーザ実験を行った.どのような結果が欲しいのか,そのためには何をしてもらえば良い のか考えた.どのような状況どのような行動をしてもらうのが最適なのか話し合った.ま た,その実験で必要なものを考えたりした. PV 撮影を行った.各グループ 1 分相当の PV を作成することになっており,私たちのグ ループでは,先輩に協力してもらい撮影を行った.私は PV に女性役として出演した.演技 等はやったことがなかったため,とても戸惑った. 最終発表では後半に発表をした.私は主にポスターセッションを行っていた.質疑応答の 際に,いくつかの質問に対し曖昧な答えをしてしまったように感じる.もっと相手の聞いて きたことに対して論理的に答えられたらよかったと思う.しかし,何人かの人にはツールや 私の受け答えに対して褒めてもらい,とても嬉しかった. この 1 年を通じて,グループワークという初めての体験ができてよかった.自分の苦手な 分野や得意な分野についても知ることができたと思う.また,今までやったことのないこと 等,新たな体験ができて楽しかった. Group Report of 2011 SISP - 61 - Group Number 23-B Mind Communication 第 6 章 今後の課題と展望 6.1 制作物に関連して 今回の最終発表では,脳波を測定し,その状態を光の玉で表現して影の上に投影するという一通 りの機能を完成させた状態のデバイスを使用することができた.しかし,当初予定されていたがス ケジュールの都合で最終発表までに間に合わず未搭載のまま終わってしまった機能などもいくつか 存在する.今後このデバイスをさらに発展させていくならば,以下のような改善が望まれる. • デバイスを利用するのに最適な環境の模索 このデバイスを利用する際には,プロジェクターの位置やライトの高さ,光の強さ,カメ ラの位置やドライバの設定などの環境を整える必要がある.これらの環境が整っていない場 合,影の認識などがうまく行えない可能性がある.発表では,これらの環境を用意するため に長い時間を費やしてしまっていた.このデバイスが正常に動作する環境を発見できれば設 置にかかる手間を省き,不具合なく動作させることが可能となる. • 8 種類の脳波 (Delta, High Alpha, Theta, Low Beta, Low Alpha, High Beta, Low Gamma, High Gamma) を細かく解析して判定する機能,及びそれに応じた表現の追加 今回のプロトタイプでは集中状態・リラックス状態の 2 種類の表現しかなかったが,今後 は脳波をさらに細かく分析 (例えば theta 波による眠気の判定) し,より豊かな表現を追加 していく. • 脳波の各状態の度合いを計算する機能と,その度合いに応じてそれぞれの表現に段階的な表 現の追加 今回のデバイスでは,脳波のリラックス・集中の度合いによって色の濃さに変化が生じる 機能が搭載されていた.この度合いを測定する機能をさらに応用することによって色だけで なく,映像中にさらに表現を加えられることが考えられる. • 脳波以外に心拍などの生体信号を計測し,それに応じた表現を追加する 特に心拍を利用するアイディアは前期の活動の時点で提案されており,測定する装置も用 意されていたが,スケジュールの都合上搭載せずに終わってしまった.この機能を加えられ れば表現が多彩になり,コミュニケーション上にも大きな影響があることが予想される. • 複数の利用者がいる場合の利用者とそれぞれの影を対応付ける機能 複数の利用者がいる場合,どの影がどの利用者のものなのかを判定する機能を搭載する. 先述したように,この機能を実現するために様々なアイディアが提案されていたが,どれも 実現するまでには至らなかった.そのため,今回の最終発表では使用する MindWave ごと にあらかじめ立ち位置を決めておくという簡易な処置が取られていた.この影の対応付けの 機能が実現できれば制限が減り,コミュニケーションを取り易い環境を用意することが可能 となる. • ソースコードの簡略化 今後の機能の追加によりプログラムが複雑化していく可能性があるため,ソースコードの 簡略化が必要となってくる.このため,プログラミング作業の知識を更に深めることによっ て,プログラム全体を整理し簡潔な内容のプログラムにしていく必要がある. Group Report of 2011 SISP - 62 - Group Number 23-B Mind Communication (文責: 鳥谷部) 6.2 全体の展望 前期においては,調査,実験・解析,技術習得,提案,実装,発表までの一連の流れを経験出来 たが,時間に追われ提案の使用シーンなどを深く考え,詰めることが出来なかった.提案の意義や 使用シーンなどをより深く詰める必要があった.中間発表では,実際に実装し,様々な人に体験し てもらえたため,より多くの人から具体的な感想・意見を得られた.また,技術班とデザイン班に 別れた事により,お互いの進捗確認やそれぞれの考えを統一することが必要だと強く感じた.後期 においては,前期の反省を生かし,スケジュール管理をしっかり行い,話し合いに時間をかけるこ とが出来たため,よりステップアップをした提案・発表を行うことが出来た. 最終発表では,各班のブースを製作し,そこで説明員が,各自訪れた人にポスターや製作物を用 いて説明する形をとった.対話形式であり,質疑応答をメインとしていたため,より生の意見や感 想を得ることが出来た.しかし,一回に説明する人数に限りがあったり,時間がかかることから, 全てのグループを見たくても,時間が足りずきちんとした説明を受けることが出来なかった,とい う意見も見受けられた.また,マインドコミュニケーションプロジェクト全体のプレゼンテーショ ンが無かったため,プロジェクトとしての活動目的や活動計画が理解出来なかったという意見も あった.発表形式については今後,改善すべき点の一つである. また,ポスターにおいては,最終発表において説明員が説明することを前提に作られているた め,ポスターのみを見た人にとってはとても分かりやすいポスターであるとは言い切れない.その ため,より詳細な説明を加えたバージョンのポスターの製作も検討すべきである. 私たちは評価実験を行い,被験者が使用した際の思考や行動について分析を行った.その中で, 輪投げを用いた実験を行ったが,輪投げを用いた他の実験方法も考えられる.輪を投げる際により 集中している時は輪投げが成功しやすいのか,リラックスしている時の方が成功率が高いのかな ど,follow を用いて自分の集中状態を知ることによるタスクの成功率を調査することが出来る.こ のような評価実験を行い,検証することにより,より follow の将来性が見えてくると考えられる. 私たちは follow を「今まで見えなかった新しい一面がきっかけに」というコンセプトのもと,提 案した.これは,自分や他人の影に映る脳波を見て,その人なりの解釈をして次の行動のきっか けに生かしてほしいという意味が込められている.現在は,限られた暗い場所でスポットライト, ウェブカメラ,プロジェクターなどが必要であり,使用シーンについて様々な制限があるが,これ らの制限が将来無くなるとすれば,follow の可能性もより広がり,様々なシーンを考えることが出 来るだろう.日常的なシーンにおいても,より様々な使い方が生まれることによって,コミュニ ケーションにつながっていくのではないだろうか. (文責: 井内) Group Report of 2011 SISP - 63 - Group Number 23-B Mind Communication 付録 A 資料 先行事例プレゼンテーション資料 グループポスター Group Report of 2011 SISP - 64 - Group Number 23-B Mind Communication 参考文献 [1] 産総研:脳波計測による意思伝達装置「ニューロコミュニケーター」を開発 [HTML] (last access December 2011) Availiable at http://www.aist.go.jp/aist j/press release/pr2010/pr20100329/pr2010 0329.html [2] マインドフレックス [HTML] (last access July 2011) Availiable at http://www.segatoys.co.jp/mindflex/ [3] スターウォーズ ForceTraner [HTML] (last access July 2011) Availiable at http://www.strapya.com/products/40127.html [4] ASCII.jp [HTML] (last access July 2011) Availiable at http://ascii.jp/elem/000/000/152/152166/ [5] 産業技術総合研究所情報技術研究部門 研究成果リポジトリ [HTML] (last access July 2011) Availiable at http://dspace.itri.aist.go.jp/handle/2111/2872 [6] バイオフィードバックとは - 心と身体の自己対話 [HTML] (last access July 2011) Availiable at http://homepage3.nifty.com/mitsuaki-koba/newpage4.html [7] 創造とコミュニケーションの実践:自分の脳波を常に計測,可視化できたら? [HTML] (last access July 2011) Availiable at http://blog.livedoor.jp/stake2id/archives/51039039.html [8] Phidgets Inc [HTML] (last access July 2011) Availiable at http://www.phidgets.com/ [9] Arduino-wikipedia [HTML] (last access July 2011) Availiable at http://ja.wikipedia.org/wiki/Arduino [10] Processing-wikipedia [HTML] (last access July 2011) Availiable at http://ja.wikipedia.org/wiki/Processing [11] Gainer を使ってプロトt(ry [HTML] (last access December 2011) Availiable at http://fujimonia.com/blog/?p=127 [12] NeuroSky - Brainwave Sensors for Everybody [HTML] (last access December 2011) Availiable at http://www.neurosky.com/ [13] 茶国 Rev3 [技術ネタ]MindSet の出力値を…… [HTML] (last access December 2011) Availiable at http://d.hatena.ne.jp/chakoku/20101218 [14] ThinkGear Java socket — Creation - Explorations in generative design [HTML] (last access December 2011) Availiable at http://crea.tion.to/processing/thinkgear-java-socket [15] processing GUI, controlP5 [HTML] (last access December 2011) Availiable at http://www.sojamo.de/libraries/controlP5/ [16] Net ¥ Libraries ¥ Processing.org [HTML] (last access December 2011) Availiable at http://processing.org/reference/libraries/net/index.html [17] 建築発明工作ゼミ 2008: Processing HTTP サーバ/Web ページ表示 [HTML] (last access Group Report of 2011 SISP - 65 - Group Number 23-B Mind Communication December 2011) Availiable at http://kousaku-kousaku.blogspot.com/2008/11/processinghttpweb.html Group Report of 2011 SISP - 66 - Group Number 23-B
© Copyright 2025 Paperzz