2014/4/7 Auditory Stimuli コミュニケーション科学とヒューマンインタフェース Processor & Accelerometer 人間を内側から支援する共創システムをめざして東京工業大学知能システム科学専攻三宅研究室 Walking Rhythm Walk-Mate miyake@dis.titech.ac.jp http://www.myk.dis.titech.ac.jp 1 2 主観的時間の共創（「間(ま)」が合うこと）コミュニケーションを内側から捉えると・・・ ■ 共創システムではシステムの内側から主観を含む領域として捉える（当事者の視点）． ■ 多様な主観的時空間が共存するシステムにおけるコミュニケーションの問題になる． ■ 主観的な領域，特に，時間的側面である「間（ま）」に注目し，その生成とインターパーソナルな共有の問題に取り組む． ■ 主観的時間が共有され，共創的同時性（「間（ま）」が合うこと）が生成する仕組みについて研究する． ■ どうして主観的時空間はインターパーソナルに共有できるのであろうか？「間(ま)」が合うこと yB Human-A now now now now now xB timeB C now 主観的時間 dXB/dt=F(XB) 主観的ダイナミクス共創的同時性 (Coordination from inside) ΣSB主観的時空間 B time 客観的時間物理的同時性 (Coordination from outside) A yA dX /dt=F(X ) 主観的ダイナミクス A A xA timeA Human-B ΣSA主観的時空間共創的システム now now now now now now now now time 3 Miyake, Y., "Co-creation systems: Ma and communication," In E Pöppel, S Han (Ed.), Culture and Neural Frames of Cognition and Communication, pp.139-152, Springer-Verlag, Heidelberg (2011) 主観的時間客観的時間 4 1 2014/4/7 １. コミュニケーションの認知科学主観的同時性の生成 ■ 同時性知覚を同期タッピング（Synchronization Tapping）課題を用いて調べる． ■ 主観的な同調状態は客観的な同調状態に先行すること（負の非同期現象）． ■ この現象を用いることで主観的同時性（「間(ま)」）と客観的同時性を分離できる. Stimulus Onset rhythmic auditory stimulus Prefrontal Cortex (Brodmann 10) Stimulus Onset ISI Tap Onset 意識化される時間知覚の生成を担うプロセス Tap Onset tap ! SE(n) ISI: Inter Stimulus-onset Interval SE: Synchronization Error ITI: Inter Tap-onset Interval SE(n+1) ITI(n) 3 0 30 SE 主観的同時性「間(ま)」 Tap onset 25 意識下における時間知覚の生成を担うプロセス Right Cerebellum ズレ客観的同時性 Tone onset データ頻度 2 0 20 15 1 0 10 ISI=900ms 5 Right Left 0 5 共創的同時性の生成（「間(ま)」が合うこと） 0 -0.6 -0.6 -0.5 -0.5 -0.4 -0.3 -0.4 -0.3 0.1 0.2 0.3 - 0 . 2 - 0同調誤差SE[sec] .1 0 0.1 -0.2 -0.1 0 0.2 0.3 6 共創的同時性の生成メカニズム ■ 同時性知覚の共有を協調タッピング（Cooperative Tapping）課題を用いて調べる． ■ 共創的同時性の生成機構は二重化されたダイナミクス（Dual Dynamics Model）． ■ 主観的時間（「間(ま)」）がインターパーソナルに共有される仕組みを調べるため，被験者間でリズム音を交換しながら同期タップする課題を新たに開発した． ■ 身体的プロセスはリズムの相互引き込みに基づいて「場」を自己組織する役割を担う． ■ 認知的プロセスは履歴性を有しており「場」からの影響のもとで主観的同時性を生成. ITIA(n) Subject A TapA(n) ΣSEA ΣSEB TapB(n+1) Subject A SEA time   SEB ITIA ITIB Tap Motion Tap Motion Subject E 1200 ITI[ms] ITI [msec] TapB(n) ITIB(n) Subject B 1300 このSEは同期タッピングにおける客観的同時性と主観的同時性のズレに対応する． 1100 1000 900 200 Subject A 100 SE[ms] SE [msec] SE(n+1) Subject B Subject B time tap! Subject B Subject A Subject Subject AA TapA(n+1) SE(n) tap! 認知的プロセス auditory stimulus auditory stimulus 0 -100 Subject E SEの時系列解析によって主観的同時性がインターパーソナルに共有されるメカニズムを推定する． 7 -200 時間[taps] SE n ITI ( n)  ITI 0  h   SE ( j ) j 1 履歴的ダイナミクス ↓ 内部モデル（Internal Model）身体的プロセス ITI (n)  C1  k  SE ( n) リズムの相互引き込みダイナミクス ↓ 身体モデル（Body Model）相互引込みを介する「場」の自己組織 8 Kon, H. & Miyake, Y., "An analysis and modeling of mutual synchronization process in cooperative tapping,” Transaction of Human Interface Society, Vol.7, No.4, pp.61-70 (2005) 2 2014/4/7 ２. リハビリテーション・ロボット歩行リハビリの支援システムWalk-Mate ■ 協調歩行における共創的同時性誰かと並んで歩くとき自然と歩調がそろうこと（「間」が合うこと）は身近な経験であるが，そのような共創的同時性を人間と歩行ロボット（仮想ロボット）の間に構成し歩行リハビリに応用する http://www.honda.co.jp/ASIMO/assist/rhythm/index.html 安原謙, 三宅美博, "歩行補助装置の制御システム," PCT国際出願PCT/JP2003/09918, 公開WO2004-017890 (2003) 安原謙, 三宅美博, "歩行補助装置の制御システム," 特願2002-240699, 公開2004-73649 (2002) 人間歩行ロボット 9 歩行リハビリの支援システムWalk-Mate 10 「間」を合わせる歩行リハビリ ■ 相互適応・大域的安定性・一体感・持続性人間側とロボット側のリズムが相互に適応し同調する．その結果として歩行リズムのグローバルな安定化が実現される．そのような状態は人間側に主観的な一体感を感じさせる一体感持続性大域的安定性 Sense of Togetherness Global Stability Sustainability 1.5 Human Robot 歩行周期[秒] 1.4 Th=1.24 Fh=0.040 1.3 不安定 1.2 Th=1.20 Th=1.16 Fh=0.024 安定 1.1 Tm=1.16 Tm=1.12 1 Tm=1.00 Miyake, Y., “Interpersonal synchronization of body motion and the Walk-Mate walking support robot," IEEE Transactions on Robotics, 25-3, 638-644 (2009) 三宅美博, "非線形制御器および非線形制御方法," PCT国際出願PCT/JP2005/001429 (2005) 三宅美博, "歩行介助装置," PCT国際出願PCT/JP2005/018730 (2005) 11 (2004) 三宅美博, "非線形制御器および非線形制御方法," 特願2004-034174, 公開2005-227909 三宅美博, "歩行介助システム," 特願2004-293136, 公開2006-102156 (2004) 0.9 相互適応 Mutual Adaptation 単独歩行 independent 0.8 0 単独歩行 independent Walk-Mate歩行 interaction 60 時間 [秒] 120 180 12 3 2014/4/7 最近のWalk-Mateの展開最近のWalk-Mateの展開 ■ スマートフォンへの実装 ■ ウェアラブルロボットへの実装上左右下腰軌道 without Walk-Mate 上左右下 13 without Walk-Mate Google Glassへの展開 Auditory Stimuli 腰軌道 14 with Walk-Mate with Walk-Mate COIプロジェクトにおけるWalk-Mate Processor & Accelerometer ■ COIにおけるWalk-Mateの展開：歩行機能の支援にとどまらず、そのネットワーク化を介して高齢者の社会参加を促進する開かれたコミュニケーションプラットフォームに展開する． Walk-Mateのウェアラブル化 Walk-Mateの社会サービス化 Walk-Mateのネットワーク化 Smart Japan 歩⾏アシストを介して社会参加を促進し⾼QOL社会を実現 Ageless Society Walk-Mate ⾼齢者の歩⾏時の転倒予防や健康モニタリングによる社会参加の促進 ICT センサネットワーククラウドコンピューティング社会的群知能 Happiness Society ストレスフリーのためのスポーツ等の⽀援 Walking Rhythm 15 ゼロパワーウェアラブルデバイスオールバンド通信システム Smart Life Care いつでもどこでも遠隔地リハビリ（Cyber-Physical System）超多様パーソナルサービス 16 4 2014/4/7 ３. コミュニケーション・ロボットコミュニケーション・チャネルの拡張言語的なコミュニケーション (Explicit Communication) Communication Channel 言語的情報 Verbal 非言語的情報（身体的インタラクション） Non-Verbal 17 Verbal 30～35％言語的 ① Language 言語的（発言の内容・意味） ② Near language 近言語的（発言の形式的属性） a. Acoustics, Phonetics 音響学的・音声学的属性（音の高さ，速度，アクセントなど） b. Temporal pattern of utterance （間のおき方，発言のタイミング） Non-verbal 65～70％非言語的 ③ Body motion 身体動作＜＝身体的インタラクション a. Gaze の重要性に注目 b. Gesture, Posture, Body contact c. Face expression ④ Proxemics プロクセミクス（空間の行動）対人距離，着席位置など ⑤ Artifacts人工物（事物）の使用被服，化粧，アクセサリー，道路標識など ⑥ Physical environment 物理的環境家具，照明，湿度などコミュニケーションには広いチャネルがある 18 非言語的（身体的）なコミュニケーション (Implicit Communication) 高齢者の対話コミュニケーション支援対話における「間」の分析カウンセラーとクライエントの身体運動の同調の分析 ■ ヒューマンロボットインタラクションへの応用経過時間（min）低評価事例発話と交替潜時の同調が対話の印象に影響することが示された．若年者より高齢者において強く影響が現れる傾向がある．タイミングの制御モデルの有無で有意差 P<0.01 高齢者対話の印象評価若年者低評価のカウンセリング相互相関がほとんど観察されない ↓ 二人の身体運動がほとんど同調していないことを意味している非常に強い相互相関が観察される ↓ 二人の身体運動が無意識的に同調していることを意味している会話中の身体運動の同調現象はコミュニケーションの質と関係する経過時間（min）高評価のカウンセリング高評価事例対話の印象評価髙杉將司, 山本知仁, 武藤ゆみ子, 阿部浩幸, 三宅美博, "コミュニケーションロボットとの対話を用いた発話と身振りのタイミング機構の分析," 計測自動制御学会論文集, vol.45, no.4, pp.215-223 (2009) 相互相関関数（cross correlation function）髙杉將司, 吉田祥平, 沖津健吾,横山正典,山本知仁,三宅美博, "コミュニケーションロボットとの対話における交替潜時長と頷き先行時間長の影響評価," 計測自動制御学会論文集, vol.46, no.1, pp.72-81 (2010) 20 5 2014/4/7 ４. 社会的コミュニケーション分析社会的コミュニケーションの計測システム ■ センサネットワークによる社会的な「間」の計測名札に実装された加速度センサで個人の活動状態の計測を行い，ＩＲセンサで個人の対面状態を計測する．組織における社会的コミュニケーションの「間」の計測方法を開発している個人の活動パターンの計測加速度センサ活動状態の検出活動度（振動数）の時系列データ P  x     a   社会的ネットワークの計測ＩＲセンサ対面状態の検出対面時間長のマトリクスデータ：対面状態身体活動の振動数 22 21 0[Hz] 1[Hz] 2[Hz] 3[Hz] γ（スケール指数）―Ｃin（入次数中心性）スケール指数 γ 個の活動 ■ 対面状態にある個人のあいだでの身体運動の同調傾向（エントレインメント）観察された振動数の差の分布対面状態において個人間の身体運動リズムの振動数が相互に接近することが示された．社会的コミュニケーションにおいて「間」が合っている可能性がある．対面状態における身体運動の振動数の差の分布 r = 0.55 (p < 0.001) 社会的ネットワーク観察された振動数の差の分布入次数中心性 Cin γ（スケール指数）―Ｃout（出次数中心性）個の活動スケール指数 γ 個人の活動パターンの特徴量であるスケール指数γと，個人をとりまく社会的つながりの特徴量であるネットワーク中心性Ｃのあいだには正の相関が確認された．ビジネス顕微鏡（日立製作所） Yano et al. http://www.hitachi-hitec.com /jyouhou/business-microscope/index.html 社会的ネットワークにおける「間」の共有個の活動と社会的ネットワークの関係 ■ スケール指数γとネットワーク中心性Ｃの関係   G  f ij ランダム化された振動数の差の分布ランダム化された振動数の差の分布 r = 0.58 (p < 0.001) 23 社会的ネットワーク 24 出次数中心性 Cout 6 2014/4/7 研究テーマ（基盤領域）研究テーマ（応用領域）  コミュニケーション科学と共創システム  インタフェースと社会システムへの応用コミュニケーションと時間に関する認知神経科学共創コミュニケーションの支援システムの開発 ■共創コミュニケーションにおける主観的時間の生成と共有（ミュンヘン大学との共同研究） ■対話コミュニケーションにおける発話と身振りのタイミング生成の分析とモデル化（金沢工大との共同研究） ■合意形成の対話における情報統合プロセスの解析 ■協調タッピングにおけるタイミング共有機構の分析とモデル化 ■細胞間コミュニケーションを介する生物の形態形成モデルの構築 ■共創型介助ロボットWalk-Mateによる脳卒中患者のリハビリテーション支援（日産玉川病院との共同研究）（ホンダ技研との共同研究） ■共創型介助ロボットWalk-Mateによるパーキンソン病患者の歩行安定化（関東中央病院との共同研究） ■ヒューマン・ロボット・インタラクションにおける発話と身振りの「間」（三菱重工との共同研究） ■音楽アンサンブルにおける共感空間の創出  新テーマ  新テーマ同時性知覚の研究への展開（「間(ま)」の研究）社会的ネットワーク支援への展開（サービス科学） ■時間順序判断における同時性知覚の生成機構に関する研究 ■時間知覚における同時性のインターパーソナルな共有機構に関する研究（東北大学・東大との共同研究） 25 ■センサネットワークを用いた社会的コミュニケーションの分析とモデル化（日立製作所との共同研究） 26 ■コミュニティサービスにおける共創的イノベーションの場づくり（介護センターとの共同研究）三宅研究室へようこそ！三宅研２０１４年度メンバー教授三宅美博 (Yoshihiro MIYAKE) 助教小川健一朗 (Ken-ichiro OGAWA) 秘書冨永弓子 (Yumiko TOMINAGA) 林千枝 (Chie HAYASHI) 研究員野澤孝之緒方大樹小林洋平奥村圭司社会人博士本橋正成 (Masanari MOTOHASHI) 青田桂士 (Yoshito AOTA・横国大) 修士２年徐歩杰 (Houketsu JYO)（中国）河野大器 (Taiki KOHNO) 猿田百合子 (Yuriko SARUTA) 朱谷知洋 (Tomohiro SYUYA) 田端篤 (Atsushi TABATA) QIAO Liang (中国) 修士１年浅見篤 (Atsushi ASAMI) 長尾嵩利 (Takatoshi NAGAO) 橋口裕徳 (Hironori HASHIGUCHI) 松井裕伸 (Hironobu MATSUI) 三浦俊介 (Syunsuke MIURA) 学部４年（卒研） ○○ ○○ Thank you for your attention! (Takayuki NOZAWA・東北大) (Taiki OGATA・東大) (Yohei KOBAYASHI・脳機能研究所) (Keiji OKUMURA・早稲田大) ご興味をお持ちの方は連絡ください miyake@dis.titech.ac.jp 博士４年大良宏樹 (Hiroki OHRA) 内富寛隆 (Hirotaka UCHITOMI）博士３年權眞煥 (Jinhwan KWON・韓国) 博士２年太田玲央 (Reo OHTA) 博士１年 HAO QIAO（中国） Robin Yap（シンガポール） Miyake Cup 2013 卓球27大会 28 7