田野研究室を希望する方へ

田野研 2013
田野研究室を希望する方へ
希望者は、面接をします
*面接を希望する方は、tano@is.uec.ac.jpまでメール*
対象者
●特別選抜(6月の自己推薦入試)
【例】
-全科目の総合評点が2.3(3点満点)以上
-コンテストなどでの入賞・受賞経験
-学会等での受賞経験
-特定分野の科目の評点がほぼ満点
●社会人入試(7月,10月,2月)
●早期研究室内定 by 一般入試(7月)
●スーパー連携大学院受講希望者
(http://www/super-daigakuin.jp)
各数名の枠
があります
1
2013
電気通信大学 情報システム学研究科
情報メディアシステム学専攻
情報メディア学講座
田野研究室
教授
tano@is.uec.ac.jp
田野 俊一
協力研究員
岩田満(都立高専 准教授)
講座研究室
IS棟339号室
ホームページ:
2
2013
新たな「情報メディア」の創造が目標
新たなメディア(知能化、対話的、マルチメディア、動的、、)
●原理
1445年
1839年
1876年
1894年
1897年
1942年
活版印刷(ドイツ,グーテンベルグ)
写真
実用電話の発明 (米、A.G.ベル)
無線電信の発明 (伊、マルコニー)
ブラウン管の発明 (独、ブラウン)
電子計算機(アイオワ州立大,ABC)
●商用
1475年
1887年
1920年
1929年
印刷工房
電話 商用開始
ラジオ商用開始 (ヴィンテージラジオ)
TV 商用開始 (BBC)
1982年 ARPANET by TCP/IP
1990年 アメリカでIP接続が使えるプロバイダ
<情報システム>
情報の保存・共有・伝達のためのメディア
<印刷、写真、電話、映画、ラジオ、TV>
情報の表現や思考のための基本メディア
現代
<文字、言語、数字>
1万年前
550年前 55年前
3
田野研 2013
田野研究室の研究テーマ
人間の知的活動・感性的活動を
一般人、デザイナ、
漫画家、医師など
本当に支援する
逆に阻害してしまう
システムが多い!
高度なメディアシステム
を試作し評価する
3D立体視、立体音場、
3D位置センサ等
プロトタイプを自分で
作り+定量評価
4
2013
メディアとしての情報システムの劇的変化
変化の方向は2つ
研究テーマ (1)新しいHCIコンセプト
コンピュータパワーを自然に利用できる新たな情報環境の創造
・コンピュータの外見が変わる
「マウス+キーボード+モニタ」のハードウエア制約からの脱却
入出力メディアが多様化,マルチモーダル化
『知的活動・創造的活動に適した情報環境の創造』
高度な実現アルゴリズムの利用
・コンピュータの中身が変わる
研究テーマ
(2)新しい知的処理
人間とコンピュータパワーの間に知的処理が介在
・マルチメディア情報の合成・認識技法+知的処理
・計算機の逆進化:知性⇒感性⇒感情⇒本能
5
2013
研究室の基礎技術・理論 『HCIコンセプト』
新コンセプト=Real World-centered HCI
+Virtual World-centered HCI
研究テーマ
+Intelligent Agent-based HCI
融合形態
支援方法
with Human-Creativity-centered Design
近年脚光
次は何?
Real World-centered HCI の例:Digital Desk
6
2013
研究室の基礎技術 『知的処理』
・Symbolic AI:記号推論に基づくアプローチ
探索( 縦型,横型,反復深化,GPS,ヒューリスティック),フレーム,プロダクションシ
ステム,述語論理,セマンティックネット,デフォールト推論,TMS/ATMS,事例
ベース推論(CBR),学習(バージョンスペース,ID3,EBL),人工生命(創発)
近年の流れ
・Computational AI:計算に基づくアプローチ
ファジィ, ニューラルネット, カオス, 確率ネットワーク(Bayesian Net),遺伝的アルゴ
リズム,強化学習,EC
Deep fusion of symbolic and computational processing
Symbolic AIとComputational AIの融合
7
2013
取り組む研究テーマ
利用可能機器
(1)新しい情報メディアの創造
・3Dグラフィックス
・3D音場
使いやすい情報メディア
・3D位置センサ
我々の知的、創造的、感性的活動の支援
・フォースフィードバック
新たなコンセプトで設計し評価
・ペンパッド
とっぴょうしもないUIの提案
・トラック機能付カメラ
・タッチパネル
*アイデアとセンスが勝負*
:
(2)アルゴリズムの深い研究
・知的な認識(音、手書き文字、印刷文字、ジェスチャ、表情、
顔色、機嫌、視線、など)
・知的な問題解決(知識がマルチメディア化するとどうなるか?)
・知的な合成(効果的なメディアの利用、メディアの動的制御)
これらをComputational AI+ Symbolic AIで解決
8
実験機器
2013
機能
画像入力
製品名
3D双眼鏡型カメラ,3Dカメラ,無線小型赤外線カメラ
2D画像出力
大型タッチセンサ付き表示装置(65インチプラズマ,55インチプラズマ,55インチリアプ
ロ),Multi-Layer LCD Display
3D画像出力
液晶シャッタ付めがね,Zスクリーン,三洋製立体画像出力装置,立体プロジェクタ投影,
マイクロポール,3DノートPC,3DプロジェクタDepthQ,3Dテレビ
テーブルトップディスプレイ
ペンベース機器
タブレット
位置センサ
その他センサ
力覚フィードバック
3D音場生成
娯楽ロボット、トイ
メディアテーブル(丸型),32マルチタッチ3Dテーブルトップ
タブレットintuos,CrossPad,Decrio,Newton MessagePad, TransNote,Tablet PC(多種),
Anotoペン,超音波ペン
iPad,iPad2,iPad New,Android各種
磁気(高精度+広域),地磁気,加速度,ジャイロ,超音波(広域),タッチ,GPS
Phidgets
PHANToM Desktop
ローランドRSS10
NeuroSky Mind Set,tenori-on,ソニーAIBO(新旧),
インターネットロボットSpeecys SPC-101C,マインドストーム,光るお絵かき板
ウェアラブルPC
EPSON MOVERIO,HITACHI WIA-100NB
視線検出装置
アイマークレコーダEMR-8(ナック製),Quick Glance
生体情報計測器
マイクロフォンアレイ
HMD
RFID(無線タグ)
ネットワークガジェット
電子回路制作機器
ProComp Infinity
NI cDAQ-9172+4xNI9233
立体HMD,片眼シースルーHMD,ゲーム用HMD,エンターテイメント用HMD
小型リーダ・ライタ,黒板型センサ(板脳)
チャンビー,ついまる
基板加工機(ProtoMat C40 LPF社),オシロスコープなど
9
研究テーマ
学生自身で、新たな「情報メディア」を見い
基本 だし、創造する!
強い想い(思い込みでもよい)
↓
世界中を調べる(ライバルは多い)
↓
自分だけのNewアイデアを出す(苦しい)
↓
試作、評価、世界へ公開
10
研究テーマ
例1
「実物大+操作可能」3Dスケッチによる
3D協調デザイン環境
今のマルチメディアシステム → 派手!アトラクション!
プロのデザイナは使わない
空中に落書きし、その落書きが動く!
11
研究テーマ
例2
手術室内超音波プローブARシステム
実は手術室内は結構ローテク(手技主体)
→普通の病院でも使える「シンプル医療ARシステム」を作ろう!
AR=Augmented Reality(複合現実感)
12
研究テーマ
例3
新たな「ユビキタス3D位置計測法(UbiC3D)」とその応用
インフォーマル情報(口コミの情報)は重要
→口コミ情報を、道ばたに残して、共有したい
→でもGPSでは足りない
→みんなで協力して、視覚的な3Dマップを作ろう!
13
研究テーマ
例4 「タッチ&ペン」インタラクションを用いた
●壁・テーブル・ノートサイズの思考支援環境
●認知心理学的実験による有効性の検証
例5 記号論・計算論を融合した知的処理に基づく
●言語・身振り・手振り・表情の認識
●自律ロボットの自分 (センサ・アクチュエータ)と環境学習
●ビッグデータからのセレンディピティ的発見
(serendipity)
14
2013
これまでの研究テーマ
コンセプト
1997年度
●多次元画像 ・ 音メディアをシームレスに
連携するユーザインタフェース
アルゴリズム
●マルチモーダル形式文法による手書き文字
と音声の統合認識アルゴリズム
●認識モデルを用いたマルチモーダル入力
の統合解析
●強化学習(Q-learning)による手書き文字/ジェスチャの文脈依存型学習認識
●ユーザの視線とコミュニケーションするインタフェースの構築
●感性モデルを組み込んだデザイン描画支援システム
1998年度
●実世界と仮想世界を融合した知的なミーティング環境を実現するUIの研究と
キーデバイスの提案
●強化学習及びクラスタリングを用いたテレビ視聴の嗜好推定と情報推薦
●不完全特徴量の統合による顔画像の向き
のリアルタイム推定
●シンボリズムとコネクショニズムを統合した
推論方式
15
2013
これまでの研究テーマ
コンセプト
アルゴリズム
1999年度
●散在する液晶一体型タブレットのための
ユーザインタフェースの提案
●強化学習を用いた計算的処理と記号的
処理の融合
●広域的強化学習による情報推薦技法の研究
●三次元デザイン支援システムの提案と評価
●デザイン描画支援システムにおけるユーザ感性の適応方式の研究
2000年度
●高認知負荷環境下における適応的情報
提示システム
●瞬目・瞳孔・視線検出によるドライバーの心
理状態推定
●ダイナミックかつインタラクティブなデジタ
ル情報におけるアノテーションシステム
●記号的・計算的処理を融合させたオンライ
ン手書き文字認識
●コンピュータを用いたスケッチが人間の
感性・創造性へ与える影響の分析
●リアルタイム距離画像を用いた表情認識
16
2013
これまでの研究テーマ
コンセプト
アルゴリズム
2001年度
●感性を考慮したフォント生成による感情表現支援システム
●ディジタルTV視聴時におけるマルチモーダル
情報を用いた関心度推定システム
●人間の描画特性を考慮した自然な3次元スケッチシステム
2002年度
●人間の心理特性が協調的タスクに与える影
響のゲーム環境マッピングによる分析
●図形の変形と感性語と深い知識を用いたスケッチ変形方法の提案
●手書きプリミティブ図形を構成要素とした2D3Dシームレススケッチシステム
●メモ書きから清書までシームレスに適応す
るデジタルペーパーコンセプトの提案と試作
●HMMにおけるシンボル最適化によるオンラ
イン文字認識手法
●マルチメディア・モダリティ情報認知特性の定量的分析とモデル化
●コンピュータによるお絵かきの幼児の操作・創造性に与える影響の定量的評価
●最適GUI/WEBの自動生成
17
2013
これまでの研究テーマ
アルゴリズム
コンセプト
2003年度
●発散・収束型思考を活性化するスケッチ支援システム
●視覚に依存しない音声主体思考支援システムの設計と試作
●携帯電話における日本語入力モデルの開発と高速入力手法の提案
●幼児のためのタンジブルなComputer●最適GUI/WEBの自動生成ツール
augmented カラー積み木
●強化学習(Q-learning)とシンボル発現に
●マルチメディア・モダリティ情報認知特
よるサッカーエージェントの行動学習
性の高速同定実験手法による分析
2004年度
●手書きと音声を用いた共有アノテーションシステム
●GUI・実オブジェクト操作の例示学習によるGUIのタンジブル化手法
●実世界オブジェクトを用いる子供のためのデスク型グラフィカルプログラミング環境
●対人コミュニケーションを阻害しないウェアラブル型ハンズフリー入力手法
●多様な情報の実世界コンテキストへの対応づけによるユビキタスインフォーマルコミュニケーション
●筆者の文字特徴を考慮した手書き入出力インタフェース
●マルチメディア・モダリティ(MMM)情報認
知特性に基づくMMM情報の利用指針
●立体画像を用いた表情認識
18
2013
これまでの研究テーマ
コンセプト
2005年度
アルゴリズム
●瞳孔反応による一点注視型インタフェースのHMDへの適用
●プログラムデバッグをスケッチにより支援する環境
●GUI操作履歴解析に基づく思考過程グラフ生成による発想支援システム
●実空間での3Dスケッチによる操作性評価を可
能とする設計支援環境
●居住者の動作と家電操作の解析
●時空間のフォーマル・インフォーマルタグ付け
に基づくホームエージェント
によるライフログ環境
●MEMSミラーを用いたユビキタス情報提示装
置の実現とその応用
●リアルタイムインフォーマル視聴情報を用いたP2P情報推薦方法
●文字・ジェスチャ認識における人間と機械の特徴量をすり合わせる
ユーザインタラクション
●立体画像を用いた表情・動作認識
●3DサウンドスペースによるGUIの拡張
●GUI・実オブジェクト操作の例示学習によるGUI
●計算的+記号的知的処理によるオンライン・オフ
のタンジブル化手法
ラインの手書き文字・ジェスチャ・スケッチの認識
●実世界コンテキストを活用したインフォーマル
コミュニケーションシステム
●ペンユーザインタフェースに基づく「論理的思考」を支援する統合学習支援システム
2006年度
19
2013
これまでの研究テーマ
コンセプト
2007年度
アルゴリズム
●居住者の動作と家電操作の解析
に基づくホームエージェント
●末梢神経の生体情報計測による新入力デバイス
●インターネット閲覧者の相互可視化によるコミュニケーション支援
●運動特性に基づく視覚非依存親指1ストローク入力
●手書・音声メモのコンテキスト依存通知によるアイデアの喪失防止
●抽象化と実体化の相方向インタラクションを可能にする漫画制作支援システム
●ペンユーザインタフェースに基づく「論理的思考」を支援する統合学習支援システム
2008年度
●期待感を持続させる遠隔隔世代間のつながりを支援するフィジカル・エクササイズ・ゲーム
●アイデアとリアリティの間をシームレスに行き来可能な体感型デザイン環境の提案
●インフォーマル調理情報の共有と味や食感による検索支援システム
●コンピュータゲームにおける自動コントローラ作成に関する研究
20
2013
進行中の研究テーマ
コンセプト
2009年度
アルゴリズム
●インフォーマル調理情報の共有による調理支援システムの提案
●知識創出のための視点切替えと新たな視点着想を促進するシステムの提案
●ウェアラブルな三次元音場スケジュール管理支援システムの提案と試作
●一対の3D位置検出による手術室内超音波プローブARシステム
●歩行時の不安解消のためのインフォーマル情報を用いた地図システム
● Web閲覧を伴う対面会話における話題認識と会話支援の提案
2010年度
●読書端末の画面サイズが文書読解に与える影響に関する定量的研究
●力覚フィードバックのある一次元ストローク入力デバイスによるデジタル機器操作インタフェース
●3次元空間で自然なジェスチャー操作を活用する空中スケッチ環境の提案
●PTAMを用いた空中描画/ロボット制御システム
●科学展示におけるメディア利用の効果分析
●表情のあるGUIに関する研究
2011年度
●WEB/GUI設計のためのユーザ要望文の定量的分析と感性的デザイン支援環境
●実オブジェクト操作の例示学習によるGUI入出力外在化システム
●フットサルを例題とした戦術デザイン活動を支援するマルチユーザテーブルトップシステム
●自然かつ正確な空中描画と高度な操作設計を支援する協調的3次元デザイン環境
21
2013
進行中の研究テーマ
コンセプト
アルゴリズム
2012年度
●一般プログラミング環境のためのペンを中心としたヒューマンインタフェースに関する研究
●手術室内環境及び術者に柔軟に適応可能な超音波装置インターフェースの研究
●イベントの内容、感情、話者情報を活用するサウンドライフログに関する研究
2013年度
●Mic-Hear-Through ARシステムを利用した聴覚制御によりユーザに適したAR音を提示する
聴覚ARシステムの提案
●視覚情報の拡張による新しい手指感覚の創造
●ペン型デバイスの拡張によるGUI非依存の描画支援システム
●ARのための協調3Dマップの作成と3D位置計測手法
●スケッチ・面・ボリューム全てを使用可能なデザインと試作環境
●Wall型とTable型タッチディスプレイがチームワークの協調性へおよぼす影響に関する研究
22
2013
共同研究テーマ(企業、大学、研究機関)
RVI-DESK
●オフィス環境(デスク環境)でのRVIコンセプトの実現(日立)
●マルチモーダル情報(視線、動作、身振り)を用いた戸惑いの検出とマル
チメディア情報を用いたヘルプ教示(オムロン、東大、宇都宮大)
複雑な機能を有する機器の操作
●環境評価システムにおけるユーザインタフェイス(工業技術院 物質研)
化学物質汚染推定システムのユーザインタフェイス
●ネットワークコンピュータを中心にしたホームコンピュータの将来像(フナイ、ムトー)
●ゴジラプロジェクト
『2D画像と3D画像をシームレスに用いるデザイン支援環境の開発』
(日本IBM、エリジオン、東洋情報システム、三洋電機 、トヨタ自動車)
●バリアフリーカーにおける適応的情報的提示手法(シバックス)
●ペンを中心としたユーザインタフェース(リコー)
●最適GUI/WEBの自動生成(東芝テック)
●パーキンソン病患者の歩行支援ツール(順天堂大学、オリンパス)
●タブレットPCを用いた知的活動支援(マイクロソフト)
●デジタル情報家電プロジェクト(フナイ)
●電子ペーパを用いた知的活動支援(エプソン)
<現在進行中>
◇AR医療診断システム(昭和病院、日立メディコ)
23
◇紙・ペン(富士ゼロックス、トリプル・アイ)
共同研究の例:スケッチ支援
2013
自動車メーカにおける
エクステリア(ボディ形状)設計
高度なデザイン支援システム
しかし、
→デザインを描くと細部にわたりきれいに提示
→デザインから作業へ(細部に熱中。完成へ)
→全体的なデザインを繰返し構想しない。
→きれいだけど『プア』なデザイン
24
2013
デザイナが望むフロー
ペンや手振りでの直接操作
ペンでの直接操作
掴んで目の前
の空間に置く
3Dスケッチ
2Dスケッチ
設計図面
掴んでペンパッド
の上に置く
音声とペンでの
論理的・感性的な自動変形
音声,ペン,身振りでの
論理的・感性的な自動変形
25
2013
3D-Pad
(Stereo Vision TV)
2D-Pad
(Pen Pad)
3D-Pen
microphone
Designer
2D-Pen
26
2013
デザイン例
Example 1
Example 2
Example 3
2D-Pad
3D-Pad
Looks as if they are
flouting in midair
27
2013
評価
●トヨタデザイン部で実証実験(2000年1ヶ月間)
Example: One hour design
Paper(5 ideas)
Godzilla(2 ideas)
Alias(0.1 idea)
●ビデオ(7分)
28
2013
研究成果
人間の知的・感性的・創造的活動の支援
●人間の知性・感性.創造性を阻害する情報システムの分析と認知実験
●NewペンUI
RVI-Desk, 散在するタブレット,
DynaGraffiti,デジタルPaper,論理的思考
●スケッチ支援(UI,感性,画像処理)
2D
2D-3Dシームレス(ゴジラシステム)
3D+力覚
実物大デザイン環境
●知的活動支援
デザイナ,幼児プログラミング,初心者向けデバッグ,会議,スポーツ
●認知モデル
●インフォーマル情報の活用
デジタル情報家電
情報推薦(Informal Social Filtering)
ユビキタスメモ
ライフログ
●ホームエージェント(基本理念,知的処理,インタラクション)
新領域 ●Computational & Symbolic知的処理(サッカー,文字認識,ロボット身振り指示)
ビッグデータ発見,ロボットself学習
●新UI 注視と瞳孔反応,MEMS,TangibleGUI,視覚非依存
●医療 AR,3D画像合成
29
2013