TV視聴によりライフログ情報の検索表示を可能とするマルチスクリーン連携日本電信電話株式会社 NTTサービスエボリューション研究所茂木学 motegi.manabu@lab.ntt.co.jp 1 発表内容 ●目的 ●ユースケース ●提案システム ●GUI ●まとめ 2 目的 3 目的ライフログを適切なタイミングで提示スマートテレビのマルチスクリーン利用視聴番組に関連するライフログ提示ユースケース 5 ユースケーステレビで視聴中のコンテンツに関連するライフログをマルチスクリーンに提示 →能動的なキーワード入力なしに，視聴コンテンツ関連情報が自動検索されて提示女性のタブレットPC TV 女性が撮影した写真や，血圧データ提示男性のタブレットPC 男性が撮影した写真や，万歩計データ提示鎌倉はつらつウォーキング過去に撮影した膨大なライフログ（緯度経度情報つきの写真や各種健康データ等）の中から，視聴しているTVコンテンツに関連する情報を提示 6 ユースケースに関する課題 7 課題 ●テレビ番組とライフログのマッチング番組メタ情報としてEPG(*)利用 EPGは限定的なテキスト情報．ライフログとのマッチング困難．限定的な情報の拡張 ●視聴ユーザと視聴番組の特定タブレットPCとSTB間とのインタフェース仮構築 ●拡張性の高いシステム構成 WebSocketやLOD等のHTML5技術活用 (*) : Electric Program Guide(電子番組ガイド) 8 マルチスクリーン連携モデル 9 マルチスクリーン連携モデル(1) 課題：テレビ番組とライフログのマッチング写真） LOD ライフログ LOD 拡張メタ情報で検索メタ情報拡張番組のメタ情報 ① 単語抽出＆ DB蓄積機能 ② ③ ④ ライフログ取得＆提示機能セットトップボックス (STB) Life logs Display on TabletPC, etc. タブレットPC マルチスクリーン連携サーバ限定的なメタ情報をLODを介して拡張し，関連ライフログとマッチング 10 マルチスクリーン連携モデル(2) 課題：視聴ユーザと視聴番組の特定写真） LOD ライフログ LOD セットトップボックス (STB) 番組のメタ情報単語抽出＆ DB蓄積機能ライフログ取得＆提示機能 ii ユーザID,番組ID i 番組問合せ Life logs Display on TabletPC, etc. タブレットPC マルチスクリーン連携サーバタブレットPCとSTB間で，番組IDを通信 11 マルチスクリーン連携モデル(3) 課題：拡張性の高いシステム構成写真） LOD ライフログ LOD WebサービスAPI利用セットトップボックス LODのAPI利用番組のメタ情報単語抽出＆ DB蓄積機能 ② (STB) ライフログ取得＆提示機能マルチスクリーン連携サーバ Life logs Display on TabletPC, etc. タブレットPC Websocket利用 LODやWebsocket等HTML5技術，オープンなWeb API等利用 12 実装システム構成 13 実装システム構成視聴番組に関連する緯度経度つきの写真提示 DBpedia(LOD) EvernoteTM 地名情報テレビ緯度経度情報 C ① メタ情報拡張緯度経度情報 D ① 拡張メタ情報で検索写真 STB TV 番組疑似放送サーバ a ① EPG サーバ User ID Content ID EPG 地名情報抽出マルチスクリーン連携サーバ E ① B ① A ① User ID 番組問合せ Content ID Tablet PC 番組に関連する写真提示 14 実験＆結果 15 評価実験メタ情報拡張・関連情報取得処理時間評価評価実験 ①DBPedia問合せ時におけるターンアラウンドタイム計測 ②Evernote問合せ時におけるターンアラウンドタイム計測 DBpedia(LOD) 地名情報 EvernoteTM テレビ緯度経度情報 ① ② STB 緯度経度情報写真 TV 番組疑似放送サーバ User ID Content ID EPG EPG サーバ User ID Content ID Tablet PC マルチスクリーン連携サーバ 16 評価実験結果テレビコンテンツに対して1枚の画像(約200KB)を提示した際の計測結果(10回計測） DBPedia平均時間：0.9[s], Evernote平均時間：2.6[s] 地名情報取得後，画像を提示するまでの処理時間は約3.5[s] → テレビ視聴中の情報提示では問題ない処理速度 10 9 8 7 DBPedia 6 回数[回] Evernote 5 4 3 2 1 0 500 1000 1500 2000 2500 3000 3500 処理時間[ms] （Evernoteに各39枚蓄積時） 4000 4500 17 情報取捨選択インタフェース (InfoSkin)との連携 18 GUI例 19 GUIの着眼点ウインドウショッピングこのメタファを利用したUIで解決 20 設計指針となる要件 2. 1. ピックアップ受動的閲覧 3. 手に取る 4. こちらの方がオススメです戻す店員眼中なし関連情報取得除去 21 GUI単体構成 Web情報群 Amazon.co.jp Amazon API Google News Google API フィルタリングエンジン解析キーワード抽出選択された情報インタフェース商品ニュース出力入力選択操作ユーザ 22 GUI連携システム構成 DBpedia(LOD) EvernoteTM 地名情報緯度経度情報写真 GoogleNews Amazon.co.jp 人名，地名，固有名詞テレビ人名，地名，固有名詞 STB 本，商品 TV 番組緯度経度情報ニュース疑似放送サーバ User ID Content ID EPG EPG サーバ User ID Content ID Tablet PC マルチスクリーン連携サーバ 23 まとめ 24 まとめ ●テレビ視聴番組に関連するライフログを提示するマルチスクリーン方式を提案 ●視聴番組に関連した写真を提示するシステム実装・性能評価 ●情報取捨選択インタフェースと連携したシステム構築 25