自動運転に求められるセンシングシステムとその課題 2014年9月18日 株式会社 ZMP ©2014 ZMP Inc. All Rights Reserved. ZMPの自動運転車開発プラットフォーム「RoboCar®」 ©2014 ZMP Inc. All Rights Reserved. 1 自動運転車開発プラットフォーム「RoboCar®」 • 自動運転をゴールとして技術を開発中。関連技術を自動車／部品メーカ等に提供。 • 主な特徴 – 自動運転車開発プラットフォーム「RoboCar®」 • – レーザレンジ センサ コンピュータ制御可能な市販車ベースのロボットカー SLAM技術*1を搭載 • – 単眼カメラ （歩行者検出） GPSが不安定なところでも自車位置を推定 センサ・フュージョン • 高価な３Dスキャナに頼らず、２Dレーザレンジセンサ（LRS）とカメラ、 RoboCar® HV ミリ波レーダー（Rader）、慣性センサ（IMU）を利用 • メリット – ハードからソフトまでをすべて提供。 – 開発期間の短縮、自社製品評価のための リファレンスシステム、などで利用可能。 • 実績 – ITS世界会議、東京モーターショーでの試乗走行実施 – 自動車メーカへ技術提供（自動走行、自動駐車、など） センシングエリア *1：Simultaneous Localization and Mapping、標識やGPS の情報に頼らず環境マッピングと位置推定を同時に行う技術。 ©2014 ZMP Inc. All Rights Reserved. 2 自動運転技術で培った技術を運転支援技術に展開 完全自動 現在のニーズ 追突回避ブレーキ 操舵を加えた衝突回避 車線逸脱防止 運転死角検知 カーブ進入速度低減 ABS エアーバッグ 衝撃緩和バンパー 衝撃緩和ボンネット 支援 回避 軽減 ロボット化 車間距離・速度制御 車線維持支援 車線変更支援 追い越し支援 合流支援 渋滞時低速運転支援 眠気・疲労検知 縦列駐車支援 車庫入れ支援 技術をライブラリー化し、パッケージで提供 ©2014 ZMP Inc. All Rights Reserved. 3 自動運転開発を支援する技術 ZMPでは、自動運転開発を支援するプラットフォーム・システムを提供しています。 1. プラットフォーム車両 – 各種センサを搭載し、「走る・曲がる・止まる」をコンピュータ 制御可能な実験用車両 2. 環境認識・センシング – 3/2次元レーザ、ステレオカメラ、単眼カメラ等による周囲環境 ・車両・歩行者等の認識 3. 軌道生成・マッピングと位置推定 – 指定した位置と角度へスムーズに走行する軌道を生成 – 自車位置の推定とマッピング（SLAM技術） ©2014 ZMP Inc. All Rights Reserved. 4 プラットフォーム車両のニーズ • 「自動運転車の公道走行の環境整備」など、取り組みが活発化 • 自動運転に向けて、センサ技術やアルゴリズムの高度化などが求められる。 • 市販車は内部の仕組みが分からないため、実験用車両として扱いにくい。 ©2014 ZMP Inc. All Rights Reserved. 5 プラットフォーム車両 •「走る、曲がる、止まる」をコンピュータから制御可能な実験・開発用車両 実車1/10スケール 1/10 ©2014 ZMP Inc. All Rights Reserved. 一人乗りEV MV2 プラグインハイブリッド /ハイブリッド車ベース PHV/HV 6 RoboCar PHV/HV 機能 • 基本構成 – 普通車にデータ収集・自動コントロール機能をアドオン • CAN情報の取得 – 車速、バッテリー情報、ドライブモード、アクセル、ブレーキ情報、などたく さん。 • ステアリング制御 – ステアリングホイールのトルク入力、出力 – 角度制御 • アクセル、ブレーキ制御 – アクセルペダル、ブレーキペダル入力、出力 – 速度制御 – シフトレバー制御 • UI ©2014 ZMP Inc. All Rights Reserved. 7 RoboCar PHV/HV ｼｽﾃﾑ構成 ブレーキ ECU エンジン EPS ECU 動力分割 機構 ジェネ レータ モータ インバータ エンジン ECU バッテリ ECU CAN0 OBDII 自動制御 ECU 制御 コント ローラ バッテリ 情報 ディスプレイ CAN1 HV ECU ©2014 ZMP Inc. All Rights Reserved. 8 一人乗りEVベース RoboCar MV2 • 一人乗り電気自動車プラットフォーム • 通信プロトコルを公開。ユーザアプリケーションの搭載が可能。 • 自動運転・自動駐車、隊列走行、などの研究開発に ©2014 ZMP Inc. All Rights Reserved. 9 RoboCar MV2 「走る・曲がる・止まる」をコンピュータ制御 高齢者の運転支援や近距離移動車両の研究開発に 業 界 用 途 例 高齢者の移動手段、近 距離移動車両の実験に ユーザインタフェース ITサービス/アプリ 通信 制御 実 車 へ 搭 載 運転支援技術・予防安全 技術の開発に 自社製品・技術の実車で の評価に コンポーネント 電池 超小型EV RoboCar® MV2 センサ ©2014 ZMP Inc. All Rights Reserved. クルマとITを連携させた サービスやアプリケーショ ンの実験に 10 RoboCar MV2 システム構成 環境認識 運転操作・生体情報 ｽﾃﾚｵﾋﾞｼﾞｮﾝ ZMP® 全身ﾓｰｼｮﾝｷｬﾌﾟﾁｬ ZMP® BodyMotion RoboVision for Car2 頭部電位ｾﾝｻ ﾚｰｻﾞﾚﾝｼﾞｾﾝｻ*1 ZMP®Fp1Electrometer-Z コントロールPC&SDK Ethernet USB RS-232C Wi-Fi （オプション） MV API ユーザ プログラム ・・・ CAN(プロトコル公開) 環境認識 車両挙動・位置・環境 死角検知(BSD)ｾﾝｻ ZMP® OpticalFlow-Z ﾐﾘ波ﾚｰﾀﾞ*1 加速度/ｼﾞｬｲﾛ/地磁気 GPS/気圧/温度/湿度 ZMP®Position&Motion ・・・ 2軸高精度傾斜ｾﾝｻ ZMP® Inclinometer-Z 拡張例（オプション） *1 他社製品 *2後輪１ヶ所に標準装備。オプションで計四輪に搭載可能。 RoboCar® MV Controller MV Inverter MV Steering Driver Steering wheel (Angle) Accel pedal MV Brake Driver Brake pedal M M M Encoder*2 RoboCar® MV2システム構成例（TypeBプラットフォーム＋コントロールPC&SDK） ©2014 ZMP Inc. All Rights Reserved. 11 1/10サイズロボットカー RoboCar 1/10 • 1/10サイズのロボットカー。会議室や廊下で手軽に実験が可能。 • ステレオカメラ、レーザセンサ、キネクト、など外界センサを搭載 • C言語、MATLAB、LabVIEWで開発可能 • 自動運転、隊列走行など運転支援技術・予防安全技術の研究 開発に ©2014 ZMP Inc. All Rights Reserved. 12 ミニチュアカーから実車へ段階的に技術を蓄積可能 • 実車RoboCarの制御やAPIのベースは、オフィス内で実験できる1/10モデルで開発 • 制御 – 内蔵されている制御アルゴリズム、速度制御やステアの角度制御は、1/10、MV、にて利用して きたものをさらにバージョンアップ – 速度制御 (基本はPID制御) • 1/10 • DCモータのトルク • MV DCモータのトルク • HV アクセルとブレーキだが基本は同じ API – 1/10で作成したAPIと、ほぼ同等の機能をもちながら、ユーザーからフィードバックをうけより使 いやすいよう改良 1/10 ©2014 ZMP Inc. All Rights Reserved. HV MV 13 新製品：自動運転コントローラ “IZAC” 自動運転技術開発者向け コントローラBox • 自動運転、ADAS技術開発者むけ 高性能インテルプロセッサ搭載 IZAC (Controller) 車両を直接コントロール ユーザーアルゴリズムインストール可能 多数の自立移動コンポーネント搭載 ©2014 ZMP Inc. All Rights Reserved. • 各種センサーデータ処理、経路生成 等を高速リアルタイム処理 自動運転向けソフトウェアを コンポーネント提供 • ユーザーのアルゴリズムとZMPのノウ ハウを組み合わせて使用可能 14 自動運転のためのセンシングと課題 ©2014 ZMP Inc. All Rights Reserved. 15 環境認識・センシング • 3次元/2次元レーザ – ３次元：全周＋高さ30° – ２次元：水平面190° 3次元レーザ 2次元レーザ – 高性能・高価格 • ミリ波レーダ – 前方向車両の検出に特化 • ステレオ／単眼カメラ ステレオカメラ – 認識アルゴリズムの開発 が必要 ©2014 ZMP Inc. All Rights Reserved. ミリ波とレーザ HoG SVM 16 センサフュージョン（１／２） • カメラ（単眼／ステレオ）、ミリ波レーダ、レーザレンジセンサ、モーションセン サ、などを統合 カメラ レーザレンジセンサ （～60m） ミリ波レーダ （～120m） 上段：前方カメラ映像 下段左：ミリ波レーダー／下段右：レーザーレンジセンサ ©2014 ZMP Inc. All Rights Reserved. 17 センサフュージョン（２／２） • レーザセンサによる全周囲センシング – 位置・方向の異なる複数のレーザセンサ からのデータを統合し、車両の中心点から のセンサデータとして処理 • モーションセンサ統合による車速・向きの 精度向上 – 車速や車両の向きが変化する際、精度の 設定用PC ミリ波レー ダ データロガー CAN0 落ちる四輪回転数（エンコーダ）情報に加 ビデオ サーバ えて、モーションセンサのデータ（加速度・ ハブ カメラ ジャイロ・地磁気）を重み付けし利用するこ CAN1 CAN2 レーザレンジ センサ OBDII とで、精度を向上。 モーション センサ ©2014 ZMP Inc. All Rights Reserved. Ethernet 車両情報 18 画像認識 • RoboVision/RoboVision for Car – 基線長5㎝～35㎝のステレオビジョン – 128コア並列処理チップIMAPCAR仕様 – 距離計測、白線検出アプリ、アプリ ステレオカメラ ZMP RoboVision 死角検知カメラ ZMP OpticalFlow-Z 開発環境付属 • RoboVision Single – 単眼カメラ＋機械学習によるビジョン システム レーンキープ・チェンジ – nVIDIA GPUによる高速処理 – SVMにより先行車両、歩行者を検出 • 先行車両、歩行者検検出 OpticalFlow-Z – 単眼カメラ＋FPGAでオプティカルフローで死角検出 • イタリアパルマ大学発ベンチャーVisLab社ともコラボ ステレオビジョンシステム（イタリアVisLab社） ©2014 ZMP Inc. All Rights Reserved. 19 ステレオビジョン RoboVision for Car2 • ステレオカメラの基線長を350mmに設定。約6～70mまでの距離画像の取得 が可能。 • 車両前面ガラス部に容易に取り付け可能。 • 開発環境も用意。ステレオ処理アルゴリズムの 開発が可能（オプション） ©2014 ZMP Inc. All Rights Reserved. 20 機械学習による車両・歩行者検出 • 前方カメラ映像から、HOG特徴量を算出し、SVM（Support Vector Machine）を構築 • 汎用的な開発環境としてNVIDIA社のGPUにてリアルタイム検出 •運転支援システムにおける歩行 者の検出 •衝突回避・オートクルーズのため の先行車両の検出 •単眼カメラシステムのアプリケー ション検討 •自律移動ロボットのビジョンシス テム開発 など ©2014 ZMP Inc. All Rights Reserved. 21 機械学習による認識の流れ 学習 検出 カメラ トレーニング データ 正解 画像 HOG 特徴量 ・ ・ ・ 不正解 SVM 検出 （GPU） ・ ・ ・ トレーニングデータ アプリケーション ©2014 ZMP Inc. All Rights Reserved. リアルタイム検出 アプリケーション 22 死角検出 超高速小型組込みオプティカルフローセンサモジュール カメラ一体・小型センサモジュール 50mm×50mmの基板にカメラ、FPGA、CPU、メ モリを搭載。最大240fps (320x240)と高速で計測 が可能。 リアルタイム表示LCDディスプレイ 高精細オプティカルフロー出力 平均速度出力 ©2014 ZMP Inc. All Rights Reserved. 23 センサ・システム ミリ波レーダー レーザレンジセンサ ステレオカメラ RoboVision2 死角検知カメラ OpticalFlow-Z 9軸姿勢推定センサ IMU-Z2 GPS・気圧・温度・湿度センサ Position-Z 傾斜センサ Inclinometer-Z モーション計測システム 脳波計 統合計測システム 心電計・心拍計 ©2014 ZMP Inc. All Rights Reserved. 二酸化炭素 センサ 6軸センサ （シート/ウォータープルーフ）24 9軸ワイヤレスモーションセンサ ZMP IMU-Z2 • 3軸加速度、3軸ジャイロ、3軸地磁気から姿勢を推定。 • 無線（Bluetooth）対応で場所にとらわれず計測可能。 • C言語、MATLAB、LabVIEWでも開発可能 • 充実した開発環境（SDK）を用意。研究開発がスムーズに可能。 ©2014 ZMP Inc. All Rights Reserved. 25 軌道生成・マッピングと位置推定 ©2014 ZMP Inc. All Rights Reserved. 26 自動運転技術 • 周囲の環境をセンシングしSLAM（Simultaneous Localization and Mapping）技術により、自車の位 置を推定しながら自動運転 • 高層ビルが立ち並ぶ都市部やトンネル、山間部など、GPS で正しい位置を計測することが難しい 場所での自動走行に応用 • 計算量を抑えた高速 SLAM技術（Grid-based Scan-to-Map Matching SLAM、バージニア工科大 学） ©2014 ZMP Inc. All Rights Reserved. 車外からの映像 車内からの映像 SLAMによる自車位置推定 シミュレータ画面 27 高速SLAM（Grid-base scan to map matching SLAM) • 自動運転・自律移動には自己位置の特定が必要です。GPSが不安定な場所などでは、周囲環境をセンシング し、自己位置推定とマップ作成を同時に進めるSLAMが有効です。SLAMでは、現在の情報と少し前の情報を比 較しながら自己位置を推定してゆきます。 • 一般的なSLAMでは、レーザセンサなどのスキャンデータを微小なグリッドに分けて、比較していきます。高速 SLAMでは、大き目なグリッドを設定しデータの分布を比較することで、マッチングの計算量を減らし、処理を高 速化します。 ①一般的なSLAM（スキャンマッチング） ②高速SLAM • 数十㎝のグリッドを設定 • 一つ前の情報と最も近 いところを見つけマッチ ングを繰り返す • 数mのグリッドを設定 • グリッド内の分布（二次元正規 分布）単位でマッチング ローカルマップ （スキャンして得られた周囲情報） グローバルマップ （走行エリア全体） 新しい 座標と マップ マッチン グミス 繰り返し （ミスなく なるまで） ©2014 ZMP Inc. All Rights Reserved. 計算処理時間の比較（イメージ） 処理時間 ①スキャン マッチング SLAM ②高速 SLAM レーザ スキャン 正規分布化 マッチング 28 マーカを用いた指定範囲の自律走行 • 自律走行させたいエリアの四隅にマーカ（ビーコン）を設置 • 移動体にカメラを取り付けてマーカを検出（ビーコンを受信） • マーカの位置関係とマーカからの信号により自己位置を計算 Receiver (Quad Camera) Beacon TOPVIEW Localization (schematic view) SIDEVIEW LED (IR) CPU Battery ID = 1 > 90 deg ID = 2 FPGA Camera x4 CPU CAN i/f ID = 4 ID = 3 ©2014 ZMP Inc. All Rights Reserved. 29 外部カメラによる自己位置検出 Camera • 環境に設置された外部カメラ(監視カメラのような もの)によって車両の行動範囲の画像を取得する。 • 取得した動画から、画像処理を行うことで車両本 体の位置を特定する。 PC Camera WiFi Field Vehicle ©2014 ZMP Inc. All Rights Reserved. 30 Visual SLAMによる自己位置検出 • 画像中のコーナーを検出し、強度が大きな箇所を、特徴点として抽出、選択する。 • P0とΔt後のP1それぞれ得られた特徴点から、対象のオブジェクトが存在するエリアが確率的に得られる。と同時 に、自己の位置も確率的に特定される。 • 対象物の位置と自己位置を、共に、推定と観測による補正を繰り返し、精度をあげていく。 Camera Vehicle P0 での特徴点 P0 P1 での特徴点 Δt P1 VSLAMのイメージ ランドマーク（特徴点） ©2014 ZMP Inc. All Rights Reserved. 31 自動運転・運転支援研究開発を支援するサービス ©2014 ZMP Inc. All Rights Reserved. 32 開発支援（１／２） ZMPのカー・ロボティクス技術、自動運転技術やその開発過程で派生した技術をもとに、自動車及び部品 メーカの研究開発を支援します。 ロボティクス •ローカリゼーション （自己位置推定） RoboCar®PHV/HV プ ラ ッ ト フ ォ ー ム RoboCar®MV,MV2 •マッピング •プランニング •トラッキング •SLAM •画像認識 •機械学習 •データマイニング な ど ご要望に 合った製品 ・システム の開発 経路計画 (MATLAB/Simulink) HoG OpticalFlow セ ン シ ン グ ステレオカメラ/単眼カメラ RoboCar®1/10 倒立二輪/独立二輪 •メカ設計 •組込み •データベース 位置・モーション 加速度/ジャイロ/地磁気 •回路設計 •制御 •クラウド GPS/気圧/温度/湿度 •マイコン •通信 •ユーザインタフェースなど （Windows/Linux/Android/iOSなど） •FPGA ハード/ソフト技術 生体センサ （NIRS/脳波/心電/筋 電） ＜実績例＞ ・ステレオカメラ、単眼カメラを使った自動運転 （トラック・自動車メーカ） ・リアカメラを使った自動駐車 （自動車メーカ） ・特殊車両の自動走行システム （自動車メーカ） ・車車間通信システム （自動車メーカ） ・車両の遠隔操縦支援システム （官公庁） ・走行実験データのリアルタイムモニタリングシステム （車載機器メーカ） 等 ©2014 ZMP Inc. All Rights Reserved. 33 開発支援（２／２） • 自動車メーカ、部品メーカの製品やシステムを評価するため、 実車をテストコースや公道で走らせ、走行データを収集する アウトソーシング・サービスです。 • FOT（Field Operational Tests）事業を国内外へ拡大。 専門家 分野第一線の 先生・研究者 ZMP ロボットカー・センシング システム開発の知見 ユーザー 研究開発担当者 RoboTest ® 実車実験 による データ収 集 新車開発 や改良へ データ計測例 （上段：実際の画像 ／下段左：レーザセンサ／下段右：ミリ波レーダ） ©2014 ZMP Inc. All Rights Reserved. 34 実車実験 取得データ例 vital sensors 運転者・同乗者の状態 車内の様子（例） 車両の状態・運 転者の動き CANデータ(CSV) ©2014 ZMP Inc. All Rights Reserved. 周囲環境データ 周囲環境の状態 35 コネクティッド・カー事業 メーカ、車種問わず全てのクルマをインターネットで つなげ、車載データを活用した新サービスの創出を 狙います。 個人や法人に対し、安全支援、エコ走行支援、エン ターテインメント等の新しいサービス提供を行います。 • ZMPは、端末の開発・販売を行う。 データベース • 車載情報を、クラウド上でビッグデータ処理し、 その加工データのトランザクションで課金する情 スマートフォン /タブレット 3G/LTE Bluetooth 報サービス会社（株）カートモ（ZMP51%:JVC KENWOOD49%）が担う。 送受信機 「カートモ® UP」 ©2014 ZMP Inc. All Rights Reserved. 診断用コネクタ OBDII 車載 ネットワーク 36 Robot of Everything ロボット技術 自律移動技術 建設機械 ©2014 ZMP Inc. All Rights Reserved. 自動運転技術 物流 農業用機械 37 新製品：物流支援ロボット「CarriRoTM（キャリロ）」 • 汎用台車をロボット化 • 人手不足の解消・生産性向上・労働環境改善に ①アシスト機能 ③自律移動（イメージ） ©2014 ZMP Inc. All Rights Reserved. ②かるがも機能 機械部品トップ企業 ロボット企業 THK ZMP 日本電産シンポ しずか・頑丈・長持ち ＋ 人をアシスト 自動で移動 東京藝術大学 ＋ 工業デザイン ワークスタイルデザ イン 38 株式会社ゼットエムピー 営業部 西村 明浩 〒112-0002 東京都文京区小石川5-41-10住友不動産小石川ビル6F TEL： 03（5802）6901 FAX： 03（5802）6908 URL： http://www.zmp.co.jp E-Mail： nishimura@zmp.co.jp ©2014 ZMP Inc. All Rights Reserved. 39
© Copyright 2024 Paperzz
