ここでは,星野が個人的に行ったものから研究室として取り組んだ内容までを,宇大着任以降と宇大着任以前に分けて掲載してあります.ただし,現在遂行中でかつ外部に未発表の研究に関しては,詳細を非公開としています.
我々は,2017年より移動ロボットのEnd-to-Endな動作計画に関する研究に取り組んでいます.操作者は,障害物を回避しながら目的地へ移動するための動作をロボットに教示します.その後,教示時のセンサ入力と動作出力を対応付けるよう,深層学習によってニューラルネットワークを構築します.
ネットワークには,全結合型の深層ニューラルネットワーク(DNN: Deep Fully-connected Neural Network ≃ MLP: Multilayer Perceptron)や畳み込みニューラルネットワーク(CNN: Convolutional Neural Network)を用います.出力は,速度と角速度の連続値以外にも,「直進」,「右折」,「左折」たのめ離散値にも対応できます.
上の動画では,動作の教示とDNNの深層学習により,2D LiDARのセンサ値ならびにゴール方向を入力に,ロボットが直進・右左折の離散的な動作を計画しながら移動しているのがご覧になれます.教示された環境以外でも,ロボットは,障害物との衝突を回避しながら目的地への移動に成功しました.これを動作計画の汎化性能と言います.
RGB-Dカメラから得られた画像でも,障害物回避と目的地への自律移動に成功しています.入力画像に対する動作計画器にはCNNを適用し,さらに障害物の検出と中間知覚により,ロボットは教示された障害物以外も回避することができます.
こちらの動画冒頭では,自己位置推定とEnd-to-End動作計画により,ロボットが回廊を一周することに成功しているのがご覧になれます.現在,当研究室では,人のような動く(動的な)障害物に対する動作計画技術を開発しています.動的な障害物に対して,ロボットは,動きに関する時系列的な特徴を考慮する必要があります.そのため,CNNに基づく動作計画に,LSTM (Long Short-Term Memory)を付加した動作計画器を提案しています.詳細につきましては動画をご覧ください.
一人乗りのコンパクトな移動機器として,我々は,パーソナルモビリティ(ロボット)に注目しています.これまでに,栃木県庁ならびに県内有志企業と連携し,2台のパーソナルモビリティロボットを試作しました.栃木県庁でのお披露目を下野新聞様に取材していただきました.当研究室では,これらパーソナルモビリティロボットを活用したラスト1マイル問題の解決を目指しています.そして,パーソナルモビリティロボットを脳波で操縦するためのインタフェースBMI (Brain Machine Interface),ならびに,自動運転(自律移動)を目的とした自己位置推定技術に関する研究に取り組んでいます.
BMIの研究では,搭乗者の脳波を計測し,そこから移動と停止,直進,右折・左折といった搭乗者の操縦意図を推定します.そこで,脳波と操縦意図の対応付けに深層学習を用いました.そして,脳波を入力に,DNN (Deep Fully-connected Neural Network ≃ MLP: Multilayer Perceptron)やCNN (Convolutional Neural Network)を通じて,操縦者の意図を制御指令として出力することで,パーソナルモビリティを操縦することに成功しました.こちらの動画では,搭乗者が意図したとおりにパーソナルモビリティを操縦しているのをご覧いただけます.
パーソナルモビリティには,GPS,3D LiDAR,RGB-Dカメラ等が搭載されています.パーソナルモビリティがロボットとして自律移動するためには,まず,これらのセンサを用いた自己位置推定ができなくてはなりません.そのためには,事前に地図構築を行うことが一般的です.これをSLAM (Simultaneous Localization and Mapping)と言います.しかしながら,想定し得る環境全てに対するSLAMは困難です.そこで本研究では,国土地理院の基盤地図に着目しました.そして,基盤地図の測量データから生成された占有格子地図上での自己位置推定法ならびに自律移動技術を提案しています.動画では,ロボットが環境の占有格子地図とオンラインSLAMにより生成した地図上にて自己位置推定を行う様子がご覧になれます.
双腕型のロボットは,両腕・両手の協調により,複雑な作業を行うことができます.当研究室では,カワダロボティクス社製の双腕型ロボットNEXTAGEを用いた基礎研究として,物体へ手を近づけるリーチング動作の自律的な生成に取り組んでいます.
我々はまず,ロボットに腕の動作を教示し,それをロボットが再生するティーチングプレイバックシステムシステムを開発しました.ここでは,VR技術によってロボットの視覚情報を人間に与え,この情報に基づきリーチング動作を人がロボットに教示します.その際,人の手先位置を計測し,同じ位置へとロボットが手先を動かすための逆運動学計算が行われます.
ロボットは,視覚情報のフィードバックによって,物体の位置が変わったとしても,教示動作を修正することでリーチング動作を生成することに成功しました.
左の動画では,開発したティーチングプレイバックシステムシステムや,ロボットの頭部に搭載されたRGB-Dカメラの情報を入力に物体認識を通じた対象物体の3次元点群モデルおよびハンドリング動作の記録(教示),ならびに,教示動作の再生がご覧になれます.なお,再生の際には物体認識を通じて,対象物体の点群と記録した点群モデルとのマッチングにより,物体の位置姿勢を推定し,位置姿勢の変化に応じて教示動作をロボット自らが修正しています.
ロボットは右腕・右手のみしか使用していませんが,両腕・両手に拡張することは可能です.また,動画の最後では,ロボットは箱詰め作業もティーチングプレイバックにより成功しています.
さらに,リーチング動作を教示し,模倣学習(Imitation Learning)によって動作計画器を構築する研究にも取り組んでいます.動作計画器にはCAE (Convolution Auto Encoder)を適用しました.しかしながら,模倣学習では,ロボットが教示された物体とは異なる位置へのチーリング動作を計画することが困難となります.そこで,教示動作に対する拡張(Augmentation)を行うことにより,異なる位置へのリーチングに成功しています.こちらの動画では,教示・未教示位置に配置された物体へのロボットによるリーチング動作がご覧になれます.CAEの全結合層をRNN (Recurrent Neural Networ)構造にすることで,リーチングも含めた一連の動作計画も可能となります.
ロボットにとって,周囲環境の計測および認識・識別は重要な技術となります.認識・識別に関しては,近年,深層学習(Deep Learning)が技術的なブレークスルーとして注目を集めています.そこで2015年より,ロボットのビジョンシステムに深層学習技術を適用した物体認識に関する研究に取り組んでいます.
我々の研究では,人の動きをオプティカルフローで表現し,これをCNN(Convolutional Neural Network)に入力することで人物検出およびその動作の認識に成功しています.動画では,検出した人物の周囲に赤枠が表示され,認識された動作が出力されます.30 [fps]以上の処理速度で実時間性を達成しました.
我々はさらにこの物体認識技術を,移動ロボットに適用しています.しかしながら,移動するロボットに搭載されたカメラ画像では,対象物体以外の全体からもオプティカルフローが抽出されてしまいます.そこで,ロボットの移動量から画素の変化量を推定し,オプティカルフローの修正を試みました.
こちらの動画では,上述したオプティカルフローの修正の有無による,移動ロボットの人物検出ならびに動作認識性能の差をご覧になれます.前半はオプティカルフローが修正されず,人物検出も動作認識もできていません.一方後半では,ロボットが移動しながら人物検出とその動作の認識に成功しています.
移動ロボットが自律的に移動するため,我々は,ロボットの経路および動作計画に注目しています.この研究では,人とロボットの共存をテーマに動的な環境をターゲットとし,ロボットが人と衝突することなく目的地に向け移動するための動作計画に関する技術開発を行っています.なお,ここでの動作計画とは,センサ情報を入力に,動作(速度や角速度)を出力するための数理モデルのことを指しており,これらはモベルベースな手法に分類されます.
左の図では,ロボットが壁に挟まれた人混みの先に向け移動しています.我々なら壁の外側を迂回します.そこで,この急がば回れ的な動作計画法を提案しました.また,障害物があるとその後ろは遮蔽領域となり,ロボットはこの領域の情報を知ることができません.そこで,遮蔽を考慮して移動するための動作計画法も提案しています.
当研究室には環境を2次元や3次元で計測することのできる2D LiDARや3D LiDARがあり,これらをロボットに搭載することで,環境を平面や立体的に捉えた動作計画および実機のロボットによる自律移動に成功してきました.以下の動画では,提案した動作計画法のシミュレーションならびに実機実験の様子がご覧になれます.
混雑環境を考慮した移動ロボットの動作計画法 ~急がば回れ~
遮蔽領域における障害物をも考慮した移動ロボットの動作計画法 ~Velocity Obstacle for Occlusion (VOO)~
自律移動ロボットに監視カメラを搭載した警備ロボットシステムの研究に取り組んでいます.現状の警備ロボットは,基本,オペレータが設定した場所を監視することしかできません.これに対して我々の研究では,ロボットが訪問者や侵入者の傾向を確率情報として特定し,それに基づいた警備に焦点をあてています.
左の写真は,3台のロボットと警備環境(廊下)の地図を示しています.ロボットは集中管理システムの下,2D LiDARを用いて自律移動しながらKinect等のカメラにより訪問・侵入者を発見することができます.各ロボットの持つ確率情報は無線通信によりホストコンピュータへ送信され,最適な警備ルートがホストコンピュータより各ロボットへ指令されます.さらに,ホストコンピュータが環境を各ロボットに独立した警備領域に分割し割り当てることで,警備中のロボット同士による衝突を避け,投入台数分の効率化にも成功しました.実際にロボットが警備を行う様子は,左下の動画をご覧ください.
2019年より,訪問・侵入者だけでなく,落とし物や不審物等の環境変化を検知するためのロボットビジョンに関する研究にも取り組んでいます.研究成果の発表動画はこちらからご覧になれます.この他に現在,深層学習技術を用いたロボットに対する不審行動の検知や,人流に応じた警備領域の分割にも着手しています.
植物細胞の中には葉緑体があります.ウィキペディアには,「葉緑体とは,光合成を行う半自律性の細胞小器官」と書かれています.植物は,光合成により二酸化炭素から酸素を作り出すことができます.そして,葉緑体がその重要な役割を担っているのです.
そんな葉緑体の群れですが,顕微鏡でのぞいて見ると,光合成時に均整の取れた動きをしていることが分かります.光合成のため光に集まり,一方で影からは出ようとする動きをするのです.詳細については,本学バイオサイエンス教育研究センター児玉研究室が公開している葉緑体の集合反応をご覧ください.この葉緑体の運動のメカニズムをロボットの群行動(Swarm Intelligence)にも応用できないかと始めたのがこの研究です.
本学は工学と農学の連携(工農連携)に力を入れており,上述の児玉先生と共同で研究に取り組みました.その結果,葉緑体群の相互作用のモデル化ならびに実機のロボットへの実装に成功しました.
左の動画では,3台の葉緑体ロボットが,互いの影から脱しながら光へと集合する動きがご覧になれます.また,本葉緑体ロボットシステムを活用することで,床の掃引作業が可能であることも示しました.
平らな整地だけでなく,ボコボコした不整地でも単純な制御で移動できるロボットの機構を開発しました.「単純」と書いたのは,一般的な脚式や履帯式(クローラ型)でも不整地の移動は可能なのですが,その制御がかなり複雑なものになってしまうからです.
そこで,指の伸展・屈曲機構に着目しました.我々は,開発した脚のことを指脚(シキャク)と呼んでいます.造語です.左の動画では,製作した2台のSHIKYAKUロボットによる歩行の様子がご覧になれます.SHIKYAKUロボットは,モータの正転・逆転の繰り返しという単純な制御のみで歩行することができます.また,各脚は1個のモータのみで動作します.
無人飛行機UAV(Unmanned Aerial Vehicle)としては,ドローンが一般的ですが,我々は,動力を持たず受動的に滑空するロボットの開発に取り組みました.左の動画では,製作した機体および搭載されるマイコン・センサ,サーボモーター,これらに電力を供給するためのバッテリー等をご覧になれます.
動力がないため,小型・軽量化することが可能です.また,燃料も不要です.ただし,いかにして長時間・長距離を滑空できるかが課題となります.そのため,風や気流を利用しなくてはなりません.そこで,自身の姿勢から舵(操舵)を決定するための制御システムをファジー推論に基づき開発しました.動画の後半では,滑空シミュレーションを上面と側面から見た様子がご覧になれます.
複数台の自律移動ロボットの動作計画に関する研究は,シミュレーションベースで行われているものが大半です.我々はシミュレーションだけでなく,実世界を舞台にした研究を行いたいと考えています.
従来研究の多くは,人間のモデルを仮定し,仮想的な人間に対するロボットの動作計画,すなわち,ロボットの側のみを制御してきました.しかし,現実にはロボットが存在すれば,人間はロボットの影響を受けて動きます.すなわち,両者の間には相互作用の関係が存在しているのです.
そこで本研究では,シミュレーション空間の情報を床面へ投影することにより,疑似的な人間とロボットの仮想空間を構築しました.この結果,左図が示すように,人は目線に入るロボットの影響を受けながら移動し,ロボットも,人間に応じた動きをとることとなります.つまり,人間に対するロボットの制御だけでなく,ロボットによる人間の制御という,双方向の制御が実現するのです.
これまでに,人間の位置,速度,移動方向といった物理的な情報に基づいたロボットの動作計画に関する研究を行ってきました. 当研究室には全方向移動可能なロボットが複数台揃っています.現在,これら実機のロボットを動かすためのソフトウェア開発を行っています.
この他にも,ロボットの群れで人の動きを誘導するための隊列制御の研究に取り組んでいます.また,ロボットの経路計画と動作計画を組み合わせた研究や,センサの死角を考慮したロボットの動作計画に関する研究も昨年より始めました.これらの研究は,必ずや人とロボットの共存に向けた技術的なブレークスルーを生み出すものと考えています.
移動ロボットの動作計画として用いられている人工ポテンシャル法には,ポテンシャルの極小点における停留問題があります.さらに,ポテンシャルの大きさによって安全性と効率性がトレードオフとなることが問題になります.本研究では,これらの問題を解決しました.
左の図では,人(黄色の円柱)と向かい合って移動するロボット(黒丸)が,回避動作をとっている様子を示しています.人の進行方向に対して,速度に応じたポテンシャルが生成され,このポテンシャルの影響が及ぶ領域において,ロボットは斥力を受け人を回避します.そのため,速く動く人に対しては早めの回避動作を,遅く動く人に対しては近くで回避動作をとっていることが見てとれます.我々はこのポテンシャルのことを動特性ポテンシャルと名付けました.
さらに,左の図は複数のロボット群に対し,ロボット間での衝突を回避するために設けられたポテンシャルを示しています.左側では,単純に各ロボットのポテンシャルを重ね合わせただけであり,多峰性のポテンシャルが生成されています.斥力はポテンシャルの傾斜方向に向かってはたらくため,これではロボットが混雑し,渋滞が発生してしまいます.そこで,空間全体の密度を表現するための混雑緩和ポテンシャルを提案しました.右側では,これにより空間に単峰性のポテンシャルが生成されています.その結果,ロボット群全体で調和のとれた動作が実現されました.
以上,これら二つ,動特性ポテンシャルと混雑緩和ポテンシャルの組合せにより,安全で効率的なロボットの動作計画に成功しました.
実環境へ動特性ポテンシャルを適用するためには,システム側が人間の動きを計測できる必要があります.そこで本研究では,計測システムを構築しました.
左図では,人間の位置,速度,移動方向が計測され,そのデータから実際の人間に対するポテンシャルが生成されています.これにより,例えば真っ直ぐ歩く人には進行方向へ伸びるポテンシャル,蛇行して歩く人には周囲に広がるポテンシャルが生成され,人間の動きに応じたロボットの動作計画が可能となります.
左の図は,ジグザグ歩行した人間に対して,直進するものと仮定して生成された動特性ポテンシャル(左側)と,実際の動きに応じて生成された動特性ポテンシャル(右側)を示しています.同じ動きの人間に対して,右側では,周囲広範囲に渡りポテンシャルが生成されているのを見てとることができます.
相手が真っ直ぐ歩いているならこちらも真っ直ぐ歩きますが,酔っ払いがフラフラと歩いている場合,距離をあけて歩きますよね.ロボットにも,この人間と同じような動きをさせることが可能なのです.
私は混雑が大嫌いだ!人混みも,交通渋滞も,とにかく大嫌いだ!どうやったら人混みや渋滞が解決するの?ということで始めたのがこの研究です.対象がロボットとなっていますが,主に交通渋滞を解決するためのITS(知的交通システム)を想定して取り組んでいます.
左図は,二か所で交差合流している2つのレーンサーキットを示しています.赤いのは,このサーキットをロボットが数十台走行した際の速度分布を示しています.交差合流付近で速度が著しく低下しているのが見て分かるかと思います.これは,渋滞が発生してしまっているからです.渋滞は,ある空間内に容量以上の物質的占有がなされたときに発生します.交通量が増えると渋滞し,人が増えると混雑するのはそのためです.
ロボットも,例えば生産システムではその効率を上げるため,導入台数の増加が見込まれます.しかし,ロボットが増えれば,早晩,当該システムで渋滞問題が深刻化することが予想されます.そこで,我々は,このロボット渋滞を,速度制御のみにより解消できないかと考えました.
渋滞は,後ろのロボットが前のロボットに追いつき減速→停止する,この現象が後方へ伝播することで形成・拡大されます.そこで,前のロボットが減速した際には,後ろのロボットもそれに応じて減速するモデルを構築することにより,交差・合流においても渋滞を解消し,スムーズな走行を実現することに成功しました.それらの様子を,渋滞が発生している動画と渋滞が解消されスムーズな走行が行われている動画でご覧いただけます.ITSに興味のある方へおすすめな研究です.
機械は必ず故障します.故障には,初期故障,偶発故障,摩耗故障の三種類があります.初期故障期では使用にともない故障率は減少し,偶発故障期では一定,摩耗故障期では増加します.これらのことから,故障率は使用期間に応じてバスタブ曲線を描くこととなります.
バスタブ曲線において,初期と偶発故障期に機械のメンテナンスをすることは意味がなく,摩耗故障期を想定したメンテナンスが行われます.使用と時間にともない,左図の点線が示すように機械の故障率は増加します.そして,故障率が増加するにつれ,機械は故障しやすくなります.しかし,故障が発生する前にメンテナンスができれば,故障率は低減し故障を未然に防ぐことができます.これを予防保全(PM: Preventive Maintenance)と言います.一方,故障してしまった機械に対するメンテナンスを事後保全(CM: Corrective Maintenance)と言います.
そこで,信頼性工学に基づきロボットの故障をモデル化しました.これにより,最適,つまり最も高い稼働効率を実現するタイミングでロボットの予防保全を行うことに成功しました.さらに,実際の生産システムに導入されているロボットを題材とし,予防保全と事後保全を適用し,故障発生時にはロボットの制御モデルを通常時とハイブリッドに切り替えることで,可能な限りシステムを稼働させることにも成功しています.こちらからその動画がご覧いただけます.
化学プラントでは,材料や製品が配管(パイプ)を通じて連続的に処理されています.ただし,これでは製品切り替え時における配管内でのコンタミネーション(異物混入)が問題となります.そのため,配管の清掃が行われるのですが,我々は,これら連続的な作業を,ロボットによるバッチ方式へと変えました.バッチ処理とは,レシピに基づき,工程毎に区切られた作業を実行する生産方式です.
レシピを実行するのは,各工程におけるロボットと,その工程間をつなぐロボットです.後者のロボットにより配管をなくすこと(パイプレス化)に成功しました.そして,材料・製品を搬送するロボットが,左の図の経路上を縦横無尽に走行することで,配管を使うのに負けずとも劣らない生産効率を実現しました.
この研究におけるもう一つの問題は,ボトルネックです.左図のような循環型レイアウトの場合,最も作業の遅い工程が,全体の生産効率を支配することとなります.また,ボトルネックは,ある部分で解消されても別の場所に移動するため,絶えず存在することとなります.したがって,このボトルネックでの生産性が,プラントの要求仕様を満たすよう設計と運用を行わなくてはなりません.
港湾コンテナターミナルにおける荷役・搬送作業は,集中管理で人の手により管理されています.日本の港湾業の国際的な競争力を増すためには,24時間体制での操業,そのための作業の自動化が求められています.ちなみに,アジアではシンガポール,ヨーロッパではドイツやオランダにて,すでに自動コンテナターミナルの操業が実現しています.
そこで,AGV(無人搬送車)と自走式門型クレーンを導入し,それらが互いに協調し,さらに,港湾~陸でのコンテナ輸送を担うシャーシトラックと連携した制御方法を開発しました.
さらに,荷役・搬送タスク(ジョブ)のディスパッチングルールも開発し,これらの有効性をシミュレーションにより示しました.
これは,星野が東京大学の博士課程にて太田研究室に所属しながら3年間取り組んだ研究です.
従来の港湾では,一定台数のコンテナ搬送車や荷役(にやく)クレーンが使用されていました.しかしながら,入港するコンテナ船の容量に応じて,これらの数を動的かつ最適に決定することができれば,運用コストを削減することができます.そこで,待ち行列ネットワーク理論により荷役・搬送作業をモデル化し,スループットを制約条件とした搬送車とクレーンの最適台数設計を行いました.
これは,星野が宇都宮大学にて,4年生~修士課程の3年で間取り組んだ研究です.当時,私は尾崎先生の下でロボットビジョンの研究に従事しておりました.
この研究では,単眼(1つの)カメラを用いた対象物の計測を行いました.具体的には,画像による三次元計測に必要な視差を,ステレオ計測のように2つのカメラから得られた画像ではなく,カメラのズーム機能により見え方の異なる2つの画像を取得します.あとはステレオ計測同様,三角測量の原理に基づき対象点を計測します.ズームの最中,対象点を連続的にトラッキングすることで,ステレオ計測における対応点問題を解決することに成功しました.