Torobo Armによる唐揚げピッキング 第3回

こんにちは、トロボです。

本記事では前回に引き続き、ToroboArmによる唐揚げピッキングデモをご紹介します。第3回となる今回は、デモで使用している3次元カメラについての解説です。まだご覧になっていない方もいらっしゃるかと思いますので、唐揚げピッキングのデモ動画を再掲します。

ピッキングの直後、山積みになった唐揚げ周辺に一瞬だけ赤い光が照射されている様子がお分かりいただけると思います。この赤い光を照射しているのが、今年1/15にプレスリリースされた東京ロボティクスの新製品である3次元カメラTorobo Eye「SL40」です。

3次元カメラ Torobo Eye 「SL40」

SL40はロボットに搭載することを想定して設計された、手のひらサイズの小型3次元カメラです。計測方式は、プロジェクタが照射するパターン光をカメラで撮影し、撮影画像を用いて3次元計測を行うアクティブステレオと呼ばれる手法です。アクティブステレオの中でも明暗からなるストライプ(縞)などの幾何学模様で設計されたパターンを投影する手法はStructured lightと呼ばれ、安定性と計測精度のバランスが良いことからロボット向けの3次元カメラによく採用されています。ちなみに製品名のSL40はStructured lightの頭文字からとっています。40はカメラとプロジェクタ間の距離(いわゆる基線長)を示しています。

パターンを照射している様子を下図に示します。被写体は同じく唐揚げの食品サンプルで、幅の長さを変えたストライプ模様を複数種類照射した例になります。赤い色になっている部分がストライプの明暗のうちの明の部分にあたります。このような画像を複数枚用いることで被写体を3次元的に計測することができます。

唐揚げにパターンを照射している様子

実際に山積みされた唐揚げを3次元計測した結果(デプス画像)を下図に示します。唐揚げの微細な凹凸まできれいに計測できていることがお分かりいただけると思います。SL40は未加工の計測データでも十分きれいですが、今回はピッキング向けの認識処理のために計測信頼度の低い部分をカットする処理を施しています。例えば唐揚げの輪郭部分のような曲面や、カメラの光軸に対して浅い入射角になっている平面は反射光が弱くなりますので、そういった計測誤差が大きくなる可能性があるからです。

山積みされた唐揚げのデプス画像

計測データは提供SDK(Python)もしくは付属S/Wで取得することができます(C++対応のSDKは現在準備中です)。S/Wイメージおよび計測データの例は下図のとおりです。S/Wはシンプルな作りで、カメラとの接続やパラメータ調整が簡単にできるようになっています。さきほどご説明した、信頼度の低い計測点をカットする処理等の後処理もSDKに含まれています。もちろんGUI上でも、後処理に関係するパラメータを変更しながら計測データの変化を確認し、最適な調整することができます。

デプス画像もしくは3D点群に注目してください。薄い定規の段差もはっきり計測されていることがご確認いただけるでしょうか?金属や樹脂などいろいろな材質、色の物体でも欠損なく計測できており、極めて小型の3次元カメラでありながらもSL40は高い計測品質を有していることが分かります。

S/Wイメージ
取得データ(上:デプス画像、左下:カラー点群、右下:3D点群)

こちらはM2ネジからM6ネジまでサイズの違うネジを370mmの距離から計測した結果です。M2ネジのネジ部はギザギザしているうえにとても細いので計測が難しいのですが、3D点群を見るとしっかり計測できていることが分かります。しかもこのデータでは黒いネジと光沢のあるネジを同時に計測しています。通常はこれだけ対象物の表面状態が異なるとどちらかのデータが取れなくなってしまいがちですが、黒い物体も光沢の物体も両方とも計測データが取得できています。SL40はダイナミックレンジも広い3次元カメラなのです。

ねじの計測結果(上:カラー画像、左下:デプス画像、右下:3D点群)

さて、SL40の最大の特長はロボットアームに搭載するのに最適な設計であることです。460gという極めて軽量なカメラヘッドで、単に小型というだけでなくロボットアームの手先に取り付けたときにロボット動作の邪魔になりづらい形状になっています。成人男性の手の幅が80~90mmですので、まさに手のひらサイズの3次元カメラと言えます。

SL40の外形寸法

さらに、SL40の視野は筐体底面よりも上方向に広がるようにしているため、撮影画像にエンドエフェクタが写りこみづらくなっています。他社製品のほとんどはカメラ筐体の正面方向と視線方向とが一致しているので、ロボットの手先に取り付ける場合には少しオフセットして取り付けるなどの対処が必要になります。

SL40の視野イメージ

しかしアームからカメラが離れるほど、アームを動かしたときにカメラが他の物体やアーム自身と衝突しやすくなって好ましくありません。体積的にはSL40に近いサイズの製品もありますが、ほぼすべての製品は横長の形状になっているため、アームからはみ出した部分が周辺と干渉しやすく、どのような動作をさせるにも注意を払う必要があります。下図のとおり、横長形状の3次元カメラと比較してみると、SL40がいかにコンパクトであるかが分かります。

アーム取り付け時の比較(右図は視野調整によるオフセットも考慮)

さらに、ここまでコンパクトな筐体でありながら計測精度も高く、距離450mmから平面を計測した際の奥行方向のバラツキ誤差は0.06mmです。連続撮影モードでは最大10fpsでの高速な動作が可能、さらに計測データと同軸のカラー画像を取得できるので画像処理系AI技術と組み合わせやすいなど、うれしい機能が満載です。

データシート

ご購入や製品について詳しくお知りになりたい方は
Torobo Eye営業窓口:trbe-sales[at]robotics.tokyo
までお問い合わせください!

最後にお知らせです。2021年2月16日~18日の午前9:00~12:00に弊社内(東京都新宿区山吹町)にてデモを実施します。30分ごとのスロットでの時間予約(1社最大2スロット:1時間まで)を可能といたしますので、ご興味がある方は同様に上記Torobo Eye営業窓口までご連絡下さい。

また、幕張メッセで開催予定の展示会「FOODEX JAPAN 2021」(2021/3/9-12)にも出展する予定です。ぜひお越しください。

それではまた。