Transcript パワーポイント形式資料
三次元視覚センサをもつトマト収穫ロボット （下記にて講演したものを編集） 領内将之，藤浦建史，大橋義広，和田光生，西浦芳史：トマトの三次元画像認識， 農業機械学会関西支部第121回例会，2009年3 月（京都） 青山ゆみ，藤浦建史，大橋義広，和田光生，西浦芳史：トマト収穫用エンドエフェクタおよび収穫実験， 農業機械学会関西支部第121回例会，2009年3 月（京都） 藤浦建史：三次元視覚センサをもつトマト収穫ロボット， 園芸ロボットに関するフォーラム開催(日本ロボット工業会主催），2009年3 月（札幌，東京，大阪）） 三次元視覚センサをもつトマト収穫ロボット 平成２０年度次世代園芸ロボット技術導入検証事業 目的 ロボットによるトマト収穫作業の自動化 大阪府堺市南区の農家の温室で中玉トマトの収穫実験 その可能性を検討 課題 ①茎，果梗，他の果実等の障害物が多く狭い場所で 収穫作業できること（株間45㎝・斜め45°に誘引） ②光条件が変化する環境下でも作業できること ③房状になり，果房内での着果位置や方向が異なる 果実でも収穫できること ④萼（がく）付きで収穫すること ⑤果実を傷付けないこと ⑥自動走行できること 小型エンドエフェクタ ２波長式三次元視覚センサ 多自由度マニピュレータ 走行部 右傾斜 右 左傾斜収穫 写真をクリックすると動画再生 左傾斜 正面 右傾斜 右 正面収穫と右収穫 写真をクリックすると動画再生 左傾斜 正面 右傾斜 右 右傾斜収穫 写真をクリックすると動画再生 左傾斜 正面 ２波長式三次元視覚センサ 投光ミラー レーザ 受光ミラー ガルバノメータ ２波長式三次元視覚センサの信号の流れ PSD 高速応答性、光強度に対する出力電流の線形性 → レーザを点滅させて外乱光と区別 熟度判定 画像処理の流れ ①近赤外レーザの受光電圧から距離を計算 ②画像を赤熟果実，葉茎・果梗・未熟果実，その他の部分の ３つに区分けする ③赤熟果実と認識した画素のうち、小さい赤の塊（赤熟果 実でない部分）を除去 ④果実の中心を求める ⑤果梗を認識する ⑥目標果実までの間にある障害画素を数える ⑦最も障害の少ない収穫経路を判断する 画像処理① 各画素における赤色・近赤外レーザ の反射光の受光電圧の強さから赤色 画像，近赤外画像，距離画像を作成 赤受光電圧 近赤外受光電圧 距離画像 70 180 目 標 果 実 位置 15 茎， 葉， 未熟果実等を 認識 果梗， 他の赤熟果実を 認識 40 15 エンドエフェクタを 傾斜させて 向こう側から収穫 70 130 上から 見た図（ 平面） 目 標 果 実位 置 果 実 中 心 ±20 高さ 方 向 果実障害については±17 果 実 中 心+15 ～-115 ロ ボット 側から 見た図（ 高さ 方向） （単位：ｍｍ） 右傾斜収穫する場合の障害物認識範囲 障害物の認識結果 黄：果梗 対象果実 対象果実を収穫する際にエンドエフェク タが通る範囲内に障害画素数が2500以 上ある収穫経路は障害物が多すぎるの で収穫不可能と判断する。 薄青：正面収穫を行う場合の障害 白：右傾斜収穫を行う場合の障害 青：右収穫を行う場合の障害 灰：左傾斜収穫を行う場合の障害 試作エンドエフェクタ がく付きで収穫 小果梗押さえ・U字型金具 ⇒小果梗を把持して引く ⇒離層からちぎる ①U字型金具に直径 ２㎜の金属棒を使用 ②シュートに柔らか い布を使用 果実間の狭い隙間 小果梗の隙間 進入 （実験を行ったハウスでの撮影） 収穫率 収穫し損ねた果実 検 討 ・場所 堺市南区の農家 ・実験日時 2008年11月～2009年２月 ・対象物 中玉トマト （品種‘ルイ４０’） ・栽培方法 株間45㎝ 斜め45°に誘引 ・走査方法 左右２カ所から ２回ずつの収穫作業 実験風景 写真をクリックすると動画再生 左の動画の流れ ①走行 ②左走査 ③左傾斜収穫 ④右収穫 ⑤左傾斜収穫 ⑥容器開閉 ⑦正面収穫 果実仮収納容器は３回の収穫，もしくは左走査時に開閉を行う。 結 果 対象果実数 収穫した果実数 がく付果実数 159個 135個 124個 ・収穫率は85％ ・がく付の割合は92％ ＊対象果実数：走査範囲 内にある赤熟果実数 ＊収穫時に落下した果実 は未収穫とした 収穫能率 『４５㎝走行→左右２回ずつ走査収穫』を４回繰り返し、集計 繰り返し回数 作業距離 畝間2.1mの半分 ４回（走行回数） 180㎝（45㎝×４走行） 作業面積 1.89㎡（1.8ｍ×1.05ｍ） 収穫果実数 22個 所要時間 走査時間 走行時間 その他 そ の 他 1㎡あたり 133秒 252秒 32秒（２秒×４回×４箇所） 10aあたり37時間 12秒（３秒×４回） 208秒 果実収穫時間 センサを走査位置まで移動させる時間 果実を果実箱に移す時間 画像処理に要する時間 １個あたり11.5秒 個々の果実の収穫時間 4.7秒～5.7秒 今回の実験では… ①はさむ ②引く 小果梗を把持した状態で引いて離 層から取る方法 ⇒果梗付け根が弱い果房では付 け根が損傷することがあった （２月の実験でまれにあった） ③ちぎる 把持した小果梗を折って 離脱させる機構とする エンドエフェクタを改良 栽培中のトマトで効果を確認