Transcript 图像处理和特征检测 - mysharing

南昌大学申请硕士学位论文
弧焊机器人焊缝视觉信息检测与
识别研究
姓名：刘明友
导师：刘南生 教授
专业：工程热物理
论文内容
研究概述
结构光视觉传感系统
焊缝图像预处理以及特征检测
焊缝检测和识别的软件系统设计
结论与展望
课题来源
江西省科技攻关重大项目“实用激光焊缝
视觉传感器研究”（2005-2007）；
江西省教育厅科学技术项目“焊接机器人
多种形状焊缝坡口识别研究” （20052007）。
研究概述
研究背景
随着计算机视觉技术的发展，焊缝跟踪引入视觉
传感技术，与其他传感器相比，视觉传感器具有
提供信息量丰富、灵敏度和测量精度高、抗电磁
场干扰能力强，与工件无接触的优点，适合于各
种坡口形状，能同时进行焊缝跟踪控制和焊接质
量控制。计算机技术和图像处理技术的不断发展，
使得实时性容易满足，视觉传感是一种很有前途
的传感方法。
研究背景
近年来，运用计算机视觉、数字图像处理、模式
识别、智能控制等当代高新技术，焊缝跟踪研究
已取得了相当大的成就。目前，英国、加拿大、
瑞典都有激光焊缝跟踪的商业化产品。
国内的焊缝跟踪研究较国外起步较晚，国内的很
多高校都进行了焊缝跟踪的研究，如清华大学，
哈尔滨工业大学，华南理工大学，但还没有商业
化的焊缝跟踪产品问世。
研究意义
研究基于视觉传感的焊缝跟踪技术将会推
动焊接过程质量实时传感与控制的发展和
成熟，使得焊接过程通过闭环反馈而实现
完全自动化，保证焊接质量，大大提高焊
接生产自动化水平和自动焊接的灵活性，
把握住焊接跟踪技术发展的最前沿，推动
我国焊接理论和实践的发展。
研究目标
1．设计并构建基于结构光视觉传感的弧焊
机器人焊缝检测和识别实验装置。
2．研究基于结构光视觉传感的焊缝图像预
处理方法。
3．设计各种焊缝坡口位置检测和识别算法。
4．设计焊缝图像实时采集与处理的软件系
统。
结构光视觉传感系统
实验系统
整个实验系统的结构如图所示。焊接设备包
括焊接主机、送丝机构、十字滑台和CO2气瓶等。
工控机
图像采集卡
焊接设备
十字滑台
CCD
激光器
焊炬
工件
滤光片
传感器的视觉传感原理
激光器发出的激光，经柱透镜形成一光片照射到
工件上形成一条宽度很窄的光带。当该光带被工
件反射或折射后，经滤光片保留激光器发出的特
定波长的光，而滤除其他波长的光，最后进入
CCD摄像机成像。
传感器安装方法
传感器通常以预先设定的距离（超前）安装在焊
炬前部，因此它可以观察焊缝，焊炬到防飞溅挡
板的距离约40mm。传感器本体到工件的距离即
安装高度70-80mm。
焊接方向
安装高度
实时焊接现场
视觉传感系统的设备选择
 激光器
 型号：
 尺寸：
 输出波长：
 工作电压：
 线宽：
 出瞳孔径：
 出瞳功率：
 光束发散角：
 工作距离：
 光学系统：
 工作温度：
LD650-2.2-3（5）
Ф12mm×32mm
650nm
DC3V
1mm
Ф7mm
30mw
0.5m/rad
80mm
光学镀膜玻璃透镜
-10℃～+40℃
摄像头CCD
 CCD图像传感器
 图像像素
 信号系统
 清晰度
 最低照度
 信噪比
 CCD光圈
 电源
 工作温度
1/3" SONY EXVIEW HAD IMAGE SENSOR
512H×492V EIA， 512H×582V CCIR
CCIR/EIA制式
400TVL
0.2Lux/F1.2
>48dB
1/50（60） to 1/100，000 sec
DC 12V/85mA
-20℃～50℃
滤光片
采用峰值波长为632.8nm的干扰滤光片
电弧光谱分析
图像采集卡
在本视觉系统中选用北京大恒图像视觉有限公司
设计的DH-CG400图像采集板卡。该图像采集卡
是基于PCI总线的高速彩色/黑白图像采集卡。
DH-CG400基于高性能的PCI总线，使其能实时传
送数字视频信号到显示存储器或系统存储器。
冷却吹灰系统
 焊接过程中的强热主要是通过热辐射传递到传感器的内部，
设计冷却的目的是保证CCD和激光器在强热的周边环境下
稳定长时间正常的工作，采取的方式是通入12升/分钟的
循环冷却水
 焊接过程中还伴有强烈的弧光、飞溅和烟尘，特别是烟尘
可能对采集到的图像是毁灭性的，将导致整个图像充满白
色而根本无法辨清激光条带，从而增加焊缝图像预处理的
难度，因此设计吹灰系统格外重要，采取的方式是在焊炬
和传感器的中间吹入5L/min的空气，这样的话就基本上排
除了烟尘对图像的干扰，也减少了弧光和飞溅对图像造成
的干扰。
挡光板和防飞溅透明片
在传感器和焊炬之间设计安装了一块防飞
溅挡板，挡光板可以阻挡焊接时一部分的
弧光和飞溅进入CCD的拍摄范围。
防飞溅透明片的功能是防止焊接时的飞溅
损伤柱透镜和滤光片
焊缝图像预处理以及特征检测
图像处理的整体过程
输入
阈值
变换
滤波
锐化
或
腐蚀
细化
特征
提取
输出
V形焊缝的图像处理和特征检测
二值化（210）
中值滤波
细化
拉
普
拉
斯
锐
化
特征检测
斜率法
假设当前点为（ x , y ），它的前八点为（x , y ），
后八点为（x , y ），则左、右斜率的计算方法分
别为：
y y
y y
i
kl 
i 8
i 8
i
i 8
i 8
i
kr 
xi  xi 8
i 8
i 8
i
xi 8  xi
计算每一点的左斜率和右斜率之差，具有极大值
的点来确定点b。
a
b
d
c
e
向量法
欧氏空间向量夹角的定义为：
cos x, y 
x, y 
xy
从点a的后第8个点开始，该点与它的前8个点构
成一向量，与它的后8个点构成另一向量，计算这
两个向量之间的夹角的余弦。
根据具有夹角余弦极小值来确定点b，为了减少计
算机的运算量，采取比较两向量夹角余弦的平方
求极小值，就避免了开方运算。
斜率截距法
连接点a和点c构成一直线，直线ac的斜率表示
为 k  y  y ，过在点a和点c之间的任意一点
x x
（ xi , yi ），作与直线ac平行的直线，该直线的截
距为：bi  yi  k ac xi
c
a
c
a
ac
具有截距极大值的直线过点b，从而确定点b。
最小二乘法曲线拟合
最小二乘法曲线拟合法是在斜率法的基础上进一
步确定拐点。
y  b0  kx
 x
n
其中：
k
i 1
i

 x yi  y
 x
n
i 1
i
x

2
n
x
x
i 1
n

n
i
y
b0  y  k x
y
i 1
n
i
拐点检测算法时间比较
表1 特征提取算法时间比较
斜率法
向量法
0.496
0.512
斜率截距法
0.426
单位：ms
曲线拟合法
0.627
拐点检测算法精度比较
焊缝实际宽度为9.65mm，每个像素对应的实
际长度为0.091mm。
表2 特征提取精度
长度/pixel
测量宽度/mm
误差/mm
斜率法
108
9.82
0.17
向量法
108
9.82
0.17
斜率截距法
110
10.00
0.35
曲线拟合法
105
9.55
0.10
有间隙的V形坡口的图像处理
和特征检测
二值化（200）
细化
腐
蚀
中值滤波
特征检测
搭接焊缝图像处理和特征检测
二值化（200）
细化
腐
蚀
中值滤波
特征检测
对接焊缝图像处理和特征检测
二值化（210）
细化
梯
度
锐
化
中值滤波
特征检测
内角接焊缝图像处理和特征检测
二值化（210）
中值滤波
细化
拉
普
拉
斯
锐
化
特征检测
外角接焊缝图像处理和特征检测
细化
二值化（210）
梯
度
锐
化
中值滤波
特征检测
U形焊缝图像处理和特征检测
细化
二值化（200）
梯
度
锐
化
中值滤波
特征检测
焊缝的自动检测识别
开始
从左往右搜索图像，依次把搜索到的象素点的坐标存入
二维数组array1，起点和终点分别记为Start1和End1；
从右往左搜索图像，依次把搜索到的象素点的坐标存入
二维数组array2，起点和终点分别记为Start2和End2
Start1＝End2？
并且
Start2＝End1？
N
Y
焊缝为对接，搭接和有间
隙的V形焊缝
焊缝为搭接焊缝，
并且提取特征参数
Y
焊缝为V形，U形，角接
焊缝
array1.y开始部分
呈现单调性
Start1.y - Start2.y  T1
N
焊缝为有间隙的V
形焊缝，并且提取
特征参数
焊缝，并且提取
特征参数
Y
array1.y开始部分
单调递增
Start1.y - End1.y  T2
N
N 焊缝为V形或U形
Y
焊缝为对接焊缝，
并且提取特征参数
Y
焊缝为内角接焊
缝，并且提取特征
参数
结束
N
焊缝为外角接焊
缝，并且提取特征
参数
焊缝检测和识别的软件系统设计
应用程序主窗口
缓冲区的
图像数据
图像预
处理
选择焊缝坡口或
载入算法，进行
图像处理及检测
二值化、中
值滤波等
（a）
输出焊缝
三维
位置信息
特征
提取
软件系统的结构
应用程序主
窗口
图像预
处理
打开已有的
焊缝图片
进行图像
处理
图像
增强
焊缝检测和
特征提取
图像
滤波
（b）
保存算法到
硬盘
图像形态学
处理
程序主界面
打开图片
实时跟踪处理
视频卡采集
范围信息区
图像处理后
图像显示区
焊缝类型
及检测结
果信息区
控制区
工具栏
状态栏
直方图
关闭
保存
另存为
打开图片
图像处理流程
图像处理和特征检测
图像处理
算法和检
测选项选
择区
已应用图
像处理和
检测方法
显示区
焊缝检测
和识别结
果信息区
焊缝自动识别信息区
保存算法对话框
焊缝实时识别处理
视频卡采集
范围
实时焊缝
图像
焊缝信息
显示区
实时处理后
图像
控制区
算法路径或自动识别信息显示
系统运行状态
U形坡口
V形坡口
搭接坡口
对接坡口
角接坡口
有间隙的
V形坡口
自动识别
自定义
视频调节对话框
图像序列保存对话框
选择算法对话框
结论与展望
 搭建了基于结构光视觉传感的弧焊机器人
焊缝检测和识别系统。
 分析了图像处理的各种方法的原理,研究了
焊缝图像预处理的方法。
 研究了各种焊缝坡口类型位置检测和识别
算法和焊缝自动识别。
 设计开发了焊缝图像实时采集和处理软件
系统。
展望
要实现焊缝的自动跟踪，还必须有控
制执行系统。
实现控制和图像采集和实时处理在工
控机或控制箱上实现，也就是要实现
系统的集成和优化。