【专利解密】聚时科技赋能高端AI制造

【嘉勤点评】聚时科技的2D-3D相机外参标定专利，通过直线特征代替点特征，相比于特征点的2D-3D相机标定方法，大大提高了图像数据的特征检测精度。

聚芯2000系列主要针对封装基板材料领域的外观缺陷检测，芯片完成封装及电测后，需要在出厂前对外观缺陷及关键尺寸进行2D/3D测量，这是聚芯3000系列检测设备所覆盖的范围。

不同传感器之间的刚性变换，也称为外部参数，是融合多传感器信息的前提。外参标定的方法可分为在线标定和离线标定两大类。离线标定方法主要依靠特征的检测和匹配对外参进行计算，然而在2D-3D相机的外参标定中，对比分辨率较高的图像，3D传感器采集得到的点云分辨率较低，因此无法检测出精度较高的点云特征点与图像特征点进行匹配，严重降低了2D-3D相机之间的外参标定精度。

为此，聚时科技于2021年4月21日申请了一项名为“一种基于多边形匹配的2D-3D相机外参标定方法”的发明专利（申请号: 202110430415.2），申请人为聚时科技（江苏）有限公司。

图1 基于多边形匹配的2D-3D相机外参标定方法总体流程图

图1为本发明提出的基于多边形匹配的2D-3D相机外参标定方法总体流程图，首先进行第一步骤：2D相机内参标定。由于2D相机只能表征环境的平面信息，3D相机表征的是环境的三维空间信息。因此，外部参数标定的关键在于求解2D相机像空间辅助坐标系与3D相机相机坐标系之间的刚性变换参数。然而，2D相机采集的信息仅在二维空间中，因此，需要求解2D相机的焦距、像点平移参数，将二维信息投影到三维空间中，才能实现像平面坐标系到像空间辅助坐标系的转换。

然后进行步骤二：2D多边形信息提取。本发明使用矩形标定板作为标定工具，需提取矩形四条边构造图像的2D多边形信息。该步骤要先提取图像边缘，再进行标定板边缘直线提取。

然后是步骤三：3D多边形信息提取。首先进行点云边缘提取，为了准确提取标定板边缘的点云数据，先使用RANSAC算法提取标定板平面点云，并且在水平方向将其切片为若干个点云块，每个点云块的左右端点构成标定板的左右边缘点云。然后进行点云边缘分割，为了确定每个标定板点云边缘点与图像边缘直线的对应关系，需要将得到的标定板边缘点云按照标定板的形状分割为单一直线特征的点云块。

接下来进行步骤四：多边形匹配。基于步骤二和步骤三中求解的2D多边形信息与3D多边形信息，此时需将2D多边形的边与3D多边形的边一一对应。最后进行步骤五：基于L-M的外参求解。通过最小化全局的损失函数，从而得到2D相机与3D相机之间的外参。

简而言之，聚时科技的2D-3D相机外参标定专利，通过直线特征代替点特征，相比于特征点的2D-3D相机标定方法，大大提高了图像数据的特征检测精度。

聚时科技是一家工业AI公司，致力于深度学习、复杂机器视觉等核心技术的研发。聚时科技已经建立了强大的产品矩阵，在尖端AI技术和复杂视觉成像技术的加持下，聚时科技的产品相对国外竞争对手将会更加领先。

（holly）