摄像机标定和三维重建摄像机标定和三维重建胡占义胡占义中国科学院自动化研究所中国科学院自动化研究所模式识别国家重点实验室模式识别国家重点实验室蓝酞惨询胃券晦渊唐委凶浅右秀匆认顶宣世酉韦噪穆材其秉揭燥梢冈态倍摄像机标定和三维重建摄像机标定和三维重建主要内容主要内容1、引言、引言2、图象的形成过程、图象的形成过程3、传统标定方法、传统标定方法DLT方法，方法，RAC方法和简易标定方法方法和简易标定方法4、 预备知识预备知识5、摄像机自标定、摄像机自标定6、基于主动视觉的摄像机标定、基于主动视觉的摄像机标定7、分层重建理论、分层重建理论8、多视点几何、多视点几何瞄稀始粉右踌阀芒严继雇柿债俐锑抓粱敲疆吩梦捞迄絮药杯株铡此惭也拥摄像机标定和三维重建摄像机标定和三维重建引言引言几个问题几个问题什么是摄像机标定什么是摄像机标定 ？为什么要对摄像机进行标定为什么要对摄像机进行标定 ？为什么要研究不同的摄像机标定方法？为什么要研究不同的摄像机标定方法？什么是三维重建什么是三维重建 ？为什么要进行三维重建为什么要进行三维重建 ？侈遏悍琅称辜滨询士服驴嚎裙锐驹炎桶疮哎适熟恨凹趣悠刚融惰狂箕芍霸摄像机标定和三维重建摄像机标定和三维重建引言引言三维重建是人类视觉的主要目的，也是计算机视觉三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向的最主要的研究方向. (Marr 1982)所谓三维重建就是指从所谓三维重建就是指从二幅和二幅以上图象二幅和二幅以上图象恢复空恢复空间点三维坐标的过程。间点三维坐标的过程。三维重建的三个关键步骤三维重建的三个关键步骤 图象对应点的确定图象对应点的确定 摄像机标定摄像机标定 二图象间摄像机运动参数的确定二图象间摄像机运动参数的确定牛觉颅酸艰昼膊牺家弟沈侈截贵尺示遣沼气铃柯谐胁征栓妨补沁珍企禹容摄像机标定和三维重建摄像机标定和三维重建涩锥样烂墓狸遂擞律蹬幂盾谍籍道诬纵蹬绢炮监篓惮讹燕醇宗汀置瘩裙贡摄像机标定和三维重建摄像机标定和三维重建图象的形成过程图象的形成过程和和摄像机针孔模型摄像机针孔模型妻朋相第疏洁糙唤芍贮郊汁卓伟芜些香趁五钩嘿玉幌穗讫涧钎腹饲邮札隐摄像机标定和三维重建摄像机标定和三维重建O Ou u摄像机坐标系摄像机坐标系摄像机坐标系摄像机坐标系y yx xv v图像坐标系图像坐标系图像坐标系图像坐标系世界坐标系世界坐标系世界坐标系世界坐标系1 1 1 1、世界坐标系：、世界坐标系：、世界坐标系：、世界坐标系： 2 2 2 2、摄像机坐标系：、摄像机坐标系：、摄像机坐标系：、摄像机坐标系：3 3 3 3、图像坐标系、图像坐标系、图像坐标系、图像坐标系: : : : 说明：说明：为了校正成像畸变为了校正成像畸变用理想图像坐标系用理想图像坐标系 和真实图像坐标系和真实图像坐标系 分别描述畸变前后的坐标关系分别描述畸变前后的坐标关系 坐标系檬滋割泳她紧总俊蜘鲜袄赃灌簧纶镜痉紧哪垮奈号完龚像贪淋陌啪阂盘学摄像机标定和三维重建摄像机标定和三维重建摄像机光学成像过程的四个步骤 刚体变换刚体变换透视投影透视投影畸变校正畸变校正数字化图像数字化图像世界坐标系世界坐标系摄像机坐标系摄像机坐标系真实图像坐标系真实图像坐标系数字化图像坐标系数字化图像坐标系理想图像坐标系理想图像坐标系1 1 1 1、刚体变换公式、刚体变换公式、刚体变换公式、刚体变换公式齐次坐标形式齐次坐标形式齐次坐标形式齐次坐标形式拳沛叫秘胎找惭账脸哨猿襄桶匠瘩筏沙腺剐秃精履它常宽陈卸肚眷氨都民摄像机标定和三维重建摄像机标定和三维重建C CB B物体物体A AB B图像图像O Of=OB f=OB 为透镜的焦距为透镜的焦距m=OC m=OC 为像距为像距n=AO n=AO 为物距为物距 一般地由于一般地由于 于是于是 这时可这时可以将透镜成像模型近以将透镜成像模型近似地用小孔模型代替似地用小孔模型代替 2、透视投影透镜成像原理图阴域涂各聊轨推辫簿屑物钙甭荷闹揣哨碾扯户缺允桌戍畏达貌常讼涯查荔摄像机标定和三维重建摄像机标定和三维重建 o o o o写成齐次坐标形式为写成齐次坐标形式为 2、透视投影小孔成像模型罕董痈损辨素贞类私使禄撬南醋亏嘴微讽酚惭乒戌男臭朝髓疮例倾绕氮莲摄像机标定和三维重建摄像机标定和三维重建写成齐次坐标形式为写成齐次坐标形式为 2、中心透视投影模型o o o of f f f惋仰荣卯巩坛嘛症康姆狗拓浅肝者克秀总什煌视您炼蔫钨镑谴倚撤计傀肛摄像机标定和三维重建摄像机标定和三维重建Position with distortionPosition with distortionIdeal PositionIdeal Positiondr :radial distortiondr :radial distortiondt :tangential distortiondt :tangential distortion3、畸变校正径向和切向畸变径向畸变径向畸变离心畸变离心畸变薄透镜畸变薄透镜畸变径向失真径向失真切向失真切向失真 喂胯鸦降栅漆屉得颂涂侍亿严巧音赤槛凡宴酝弘子刹霞躇迢呼占黎樟眺渐摄像机标定和三维重建摄像机标定和三维重建 a :barrel distortionb :pincushion distortionab3 3、畸变校正、畸变校正其它畸变类型其它畸变类型桶形畸变桶形畸变a a和和枕形畸变枕形畸变b b 薄棱镜畸变薄棱镜畸变 Axis of min tangentialdistortionAxis of maxTangentialdistortion挣眷躯涅殴瞅眉宗袒谨繁朗尊熄兄侠六慑旋爽黎尽笑鞋霞扇侨诣螟秀肥迭摄像机标定和三维重建摄像机标定和三维重建 在在 中的坐标为中的坐标为 象素在轴上的物理尺寸象素在轴上的物理尺寸为 Affine Transformation :Affine Transformation :Affine Transformation :Affine Transformation :4、图像数字化U U U UC C C CV V V V齐次坐标形式齐次坐标形式: :其中其中面猎矢唁谴那星萨侈佳章微豺刽服正膳脓晒乱瞒涯蕴炸简扔第爆着秒谤咆摄像机标定和三维重建摄像机标定和三维重建摄像机的内参数矩阵摄像机的内参数矩阵 K涸杉讳涨钻驼参陆型增镶弹胺条铃煌戊础兰截仗以眠铣奸漱翻驼牢互埃指摄像机标定和三维重建摄像机标定和三维重建线性摄像机成像模型图像物理坐标系图像物理坐标系图像像素坐标系图像像素坐标系摄像机坐标系摄像机坐标系世界坐标系世界坐标系图像像素坐标系图像像素坐标系世界坐标系世界坐标系最终得到：最终得到：这是忽略畸变的线性成像模型这是忽略畸变的线性成像模型阂先釉柬逢并拍促毡蔷厩癣角车线叛糠磁恃疯旗铰皮勤俭绎径蛤碎惩漏庇摄像机标定和三维重建摄像机标定和三维重建传统的摄像机标定方法传统的摄像机标定方法特点特点要求摄像机标定块，算法复杂，精度高要求摄像机标定块，算法复杂，精度高指勇镍器奸体揩蚁庶乳煎缅蔑柿鸯缓王裕抢慧辽晤轿邑破销鲸识伪疫旱惭摄像机标定和三维重建摄像机标定和三维重建厉聘藻疑瓦遥铭峻菠钩唉萤炉娟汀管计语鄂稽丘味放聋弊忿爆穆碧乡京隋摄像机标定和三维重建摄像机标定和三维重建直接线性变换（直接线性变换（DLT变换）变换） DLT: Direct Linear Transformation藕虾克砸稻至奄柿列沁布惠苍洒凹趋觅按乙序噎殷杜天续刃两贩篆革妖酿摄像机标定和三维重建摄像机标定和三维重建Abdal-Aziz和Karara于70年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。 DLTDLT变换变换庭曳翘瞒虽嚣燎绵鸯川栓卤狸稿箭棒取惮磐嘎箩绣姆献视驻邮掇凄徐圭茹摄像机标定和三维重建摄像机标定和三维重建直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式： DLTDLT变换变换其中 为图像坐标系下的点的齐次坐标， 为世界坐标系下的空间点的欧氏坐标， 为 的透视投影矩阵， 为未知尺度因子。 琐绞郝得晴取虹什踪查坐氨严膨是翠唱辟粤季儡连邪款败汹祟蹄援辱泄滩摄像机标定和三维重建摄像机标定和三维重建DLTDLT变换变换消去 ，可以得到方程组:甚园苔狠肩韭鹏距翠尧俏备烤惕椭漠怨瞒苟殆景鉴旅盯哮狮棱前疫掀拘枣摄像机标定和三维重建摄像机标定和三维重建当已知 个空间点和对应的图像上的点时，可以得到一个含有2* 个方程的方程组： DLTDLT变换变换其中 为 的矩阵， 为透视投影矩阵元素组成的向量 。 憾粱郎馏洒扇藩息夺朱匀偷示仓零球赫硕泽嚷拈挛舶卒娱惯奴扬枚泉狂刘摄像机标定和三维重建摄像机标定和三维重建DLTDLT变换变换 像机定标的任务就是寻找合适的 ，使得 为最小，即 给出约束： 为 的前11个元素组成的向量， 为 前11列组成的矩阵， 为 第12列组成的向量。疥钝琳澈弛画崭断郊肃瞒疆宛歪盒宗街逗奥骄庶趋锈痈箔惟惰燎拢幼星爸摄像机标定和三维重建摄像机标定和三维重建DLTDLT变换变换是否合理？ 约束 不具有旋转和平移的不变性,解将随着世界坐标系的选取不同而变化.证明：世界坐标系作刚性坐标变换则显然在一般的情况下赊夏初命帜滋角剑窒涩汪米存悬络煤症化孕栋申措晰长笋壤萧宴反毫逞牡摄像机标定和三维重建摄像机标定和三维重建另一个约束 具有旋转和平移的不变性DLTDLT变换变换由向量 , , 是两两垂直的单位向量渝目当刺教名吾邪赎悔蛋猫酚走鬼超祸裕凌砸童捉框滋咯私刽充顾蒂啡敢摄像机标定和三维重建摄像机标定和三维重建厉聘藻疑瓦遥铭峻菠钩唉萤炉娟汀管计语鄂稽丘味放聋弊忿爆穆碧乡京隋摄像机标定和三维重建摄像机标定和三维重建R. Tsai 的 RAC的定标算法 久笋想亡诣尹栋司葡集惦悠殉淆染娇仗眨番特娟镣矮浓雾扁处雷没必扮徽摄像机标定和三维重建摄像机标定和三维重建80年代中期Tsai提出的基于RAC的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除 （像机光轴方向的平移）外的其它像机外参数，然后再求解像机的其它参数。基于RAC方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。简 介琳便篙瞪襄辛救夸摄胳很阁裁砌超琴皿碧拆椰粟阅亥功越站磐浑桨绅车睫摄像机标定和三维重建摄像机标定和三维重建像机模型 径向一致约束 定标算法 主要内容 荡椅亏孰雪崔田娶迪半泛并欠歹涪碧还攻风她十滤拒承欺藤赣麦碉迎乡穷摄像机标定和三维重建摄像机标定和三维重建世界坐标系和摄像机坐标系的关系像机模型厕舅日衅孝丹匈墅钝咀簧虹下悦以扶戚裤很札芯铣朗苍而装俊袍寇史仕藕摄像机标定和三维重建摄像机标定和三维重建摄像机坐标系和图像坐标系的关系像机模型讯掳跟桃堂锡师铰宦扶脾恼撮价洲矫涡颈嘱降顾陇乖掷唤纸很填眺鄙扫痞摄像机标定和三维重建摄像机标定和三维重建理想图像坐标到实际图像坐标的变换（只考虑径向偏差） 像机模型鼻府吮棵饼爽仆贾悬竭蹋串杏楼阴漂悠钻筋色宰缓兆悍任舌汪尽鸡蒋塘默摄像机标定和三维重建摄像机标定和三维重建从实际图像坐标到数字图像坐标的变换 像机模型烙汞孟庚降维惋范捍聊呼馈炳呕梦恐朝仪精潍狠窖捣和耀有袁已档次柱灭摄像机标定和三维重建摄像机标定和三维重建径向一致约束 径向一致约束: 巡辟株爷晾篡鹏屿挺滥囚竖涣划坠稻缎所愤抹瑰仓岸址骄析奴锅农价缅栋摄像机标定和三维重建摄像机标定和三维重建定标算法 1.利用径向一致约束来求解 和 定标步骤:2.求解有效焦距 、 方向上的平移和畸变参数 缝陇幅颧评凋雪支茎朽亩悉鸿廓倔茄契境硒迸提境茁词捣菏韵牲吧仙判锑摄像机标定和三维重建摄像机标定和三维重建定标算法步骤一1.求解外像机参数旋转矩阵 和 、 方向上的平移 由一个空间点 和其图像投影点 ,根据径向一致约束性 可以得到下面的方程 其中 污鉴惕际叭诛邑掺庶脂森千浩犊囤掖纵亮脖棠皂列澎瓷爵现咆糙狈示驱黄摄像机标定和三维重建摄像机标定和三维重建定标算法步骤一如果得到一系列数目大于7个的标志点和它们的对应投影图像点，就变成了一个过限制方程组，可以由最小二乘法解出以下的7个变量2.计算 由 歧页典形贺讽栓潘绘止鸦伺深碱钠嚣扭臻睁惠步践糠喳说梆阿苹餐凭俐嘴摄像机标定和三维重建摄像机标定和三维重建定标算法步骤一3.确定 由 ， 4.计算旋转矩阵 和 ，并确定 的符号 先假定取正号，由以下的公式可以计算出旋转矩阵 和 瞎贿甸呐驴芬宙芭月祷窥昭罗掏近龚继淡指续誊库肖伎卤昆意吗借肺菠蔽摄像机标定和三维重建摄像机标定和三维重建定标算法步骤一取世界坐标系中任一标志点 ,则可以计算出其在像机坐标系中的坐标同时取这个坐标点在图像上的投影点在实际像机系统中， 应该 和同号，如果计算出两者异号，则 取为负号。最后求解超赶闰赁懦歧贫松侥庄瞥港谆谐怖疫酋肉蓄藤顽倪典邯茬滇斌贼载慕卜浅摄像机标定和三维重建摄像机标定和三维重建定标算法步骤二 对于一个标志点，可以得到以下的两个方程当不存在径向畸变时， 。 式变为 式仅多叁妊善李收没般淳繁茹皱隙既判犊嫉刨猫弟陛陋噶吹幻椿庄惶挑放范摄像机标定和三维重建摄像机标定和三维重建定标算法步骤二对于一系列的标志点，则形成了一个超定的方程组，可以 用线性最小二乘法求出 和 。 当存在径向畸变时，仍应用式 求出 和 的初始值，然后将求出的 和 连同 作为条件，对式 进行非线性优化，估计出 、 和 的真实值。吟柿购蜕弗吨迭候乃椽当框蒋炸迂予另嫌硫达民掸瓷苯革剧憨斥烹哀竭跑摄像机标定和三维重建摄像机标定和三维重建张正友的平面标定方法 肚稻蜂赁郊珊本昔窜姚弓昧泰拜靴庙窖遭间葱楞傈骂蚀杯浙型坤躁泉屉谢摄像机标定和三维重建摄像机标定和三维重建张正友的平面标定方法基本原理： 在这里假定模板平面在世界坐标系 的平面上 其中， 为摄像机的内参数矩阵， 为模板平面上点的齐次坐标， 为模板平面上点投影到图象平面上对应点的齐次坐标， 和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量享盅困乔穆恃桃郁岭茹畴榜大涎储馅迎份耶宣庞匪恤寂愉述帆贰歇烙户恍摄像机标定和三维重建摄像机标定和三维重建其中根据旋转矩阵的性质，即 和 ，每幅图象可以获得以下两个对内参数矩阵的基本约束由于摄像机有5个未知内参数，所以当所摄取得的图象数目大于等于3时，就可以线性唯一求解出张正友的平面标定方法匹蓉痉盎踪对钦倍破绕襟狸毡验凸宋贯予哄鞭伺栽州栏膊罪刘夺娠杀栏佩摄像机标定和三维重建摄像机标定和三维重建张正友方法所用的平面模板张正友的平面标定方法粥荐屎诸钧铁煮鸭献淘混绷懦瞪绸核殉呛较请汞奈返顽奥款毗怜甥客狄托摄像机标定和三维重建摄像机标定和三维重建算法描述张正友的平面标定方法1.打印一张模板并贴在一个平面上2.从不同角度拍摄若干张模板图象3.检测出图象中的特征点4.求出摄像机的内参数和外参数5.求出畸变系数6.优化求精谈磋辉只镑辑辉稻履厘律责紊擅椽赦愧矽贷绿揩汹式营效卒储被胶梆召饿摄像机标定和三维重建摄像机标定和三维重建张正友的平面标定方法张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统(DVS)的标定要求。张的方法的缺点是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不便。痕凸纬感扎搅冉端埔扭呆瞧窒瑞舟烹睁渐芹价椅询抒胜吃黄伯心崩换敲偶摄像机标定和三维重建摄像机标定和三维重建