软件：软件：硬件：硬件：导师：导师：为什么选这个课题为什么使用qt工具为什么使用opencv工具为什么选摄像头为什么选用linux平台为什么：为为什什么么？为什么要选用GEC-210一为什么选无人驾驶这个课题：1、随着城市化进程的不断推进和汽车的不断普及，交通拥挤日益加剧，人为造成的交通事故频繁发生，交通问题已成为人类社会亟待解决的重大问题2、安全、节能、环保、智能化和信息化的汽车越来越受人们的喜爱4、硬件技术和计算机技术、大数据技术的高速发展促使无人驾驶技术的成熟3、人驾驶汽车技术，广泛应用于军事，工业，农业，公共交通和高速公路等领域。尤其是在军事领域的潜力，吸引了各国军界的高度关注？为什么选用GEC-210：为为什什么么？2、内部建有内部建有PowerVRPowerVRSGX540SGX540高性能高性能3D3D图像引像引擎，能高效地将擎，能高效地将图像清像清晰呈晰呈现出来出来1、采用三星采用三星S5PV210S5PV210作作为主主处理器，运行主理器，运行主频可高可高1GHz1GHz3、GEC210GEC210板板载512MDDR2512MDDR2内存，内存，可流可流畅运行运行Android,LinuxAndroid,Linux和和WinCE6WinCE6等高等高级操作系操作系统为什么选用摄像头方式：为为什什么么？2、无需无需对现有道路有道路进行行大大规模的改造或破坏路模的改造或破坏路面；面； 1、图像的信息含量极像的信息含量极为丰富丰富3、信息、信息获取面取面积大，可大，可进行行 多多车道道检测，能，能够同同时实现道路道路检测和障碍物和障碍物识别4、系、系统成本低，能提供成本低，能提供实时 录像，供以后使用像，供以后使用为什么选用linux平台：为为什什么么？2、丰富的丰富的软件支持件支持1、跨平台的硬件支持、跨平台的硬件支持3、多用、多用户多任多任务6、完善的网完善的网络络功能功能5、良好的良好的稳稳定性定性4、可靠的安全性、可靠的安全性为什么选用opencv与qt工具：为为什什么么？1、opencv与qt都是跨平台开发工具2、高效，运行速度快3、opencv完全开源、qt是 半开源开发工具4、由一系列C函数和少量C +类构成5、实现了图像处理和计算机 很多通用算法视力1、QT是一个跨平台的 C+ GUI应用程序构架2、提供了一套丰富的窗 口部件集3、具有易于扩展、面向 对象、真正的组件编 程等特点，二系统框架（硬件）：单片机电路 小 车 底 座电源管理L298N电机驱动 USB摄像头 调试辅助 LCD数据显示调试辅助电池监控 USB摄像头（1）单片机电路：采用GEC-210芯片作为控制单元，GEC-210内部集成了一种PowerVRSGX540高性能图像索引芯片，可以支持3D图形的编排和高效运行，能够流畅地播放1080P超清视频，描述各种大小尺寸的清晰图像，同时GEC-210内部集成512MDDR2内存，可以无间断地运行Android,Linux和WinCE6等操作系统。（2）电源模块：由四个串联3.7V锂电池186506800mAh作为电源。当锂电池对小车进行充电时，电池正极上的锂离子经过电解液流动到电池的负极，到达负极后，锂离子会沉积在碳层的微孔中，锂离子积累的越多，充电容量更高，对小车的运行速度更有效率，同时保障小车其他零部件地正常运行。（3）L2980N电机驱动模块：采用两个H桥的高电压高电流全桥式的驱动器，它的最高工作电压可以达到46V，输出电流瞬间峰值可以达到3A，其中持续电流维持在2A，额定功率固定在25W。该芯片驱动小车上的两个步进电机，运用两个使能控制端控制逻辑电源输入端，使内部逻辑电路在低电压工作，确保逻辑电路不被破坏。（4）USB摄像头：通过USB摄像头扫描道路情况，将收集到的景象通过镜头生成图像投射在图像传感器表面上，图像经过A/D转换器转换成数字图像信号，再通过数字信号处理，并由USB接口将图像传送到LCD显示屏上处理，保留有用的数据，摒弃无用的数据，达到准确无误的效果。（5）LCD数据显示模块：通过USB摄像头扫描到的数据传输到LCD显示屏上，图像处理数据采用二值法的固定阀值法，提高了小车的路况探测能力和路径分析选择能力。（6）调试辅助模块：软硬件平台搭建好之后，通过c语言的编写，实现软硬结合。（7）小车底座：采用两轮木板底座，通过USB摄像头扫描路况得到的数据控制前两轮的方向变动，利用L298N电机驱动模块改变小车的前进速度。底座上面安装一个电源驱动模块，另外底座上边叠装一个GEC-210开发板和一个L298N电机驱动模块。二系统框架（软件）：直线的拟合筛选Uboot移植Kernel移植Rootfs移植移植opencv移植qt初始化Io驱动小车的控制两条车道线的控制方式一条车道线的控制方式没检测到车道线的控制方式平台平台层数据数据层分析分析层控制控制层图像处理：设置ROI礼帽操作小波滤波灰度处理大律法二值化中值滤波形态学腐蚀形态学开操作轮廓检测直线检测三各层工作内容：三系统要求：实时性：驾驶系统的数据处理必须与车辆的高速行驶同步进行；实用性：无人驾驶车在体积与成本等方面能够为普通汽车用户所接受；鲁棒性：无人驾驶车对不同的道路环境(如普通公路、市区标准公路、高速公路等)、车道线状况(如路面及车道线的颜色、纹理、宽度、动态随机障碍与车流等)，天气情况(如日照及景物阴影、阴天与雨雪黄昏与夜晚、等)均具有一定的处理能力。四车道线筛选方式：一、准确判断车道线。二、根据上一帧结果设置ROI进行跟踪减少计算。三、当没有检测到车道线时能进行容错处理。四、预览调镜头五控制方式：跟踪&容错处理：五控制方式：取两直取两直线底端的中点底端的中点为虚虚拟中中线；1 1、如果两直、如果两直线与此虚中与此虚中线的交点的交点在在150150与与250250之之间则直行。直行。2 2、如果左分区的、如果左分区的车道道线与其有交与其有交点点则右右转弯。弯。3 3、如果右分区与其有交点、如果右分区与其有交点则左左转弯弯1 1、左分区：、左分区：*与上与上边界的交点在界的交点在0-0-0.5width0.5width之之间直行直行*小与小与0 0左左转弯弯*大于大于0.5width0.5width右右转弯弯2 2、右分区、右分区*与上与上边界的交点界的交点0.5width-0.5width-widthwidth之之间直行直行*小与小与0.5width0.5width左左转弯弯*大于大于0width0width右右转弯弯1 1、如果、如果连续1010帧都没有都没有检测到到车道道线。*之前是右之前是右转现在是左在是左转*之前是左之前是左转现在是右在是右转*之前是直走之前是直走现在是左在是左转2 2、如果、如果连续2020帧没有没有检测到到*之前左之前左转现在右在右转两次两次*之前右之前右转现在左在左转两次两次3 3、大于、大于2020帧都没有都没有检测到到则认为没有跑道。没有跑道。*停止停止六主流程：流程图七IO驱动编写：流程图八小波变换：小波变换：把时间域与空间或空间域的信号变换到小波域的过程，相比较与傅立叶变换，小波域不仅有频率成分还具有空间成分。通过伸缩平移运算对信号逐步进行多分辨率的细化，最终达到低频处频率细分，高频处时间细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了傅立叶变换的困难问题，成为了继傅立叶变换以来在科学方法上的重大突破。八小波变换：效果图：九大律法二值化：大津法,简称otsu，由日本学者大津于1979年提出的一种自适应的阈值确定的方法。它基于图像的灰度特性把图像分为背景和目标。背景和目标之间的类间方差越大,说明形成图像的两部分的差别越大,当部分背景错分为目标或部分目标错分为背景都会导致两部分的差别变小。因此,要使目标与背景分割效果好就要使类间方差最大。九大律法二值化：二值化效果十Canny边缘检测：图像边缘是指图像局部区域的亮度变换最快的部分，该区域的灰度剖面一般可以看作是一个阶跃：既从一个灰度值相差较小的缓冲区域内快速变化到另一个灰度相差较大的灰度值主要步骤：1、消除噪声2、计算梯度幅值和方向3、非极大值抑制4、滞后阈值:十Canny边缘检测：效果图十一霍夫变换算法：Hough变换是从图像中识别几何形状的基本方法之一。Hough变换的实现原理是利用点与线的对偶性，将原始图像空间的给定的曲线通过曲线表达形式变为参数空间的一个点。这就实现了把原始图像中给定曲线的检测问题转化为寻找参数空间中的峰值问题。即把检测整体特征转化为检测局部特征。hough变换就是利用这个性质把x-y平面上的点对应到k-b平面上的线，最后通过数学统计帅选正确的线段。十一霍夫变换算法：效果图 十二效果展示：直行3形形态学后学后1原原4结果果2二二值化化 十二效果展示：左转弯3形形态学后学后1原原4结果果2二二值化化 十二效果展示：右转弯1原原4结果果3形形态学后学后2二二值化化1原原4结果果2二二值化化 十二效果展示：右转弯3形形态学后学后1原原4结果果2二二值化化 十二效果展示：左转弯3形形态学后学后1原原4结果果2二二值化化 十三不足与改进不足：不足：1、本设计在小车的控制算法不完善，需要设定固定值。2、小车跟踪算法不完善，只是进行车道线范围的跟踪，未对下一帧车道线进行跟踪预测3、受到光线的影响，在傍晚处理效果不理想。4、轮子频率不一样，不能带动小车稳定行驶。 十三不足与改进改改进进：1、改进算法，进行自适应阀值控制小车；2、使用卡尔曼滤波器对车道线进行跟踪预测；3、改进小波滤波器算法或者更换摄像头硬件ENDTHE谢谢谢谢！