最新卓越管理方案您可自由编辑学校代码：10491 研究生学号：120080963 中国地质大学硕士学位论文基于Linux下的网络数据包捕获及 WebMail报文监测与重组技术的研究硕 士 生：余波学科专业：计算机科学与技术指导教师：罗忠文 教授二一一年五月A Dissertation Submitted to China Universityof Geosciences for the Master Degree of EngineeringStudy Of Linux_based Network Packet CaputuringAnd WebMail Monitoring And DefragmentationMaster Candidate：Yu BoMajor：Computer Science & TechnologySupervisor：Luo Zhongwen ProfessorChina University of GeosciencesWuhan 430074 P. R. China中国地质大学（武汉）研究生学位论文原创性声明本人郑重声明：本人所呈交的硕士学位论文基于Linux下的网络数据包捕获及 WebMail报文监测与重组技术的研究，是本人在导师罗忠文教授的指导下，在中国地质大学（武汉）攻读硕士学位期间独立进行研究工作所取得的成果。论文中除已注明部分外不包含他人已发表或撰写过的研究成果，对论文的完成提供过帮助的有关人员已在文中说明并致以谢意。本人所呈交的硕士学位论文没有违反学术道德和学术规范，没有侵权行为，并愿意承担由此而产生的法律责任和法律后果。学位论文作者（签字）： 日期：年月日作者简介余波，男，1979年8月生于湖北襄阳，1998年9月至2002年7月就读于哈尔滨理工大学，本科专业是计算机及应用。2008年9月考取中国地质大学（武汉）信息工程学院计算机科学与技术专业的硕士研究生，主要研究方向为计算机网络。在攻读硕士期间，完成了专业规定的硕士英语（口语、阅读、听力、写作）、自然辩证法、计算几何及现代图形学、计算机应用数学、算法设计与分析等共计11门学位课程，同时学习了空间数据库、Windows组件技术与编程、高级管理学等共计6门选修课程，修满29.5个学分，成绩优秀，学位课平均分84，选修课平均分80。本人于2009年12月27日进入上海白虹武汉研发中心实习。参与了该公司网络信息取证系统的研究和开发。主要从事底层协议解析工作，负责抓取网络数据包，进行协议解析，获取WebMail的详细的通讯内容，供应用查询。基于Linux下的网络数据包捕获及 WebMail报文监测与重组技术的研究硕士生：余波 导师：罗忠文摘 要在当今这个信息化的社会，互联网在人们的生活和工作中起着越来越重要的作用。而利用网络进行的犯罪活动也日益增多，资料泄密和非法信息的传播就是其中的一种。电子邮件作为网络上一种广泛应用的信息交换工具，也成为了资料泄密和非法信息传播的一种渠道。为了保障信息的安全，并对犯罪活动进行有效监控和取证，迫切需要对特定对象的网络的内容进行监控。本文正是在这一背景下，着重研究了对WebMail的内容监控。本文围绕WebMail网络内容监控系统的设计与实现，研究了数据包的捕获原理，详细说明了不同网络环境下的监听方式，介绍了Linux下伯克利包过滤(BPF)机制和常用的数据包捕获函数库Libpcap，针对Libpcap在高速网络环境下的不足，提出了PF_RING这一解决方案。对数据包分析所需要的协议知识进行了详细的介绍，介绍了TCP/IP协议族的基本原理，和帧数据的各个协议头部的数据结构，在应用层着重探讨了WebMail的应用层协议HTTP。并以此为基础，简介了数据包的协议分析技术。针对WebMail内容监控的特点，介绍了监控系统的主体程序框架，详细说明了程序实现中的几个技术要点：HTTP报文重组、系统内存回收、HTTP报文解压缩、利用正则表达式和相应的函数进行内容的提取以及消息体的编码转换等。本系统虽然主要是针对WebMail的内容监控，但系统具有良好的扩展性，可以根据不同的需要加入其它应用层协议分析模块。关键词：网络监控；WebMail；Libpcap；PF_RING; Linux平台Study Of Linux_based Network Packet CaputuringAnd WebMail Monitoring And Recombination Master Candidate：Yu Bo Supervisor：Luo ZhongwenABSTRACTIn the modern information society, the Internet plays a more and more important role in peoples life. But criminal activities with the internet are increasing, for example data leakage and illegal dissemination of information. Email， as a widely used network information exchange tool, also becomes a channel to data leakage and illegal dissemination of information. In order to ensure the security of information and monitor the criminal activities via the network for computer forensics, it is urgent to monitor network flow content to certain object. This paper，in this context, detailed discusses the WebMail content monitoring.This thesis designs and implements the WebMail monitoring system. It describes the the principle of packet capturing, details the packet capturing way under different network environment, introduces the berkeley packet filter (BPF) mechanism on the linux operation system, then illustrates the common packet capturing function library Libpcap. As Libpcap does not work well under high traffic network, this paper presents the solution of PF_RING.The protocols needed for packet analysis are introduced, which includes the basic principles of TCP / IP protocol family and the data structures for the protocol headset used in the network frame data. The thesis talks about a lot the HTTP protocol which is a application layer protocol, as the WebMail application is bases on the HTTP protocol. The protocol analysis technique is introduced on the basis of the protocol knowledge.According to the characteristics of WebMail content monitoring, this thesis gives the main program frame for the monitoring system. Then it discusses the important parts for the implementation, such as HTTP packets recombination, system memory recall, HTTP message decompression, getting the content with regular expression and the corresponding function library, and the code conversion of message body, etc.Although this system is mainly aimed at WebMail content monitoring, the system has good expansibility and can extended the application function by adding others application protocol analysis modules.Key Words: network monitoring; WebMail; Libpcap; PF_RING; Linux platform目 录第一章 绪论11.1研究背景11.2研究内容2第二章 数据包的捕获32.1数据包的捕获原理32.2数据包的捕获方式42.3 数据包捕获机制102.4 数据包捕获函数库142.4.1 Libpcap函数库152.4.2 PF_RING202.5 本章小结21第三章 网络协议分析223.1 TCP/IP基本原理223.1.1基本原理概述223.1.2 以太网首部263.1.3 IP首部263.1.4 TCP首部273.1.5 UDP首部293.1.6 HTTP应用协议303.2协议分析技术323.3本章小结33第四章 数据截获和分析模块的实现344.1 主体程序设计344.2 程序实现中的几个要点364.2.1 HTTP报文重组364.2.2 内存回收394.2.3 HTTP报文解压缩404.2.4 邮件内容的提取414.2.5 消息体的编码转换424.3 功能扩展444.3.1 功能延伸444.3.2 协议扩展454.4 本章小结45第五章 总结与展望465.1 总结465.2