东北大学秦皇岛分校第十二届“挑战杯”大学生课外学术科技作品竞赛参赛作品第十二届“东软杯”课外学术科技作品竞赛多功能无线语音点菜系统研究报告多功能无线语音点菜系统摘要： 多功能语音识别点菜系统是一款高科技产品，主要用到了语音识别芯片LD3320、NRF24L01无线传输芯片、MSP430超低功耗单片机、语音播放芯片ISD4003、12864液晶显示屏和VC串口编程等主要功能模块。与现有市场的点菜机相比，用语音识别系统代替掌上PDA，成本更加低廉、技术更加先进实用、做到无服务员的自助点菜方式，真正意义上的做到降低劳动力成本，同时大大增强了点菜过程中的趣味性，为餐馆增加了一大吸引人的亮点，是语音识别技术的一次成功应用。关键词：语音识别 点菜机 无线传输 单片机一、引言中国餐饮业的快速增长让我们看到了一个新的市场机遇点菜机市场。但从市场占有率来看，现今的点菜机市场还处于一个起步阶段。市面上的点菜机品牌各异，质量参差不齐，在这个领域里，没有一个稳健的品牌产品。从点菜机的推广来看，近几年点菜机市场已经开始起步，在一些一线城市，如北京、上海、青岛、沈阳、广东等，城市里的大中型餐厅酒店已经陆续开始出现用点菜机点菜的风景。业内人士都表示，点菜机市场是一个很有潜力的市场。北京华夏民生公司曾预言，点菜机市场在未来几年里将会以井喷式向前发展。由此我们可以推想，伴随餐饮业的蓬勃发展，在以后有餐厅的地方就会有点菜机。二、研究目的为了克服传统点菜方式费人费力的缺点，最大化的提高餐厅的经营效率，以最低成本获得最高利润，我们改进了现有点菜机高成本的PDA手持设备模式，加入语音识别模块，做到消费者自助点菜，无服务员化，最大程度的减少劳动力成本，提高顾客就餐速率。三、基本思路在现有点菜机基础上，以话筒加语音识别模块代替掌上PDA，再将顾客点的菜单以无线电信号方式传送到收银台或后厨的计算机主机进行处理。四、创新点（1）智能性：系统在从语音识别到菜单输出的整个流程中，达到了全面智能化。顾客仅需根据点菜机的语音提示，对着话筒说出自己所需要的菜色，系统便能自动识别，进而将向厨房发出点菜清单，方便易用，同时节约顾客时间，保证每个顾客都能点上菜，真正做到点菜一体化。相对于餐厅而言，本系统同时提供智能化的每月每日的消费统计，每月的销售曲线、最受欢迎的菜色、近期需要购买的材料等等，为餐厅老板提供最及时的决策支持。（2）准确性：本多功能语音识别点菜系统，采用ICRoute公司的LD3320智能语音识别芯片，非特定人语音识别率达到95%。为了提高整个点菜系统的准确度，保证消费者能够在整个点菜过程中清晰地了解自己的消费情况，我们在点菜系统软件方面特别设计了查询功能，让消费者明明白白消费。（3）实用性：根据以上所谈到的准确性和智能性等功能，本款点菜机具有很好的实用性。整个实际运用过程中操作简单，消费者只需要根据语音提示操作即可，很容易上手，不需要专门的学习。同时，餐馆在整个点菜过程中，随时随地都能够通过服务台主机主控整个大厅的点菜消费情况，人性化的界面设计，能够简单方便的查询到点菜相关信息。（4）节约性：本多功能语音识别点菜系统的应用，不仅大大减少了服务劳动力，减轻了餐馆劳动力成本，而且由于点菜机使用的主控MCU是MSP430超低功耗单片机,在顾客点菜的间歇时间处于低功耗状态，大大减少了点菜机本身的耗电量，同时也大大的减少了点餐过程中纸张的应用，真真正正地做到了绿色消费，低碳节能的目的。（5）趣味性：本多功能语音识别点菜系统着实做到了让消费者自助服务语音点菜，在识别出菜名后,点菜机会自动将顾客刚才点过的菜名播放一遍，同时以文字的形式将菜名在液晶屏上显示出来，以方便不同体质的顾客（正常人、聋哑人或盲人）确认菜名是否合意，这样就大大增加了点菜过程中的趣味性，提供了人性化服务，为餐馆增加了一大吸引人的亮点。五、技术关键和主要技术指标1. 技术关键：非特定人语音识别无线电传输技术实时语音播放汉字显示系统图形界面VC+串口编程集群控制2. 主要技术指标：软件操作系统：Windows XP Windows VistaWindows 7接收端电源电压：直流5V和3V发射端电源电压：直流5V样机发射功率：0dbm（这是最大功率）样机发射频率：2.4GHz样机发射范围：3000米（空旷场地）数据传输速率：1-2MHz可调语音识别模块工作电压：(VDD: for internal core) 3.3V六、作品的科学性和先进性是语音识别的一项成功而且可行的实际应用，是在餐饮实际应用中更新换旧的科技突破，是一个能够产生实际经济效益的科技发明制作。七、总体设计本系统主要由智能语音点菜终端机、数据中转机（对于大型饭店，可用通过本模块进行扩容从而提高系统的可扩展性；对于中小型饭店可以适当的省略本模块从而降低设计成本和使用成本）、数据接收机、前台主机控制中心、前台打印机五大部分组成。主要运用了语音识别和播放技术，NRF无线通信技术，C+串口编程技术，数据库应用技术，人机交互技术等关键技术。7.1 系统构架点菜终端机n23点菜终端机n22点菜终端机n21点菜终端机n2m数据中转机2 点菜终端机n13点菜终端机n12点菜终端机n11点菜终端机n1m数据中转机1前台主机数据接收机前台打印机点菜终端机n33点菜终端机n32点菜终端机n31点菜终端机n3m数据中转机n7.2 功能简介（1）智能语音点菜终端机的主要功能a识别并存储客人的菜品信息；b. 向客人播放并显示相关的菜品信息；c.发送客人所需的菜品信息；d.客人可以随时地查询自己的消费情况。（2）数据中转机的主要功能负责终端点菜机和前端数据接收机之间的数据转发，而且可以根据情况选择是否需要该模块。（3）数据接收机的主要功能a.接收客人传送过来的菜品信息和其他请求信息,并将数据传送给主机电脑；b.将电脑主机发送过来的应答信息发送给客人。（4）前台主机控制中心的主要功能a.接收并处理从客人那边传送过来的相关信息；b.对所点菜单进行增删菜品的处理；c.提供不同级别（如经理、普通员工）的分类查询功能；d.工作人员通过前台计算机查询修改数据库里面的菜品信息；e.工作人员可以通过软件到查询餐厅的销售业绩、员工信息；f.向厨房打印机发出确认菜品做菜信息。 g.结账打印凭条的功能。（5）前端打印机的功能 打印输出相关的客人所需菜品信息，以供厨房使用。7.3 系统流程图图1 主函数流程图图2 中断函数流程图7.4 使用方法语音识别点菜机的使用说明如下所示：步骤一：每个餐桌旁设有无线点菜机一个，接通点菜机电源后，在点菜机播放完提示音“请按开始键，开始语音点菜”后，顾客只需按下“开始点菜”按钮，然后对着话筒说出自己想点的菜名、份数即可。步骤二：顾客的语音信息将会被点菜机中的语音识别模块所接收并加以识别，识别出菜名之后点菜机会立即自动播放并显示相关的菜名以供顾客确认，如果符合顾客点的菜名，顾客可以继续点菜，直到点完为止。如果顾客想取消某个已点的菜，可以按“上”或“下”按键将光标移动到要删除的菜名处，然后按“-”按钮取消相关菜名。步骤三：顾客按“上”、“下”按键可以浏览已经点过的菜单。步骤四：当顾客点完菜之后，按一下“发送”按键，此时点菜机会提示顾客确认是否真的已经点菜完毕，如果确实已经点菜完毕，则再次按一下“发送”按键，此时顾客所点的菜单将会以无线电信号的形式传到前台的接收机，接收机再将菜单信息传递给电脑，由电脑中的点菜系统专用软件进行管理输出。当前台工作人员确认以后，点菜信息将直接传到厨房的打印输出设备，并以小条的形式打印出来，厨师工作人员便可根据打印出的小条上的菜单做菜。而前台电脑中的保留账单将在顾客支付完毕后，排入历史销售信息，供经营者查询近期的营业额详单和销售曲线，为未来的库存采购提出科学的参考意见。八、点菜机各个硬件模块简介语音识别点菜机硬件连接原理框图如下图所示：8.1 语音模块8.1.1 LD3320语音识别模块8.1.1.1 LD3320 芯片简介 语音识别技术是本系统最为关键的技术之一。本模块采用的是“语音识别”专用芯片LD3320 芯片。本芯片在设计上注重节能与高效，不需要外接任何的辅助芯片，如Flash、RAM 等，直接集成在现有的产品中即可以实现语音识别/声控/人机对话功能。LD3320提供的语音识别技术，是基于“关键词语列表”的识别技术。并且，识别的“关键词语列表”是可以任意动态编辑的。下图是LD3320的引脚图：图1 LD3320引脚图8.1.1.2 参数特性内置单声道 mono 16-bit A/D 模数转换内置双声道 stereo 16-bit D/A 数模转换内置20mW 双声道耳机放大器输出内置550mW 单声道扬声器放大器输出支持并行接口或者串行SPI 接口内置锁相电路PLL，输入主控时钟频率为2MHz - 34MHz工作电压：(VDD: for internal core) 3.3V48pin 的QFN 7*7 标准封装省电模式耗电：1uA8.1.1.3 语音识别原理语音识别ASR 技术，是基于“关键词语列表识别”的技术。只需要设定好要识别的关键词语列表，并把这些关键词语以字符的形式传送到LD3320 内部，就可以对用户说出的关键词语进行识别，不需要用户作任何地录音训练。不论这个列表的条目内容是什么，只需要用户设置相关的寄存器，就可以把相应的待识别条目内容以字符形式传递给识别引擎。识别引擎不关心关键词语列表中的关键词语的内容，可以是命令、人名、歌曲名字、操作指令等等任何的汉字字符串。语音识别芯片完成的工作就是：采集MIC输入的声音进行频谱分析提取语音特征与关键词语列表中的关键词语进行对比匹配找出得分最高的关键词语作为识别结果输出识别结果。以上过程的原理框图如下图所示：LD3320进行语音识别的原理框图注意：（1）每次识别最多可以设置50 项候选识别句，每个识别句可以是单字，词组或短句，长度为不超过10 个汉字或者79 个字节的拼音串。（2）列表的规则是，每个识别条目对应一个特定的编号（1 个字节），不同的识别条目的编号可以相同，而且不用连续。本芯片最多支持50个识别条目，每个识别条目是标准普通话的汉语拼音（小写），每2个字（汉语拼音）之间用一个空格间隔。（3）LD3320各个控制端口要加上拉电阻，但是模拟串口的时钟输入信号SDCK（P2口）和CLK二者都不能接上拉电阻。8.1.1.4 语音识别程序流程图8.1.1.5 实现功能语音识别模块实现的主要功能是：作为顾客与饭店前台的交互平台，语音识别模块把顾客说出的菜名内容，通过频谱转换为语音特征，再跟识别列表条目进行一一匹配，最优匹配的一个菜名将作为识别结果显示在智能点菜机的LCD上，同时播放该菜名。8.1.2 ISD4003语音播放模块8.1.2.1 芯片简介本设计的放音模块使用的是ISD4003语音芯片，该芯片可以方便地嵌入到单片机系统中，实现语音的录制、播放等功能。ISD4003 系列单片能够录放