大型实验的数据获取与监测系统朱科军中国科学院核探测技术与核电子学重点实验室中国科学院高能物理研究所1 1第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，2010年8月13日至18日内容数据获取在高能物理实验的位置数据获取的发展几个大型实验的数据获取探测器监测总结2 2第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日DAQ在高能物理实验的位置在高能物理实验的位置电子学：将探测器输出的信号放大、成形等处理后数字化，将信息暂存并作数据预处理；触发判选：选择满足物理条件的好事例，压缩本底事例；数据获取和在线分析：读出通过触发判选的好事例数据，以数字形式记录下来；给出反映探测器性能的各种统计图形以及所获事例的分类统计图形，监测探测器与电子学工作状态；离线数据分析：将在线机上记录下来的数据在离线机上进行分析和处理，把数据还原为粒子种类、能量、动量等物理量。 3 3第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日y/nyynn触发触发：在粉红色六边形的物体上标志触发：在粉红色六边形的物体上标志“y” 在其它物体上标志在其它物体上标志“n”nytrashSAVEDAQDAQ：保存标志：保存标志有有“y”的物体的物体加快运动速度就有可能出错加快运动速度就有可能出错触发和触发和DAQ的任务的任务只保留传送带上粉红色六边形的物体只保留传送带上粉红色六边形的物体4 4第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日y/nyynn触发vd判选时间判选时间必须检查移动的每个物体并打上标记必须检查移动的每个物体并打上标记- 在下一个物体到来之前给出判选结果在下一个物体到来之前给出判选结果- 判选时间判选时间 d/v- 判选时间越长出错的可能越小判选时间越长出错的可能越小5 5第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日y/nnnnn触发SAVEDAQnnntrash?触发效率触发效率不能在太多的粉红色六边形的物体上标志不能在太多的粉红色六边形的物体上标志 “n”6 6第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日y/nyyyy触发ytrashSAVEDAQy当超过当超过DAQ的处理能力后就会引起的处理能力后就会引起“死时间死时间”，同样会丢失被标记为同样会丢失被标记为“y”的物体，降低触发效率的物体，降低触发效率本底排除能力本底排除能力标志为标志为“y”的物体也不能超过的物体也不能超过DAQ的能力的能力7 7第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日y/nyynn触发nytrashSAVEDAQvd流水线工作方式流水线工作方式由多个人同时分步检查由多个人同时分步检查- 每个人的检查任务在每个人的检查任务在 d/v 内完成内完成- 可以完成更多的检查任务可以完成更多的检查任务- 出错的可能性更小出错的可能性更小8 8第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日DAQ发展史发展史六六/七十年代：基于七十年代：基于NIM的的FEE，采用，采用CAMAC总线读出；缺总线读出；缺失并行性；失并行性；KB/s的数据处理能力的数据处理能力八十年代：基于八十年代：基于VME/Fastbus，采用树状结构，各结点有独立，采用树状结构，各结点有独立的处理器；有一定的并行性，多级触发；的处理器；有一定的并行性，多级触发；MB/s的数据处理能的数据处理能力力九十年代九十年代/21世纪：世纪：9U VME/ASIC；点对点高速数据通讯；点对点高速数据通讯/基基于以太网交换机互连于以太网交换机互连/PC集群集群/Linux；并行处理；数据驱动；并行处理；数据驱动；GB/s的数据处理能力的数据处理能力未来：未来：ATCA/ASIC；波形数字化；软件触发；波形数字化；软件触发9 9第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日DAQ控制室控制室Digital display, no terminalISR. 1970P-aP. 1980A lot of persons in front of one screenLEP. 1990A lot of screens in front of one personLHC 200xThe person is onto the screen1010第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日ALICE DAQ25 GB/s Readout bandwidth2.5 GB/s Event Building bandwidth1.25 GB/s storage bandwidth 1 PB of data every year400+ optical links300+ PCs60 TB transient storage1111第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日LHCb DAQ1212第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日CMS DAQ BaselineCollision rate40 MHzLevel-1 Maximum trigger rate100 kHzAverage event size 1 MbyteEvent Flow Control 106 Mssg/s 50 kHz at startup (DAQ staging)No. of In-Out units 512Readout network bandwidth 1 Terabit/s Event filter computing power 106 SI95Data production Tbyte/dayNo. of PC motherboards Thousands 6 105 at startup1313第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日ATLAS DAQ1414第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日BESIII DAQ1515第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日DAQ系统部署Control PCs3 Blade centers5 ServersRouter4 SwitchesUPS1616第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日ILC DAQ conceptual (GLD) ArchitectureVFDVTXECALTPCHCALMUONPPPPPPPPPPPPPPPPData Steams Logger and Mass Storage Event buildingNetwork10-20 Gbit/secProcessor farm (one bunch train per processor)Event manager & ControlDetector Buffering (per bunch train in Mbytes/BT = 140 MB/s)LinksSelect Bunch Of Interest (200 Hz)SiTMachine1 G2.6 M5 M5K4568 K12K9215K10k5MB1MB110 MB20 MB3 MB1 MB1GB/s = 100 PB/year1717第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日探测器监测和控制系统探测器监测和控制系统保证探测器的安全稳定运行气体系统、冷却系统、机箱控制、高低压控制、安全联锁温湿度测量电子学的刻度可扩展，分布式1818第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日BESIII探测器控制系统探测器控制系统1919第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日总结基于网络的数据传输/事例组装采用商业产品，如PC、以太网交换机数据缓冲，减少死时间在FPGA上实现更加复杂的算法触发和DAQ的数据流逐渐合并在一起在线运行部分离线算法高能物理实验数据获取技术的发展与计算机和网络技术的发展密不可分2020第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日谢谢2121第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，第十五届全国核电子学与核探测技术学术年会，贵州省贵阳市，20102010年年8 8月月1313日至日至1818日日