2-2 定量分析中的数据处理定量分析中的数据处理及评价及评价1、数据处理中的几个术语及其意义、数据处理中的几个术语及其意义在在实际实际的分析测试工作中，测试所得的的分析测试工作中，测试所得的数据总是数据总是参差不齐，参差不齐，误差是客观存在的。误差是客观存在的。如何对所得的数据进行处理和评价，找如何对所得的数据进行处理和评价，找出其规律，判断分析结果的可靠性，并出其规律，判断分析结果的可靠性，并用于指导实践。用于指导实践。数理统计法数理统计法是处理与评是处理与评价数据的科学方法。先介绍有关的的几价数据的科学方法。先介绍有关的的几个术语：个术语：（1）总体、样本和个体）总体、样本和个体（2）平均值和中位数）平均值和中位数（3）精密度的表示方法）精密度的表示方法 （1）总体、样本、个体和样本容量）总体、样本、个体和样本容量总体：总体：研究对象的研究对象的全体全体称为总体（或母称为总体（或母体）；体）；样本：样本：（或子样）：自总体中（或子样）：自总体中随机抽出随机抽出的的 一部分一部分样品称为样本（或子样）；样品称为样本（或子样）；个体：个体：组成总体的每一个单元称之为个组成总体的每一个单元称之为个体；体；样本容量：样本容量：样本中所含样本中所含个体的数目个体的数目称为称为样本大小（样本大小（或样本容量或样本容量）举例说明举例说明对某对某一批软锰矿中二氧化锰含量的测定一批软锰矿中二氧化锰含量的测定。分析。分析人员按分析标准规定，对物料人员按分析标准规定，对物料进行进行处理（取样、处理（取样、粉碎、过筛和缩分等粉碎、过筛和缩分等前处理前处理的过程），最后的过程），最后得得到约到约500g供供分析用的试样，这就是分析用的试样，这就是总体总体。从。从500g的试样（总体）中的试样（总体）中取取12份份软锰矿软锰矿样品样品来进来进行分析，得到行分析，得到12个测定值个测定值，这一组测定值（，这一组测定值（12个数据个数据）称为本软锰矿试样总体的）称为本软锰矿试样总体的随机样本随机样本，样本容量为样本容量为12。由于不可能对总体中的每一个个体都进行研究，由于不可能对总体中的每一个个体都进行研究，应用统计学的方法对样本（有限的个体）的研究应用统计学的方法对样本（有限的个体）的研究来研究总体。如上例中，通过来研究总体。如上例中，通过12次的测定的数值，次的测定的数值，来确定该批软锰矿中二氧化锰的含量。来确定该批软锰矿中二氧化锰的含量。（2 ）平均值和中位数）平均值和中位数平均值平均值总体平均值总体平均值：当测量次数和测量数据：当测量次数和测量数据无无限多时限多时，其，其平均值称为总体平均值或均平均值称为总体平均值或均值，即为真值值，即为真值。真真值值：样样本算本算术术平均平均值值（也称平均也称平均值值、均、均值值,测测定有限定有限次次，在分析在分析测试测试工作中一般工作中一般 n20），将所得将所得数据的数据的总总和除于和除于测测定次数而得：定次数而得：中位数中位数中位数中位数：位于一系列按递增或递减排列数据：位于一系列按递增或递减排列数据中中间的数据称为中位数。间的数据称为中位数。（1）数据的数目数据的数目n为奇数为奇数时，居于中间的数值时，居于中间的数值仅仅一个一个；（2）数据的数目数据的数目n为偶数为偶数时，居于中间的数值时，居于中间的数值有有两个两个，此时，此时中位数为它们的平均值中位数为它们的平均值；（3）采用中位数的采用中位数的优点优点是：计算简便，它与是：计算简便，它与两端极值的变化无关，当测量次数较少、而且两端极值的变化无关，当测量次数较少、而且又有大误差出现，数据处理有困难时，采用中又有大误差出现，数据处理有困难时，采用中位数较好。位数较好。小结：平均值和中位数表示数据的集中趋势小结：平均值和中位数表示数据的集中趋势,即即数据集中在平均值或中位数附近。数据集中在平均值或中位数附近。（3）精密度的表示法）精密度的表示法在在误差概念的讨论中己知误差概念的讨论中己知,可用误差和偏差来可用误差和偏差来表示测定数据的准确度和精密度。而表示测定数据的准确度和精密度。而精密度是精密度是对有限次测定数据的离散程度。对有限次测定数据的离散程度。d、 、 、（极差）和公差来表示。（极差）和公差来表示。根据对数据处理的要求不同，数据的根据对数据处理的要求不同，数据的精密度还精密度还常用以下常用以下几种方法表示。几种方法表示。方差方差总体方差总体方差：测定值与真值的差的平方和测定值与真值的差的平方和除以测定次数除以测定次数n。样本方差样本方差：标准差标准差标准差标准差：方差的平方根为标准偏差方差的平方根为标准偏差。总体的标准差也称总体的标准差也称标准误差，对真值言。标准误差，对真值言。由于真值不知道，所以标准误差少用。由于真值不知道，所以标准误差少用。样本标准差（标准偏差）与变异系数样本标准差（标准偏差）与变异系数样本标准差也称为样本标准差也称为标准偏差标准偏差：对：对平均值而言平均值而言。 相对标准偏差也相对标准偏差也称变异系数。称变异系数。在在要求较严格的测定数据时，一般用变异系数要求较严格的测定数据时，一般用变异系数来表示误差。来表示误差。标准误差与标准偏差的特点标准误差与标准偏差的特点1.标准误差相对标准误差相对真值真值而言，测定次而言，测定次 数为数为n2.标准偏差相对标准偏差相对平均值平均值而言，计算公式中而言，计算公式中的的n-1称为自由度（通俗的理解可为：做称为自由度（通俗的理解可为：做了了n次实验，有次实验，有n-1次可以做对比）。次可以做对比）。精密度表示法小结精密度表示法小结测定结果数据精密度的表示法有：测定结果数据精密度的表示法有：偏差偏差（d）平均偏差平均偏差（ ）相对平均偏差相对平均偏差（ 即精密度）即精密度）标准偏差标准偏差（s）相对标准偏差相对标准偏差（ 即即 ：变异系数）：变异系数）工业生产中还常用工业生产中还常用极差极差和和公差公差来表示来表示,具体采用哪具体采用哪一种表示法、由一种表示法、由分析结果分析结果的的要求决定要求决定。 另外：表示误差的数值时，用另外：表示误差的数值时，用1-2位有效数字位有效数字即可。即可。例例用用标准偏差标准偏差比用比用平均偏差平均偏差更能显示数据的更能显示数据的离散性离散性，因而更科学更准确。因而更科学更准确。例例：有有两两位位分分析析人人员员对对同同一一样样品品进进行行分分析析，都都平平行行做做了了8 8次次，得得到到以以下下两两组组数数据据，计计算算两两组组数数据据的平均偏差（的平均偏差（ ）与标准偏差与标准偏差（s s）：）： 1 ： 0.11, -0.73, 0.24, 0.51, -0.14, 0.00, 0.30, -0.21, n= 8 =0.28 s1=0.38 2 ：0.18， 0.26，-0.25，-0.37， 0.32 ， -0.28，0.31， -0.27 n=8 =0.28 s2=0.29 = , s1s22. 随机误差的分布随机误差的分布随机误差（偶然误差）随机误差（偶然误差）是由一些偶然因是由一些偶然因素造成的误差，它的大小和方向难以估素造成的误差，它的大小和方向难以估计，似乎没有什么规律，但如果用计，似乎没有什么规律，但如果用统计统计学学方法处理，就会发现它服从一定的统方法处理，就会发现它服从一定的统计规律。为了计规律。为了弄清随机误差的统计规律，弄清随机误差的统计规律，下面我们来讨论以下两个问题。下面我们来讨论以下两个问题。 （1）频数分布）频数分布 （2）正态分布）正态分布测定数据表测定数据表 有一矿石试样，在相同条件下用吸光光度法测定其中铜的百有一矿石试样，在相同条件下用吸光光度法测定其中铜的百分含量，共有分含量，共有100个测量值。这些测量值属随机变量个测量值。这些测量值属随机变量1.36 1.49 1.43 1.41 1.37 1.40 1.32 1.42 1.47 1.391.41 1.36 1.40 1.34 1.42 1.42 1.45 1.35 1.42 1.391.44 1.42 1.39 1.42 1.42 1.30 1.34 1.42 1.37 1.361.37 1.34 1.37 1.46 1.44 1.45 1.32 1.48 1.40 1.451.39 1.46 1.39 1.53 1.36 1.48 1.40 1.39 1.38 1.401.46 1.45 1.50 1.43 1.45 1.43 1.41 1.48 1.39 1.451.37 1.46 1.39 1.45 1.31 1.41 1.44 1.44 1.42 1.471.35 1.36 1.39 1.40 1.38 1.35 1.42 1.43 1.42 1.421.42 1.40 1.41 1.37 1.46 1.36 1.37 1.27 1.47 1.381.42 1.34 1.43 1.42 1.41 1.41 1.44 1.48 1.55 1.37频数分布对上表对上表100个数据的分析：个数据的分析：1.有有两个极值，最小两个极值，最小为为1.27，最大最大为为1.55。2.R（极值）极值）=1.55-1.27=0.280.30（方便（方便处理）处理）3.把数据分为把数据分为10组组则组距为则组距为0.03，将各测，将各测量值对号编入。量值对号编入。4.制频数分布表。制频数分布表。 分组频数相对频数1.2651.29510.011.2951.32540.041.3251.35570.071.3551.385170.171.3851.415240.241.4151.445240.241.4451.475150.151.4751.50560.061.5051.53510.011.5351.56510.011001频数分布表（图表）数据频数分布规律数据频数分布规律由以上数据，我们可以发现位于中由以上数据，我们可以发现位于中间数值间数值1.361.44之间的数据多一些之间的数据多一些，其他范围的数据少一些其他范围的数据少一些，小于小于1.27或或大于大于1.55的数据更少一些。这就是说的数据更少一些。这就是说测量数据中有明显的集中趋势。测测量数据中有明显的集中趋势。测量数据的这种既分散又集中的特性，量数据的这种既分散又集中的特性，就是其规律性。就是其规律性。频数频数分布分布图图在在位于中间数位于中间数值值1.361.44之之间的数据多一间的数据多一些些，其他范围其他范围的数据少一些的数据少一些，小于小于1.27或大于或大于1.55的数据更少的数据更少一些。一些。测量数测量数据有明显的集据有明显的集中趋势。中趋势。2.随机误差的正态分布随机误差的正态分布定量分析的随机测量值或偶然误差的分布定量分析的随机测量值或偶然误差的分布都符合都符合正态分布规律正态分布规律，正态分布就是数学，正态分布就是数学上的上的高斯分布，可用高斯方程描述：高斯分布，可用高斯方程描述： X 是随机测量是随机测量值，值，y 称为概率密度。称为概率密度。 高斯高斯方程曲线方程曲线（1）分析测定中的随机误分析测定中的随机误差都遵从差都遵从正态分布正态分布，从曲线中可以看到：从曲线中可以看到：1.偏差大小相等，符号偏差大小相等，符号相反的测定值出现的相反的测定值出现的概率大致相等概率大致相等;2.偏差小的测定值比偏偏差小的测定值比偏差大的测定值出现的差大的测定值出现的概率多、偏差很大的概率多、偏差很大的测定值出现的概率极测定值出现的概率极小小;3.曲线呈两头小，中间曲线呈两头小，中间大的势态。大的势态。高斯高斯方程曲线（方程曲线（2）曲线中的曲线中的两个参数两个参数：（真真值值） 和和 （标标准差）准差），当，当确确定后定后，则则：1. 越小，落在越小，落在附近的附近的概率越大，概率越大，测测定定值值的的精密度越好，曲精密度越好，曲线线半半宽宽度越小度越小;2.相反，相反，则则数据离散性数据离散性更大更大;高斯方程曲线（3）由于正态分布方程由于正态分布方程中中和和都是变量都是变量，计算不便，计算不便，采用采用变量转换变量转换的办法将的办法将平均值的偏差平均值的偏差（x- ）以）以为为单单位，令：位，令：则原高斯方程转换成只有一个变量则原高斯方程转换成只有一个变量 的方程，即的方程，即此时变为：此时变为：0和和1的正态分布曲线，称为标的正态分布曲线，称为标准正态分布曲线准正态分布曲线，以，以N（0，1）表示，其概率就表示，其概率就容易求出。人们经过计算并制成了各种形式的正容易求出。人们经过计算并制成了各种形式的正态分布概率表供使用者查阅。态分布概率表供使用者查阅。3. 少量数据的统计处理少量数据的统计处理分析化学中通过样本研究总体分析化学中通过样本研究总体,由于由于测量测量次数有限次数有限, 和和无从无从知道。如何处理和知道。如何处理和评价有限次数测定结果的数据评价有限次数测定结果的数据?而对多次而对多次测定的结果平均值又如何评价测定的结果平均值又如何评价?在前面己在前面己讨论的基础上，讨论下面的问题：讨论的基础上，讨论下面的问题：3. 少量数据的统计处理分析化学中通过样本研究总体，由于分析化学中通过样本研究总体，由于测量次数有限，测量次数有限， 和和无从无从知道。知道。英国化学家英国化学家Gosset提出提出用用t分布解分布解决了这一问题。决了这一问题。 (1) t分布分布和和t分布曲线统计量分布曲线统计量t，定义为：定义为： 称为称为平均值的标准偏差平均值的标准偏差, 与与样本容量样本容量n有关，即：有关，即：图115页图平均值标准偏差与测量次数的关系平均值标准偏差与测量次数的关系3. 少量数据的统计处理t 分布曲线与横坐标分布曲线与横坐标t某区间所夹面积，与正态某区间所夹面积，与正态分布曲线一样，表示测量值落在该区间的概率。分布曲线一样，表示测量值落在该区间的概率。显然，若选定某一概率和一定的自由度显然，若选定某一概率和一定的自由度f，则则 t 值也就一定。值也就一定。表表2-2是最常用的是最常用的 t 值值,表中的表中的 P 称为置信度，称为置信度，表示随机测定值落在表示随机测定值落在(ts)区间内的概率，区间内的概率，称为显著性水准，称为显著性水准，用用 a 表示，表示，即即a=1-P。应用应用表时须加脚注，注明显著性水准和自由度，例表时须加脚注，注明显著性水准和自由度，例如：如：t0.05, 9是指置信度为是指置信度为95%（显著性水准为（显著性水准为0.05），自由度为），自由度为9时的时的 t 值。值。3.表2-2 值(双边)f=n-1 置信度P,显著性水准 f=n-1置信度P,显著性水准P=0.90=0 .10P=0.95=0.05P=0.99 =0.01P=0.90=0 .10P=0.95=0.05P=0.99=0.01 16.3112.17 63.66 71.902.363.50 22.924.309.92 81.862.313.36 32.353.185.84 91.832.263.25 42.132.784.60 10 1.812.233.17 52.022.574.03 20 1.722.092.84 61.942.453.71 1.641.962.58（2）平均值的置信区间用样本研究总体时，样本均值x并不等于总体均值，但可以肯定，只要消除了系统误差，在某一置信度下，一定存在着一个以样本均值x为中心，包括总体均值在内的某一范围,称为平均值的置信区间.由t的定义式得: 式中 称为置信区间,其大小取决于测定的标准偏差测定次数和置信度的选择,置信区间愈小,平均值x愈接近总体平均值.3. 少量数据的统计处理(3)可疑数据的取舍 一组数据中,可能有个别数据于其他数据差异较大,称为可疑值.除确定是由于过失所造成的可疑值可以舍弃外,可疑值还是要保留,应用统计学的方法来判断,不能任凭主观意愿决定取舍.常用的可疑值取舍方法有:4 法Q检验法格鲁布斯法4 法若一总体服从正态分布,x- 大于 的测量值出现的概率很小,其误差往往不是随机误差所致,应舍去,当然,其条件是在校正了系统误差之后.又总体的标准偏差于总体平均偏差 两者的关系是 ,用样本平均偏差 代替,则 ,这样, 便可将可疑值与 之差是否大于 作为可疑值取舍的根据. 应用 法时,可先把可疑值处外,求出余下测量值的 和 ,若可疑值与 之差的绝对值大于 ,可疑值舍弃,否则保留.Q检验法此法是将数据从小到大排列,如 设 为可疑值,按下式求统计量Q,Q称为舍弃商. 上式的分母是极差,分子是可疑值与最临近值之差,把Q与 值比较,若 , 可疑值 应舍弃,否则保留,若 是可疑值,Q从下式求出: 值与置信度和测量次数有关,如表2-3所示Q检验法(表2-3) 表2-3 Q值表 测定次数 ,n345678910置信度90%( ) 0.940.760.640.56 0.51 0.47 0.44 0.4196%( )0.980.850.730.64 0.59 0.54 0.51 0.4899%( )0.990.930.820.74 0.68 0.63 0.60 0.57格鲁布斯法该法用到正态分布中反映测量值集中与波动的两数 和 S,因而可靠性较高.应用此法时,在计算了 和S后,将测量值从小到大排列,同Q检验法一样,应按测量次数多少,确定检验 或 ,若两个都做检验,设x为可疑值,由下式求统计量T: 把T与 表值比较,若 ,可疑值舍弃,否则保留,若 为可疑值,T由下式求出: 值与测定次数和显著性水准有关,如表2-4格鲁布斯法(表2-4) 表2-4 值表测定次数, n显著性水准测定次数, n显著性水准0.050.025 0.010.050.025 0.01 31.151.151.15 82.032.132.22 41.461.481.49 92.112.212.32 51.671.711.75 102.182.292.41 61.821.891.94 152.412.552.71 71.942.022.10 202.562.712.884.数据的评价显著性检验分析工作者常常用标准方法与自己所用的分析方法进行对照试验,然后用统计学方法检验两种结果是否存在显著性差异.若存在显著性差异而又肯定测定过程中没有错误,可以认定自己所用的方法有不完善之处,即存在较大的系统误差. 因此结果的差异需进行统计检验或显著性检验. 显著性检验的一般步骤是:1, 做一个假设,即假设不存在显著性差异,或所有样本来源于同一体.2, 确定一个显著性水准,通常 =0.1,0.05,0.01等值,分析工作中则多取0.05的显著性水准.3, 统计量计算何作出判断. 下面介绍F检验法和t检验法.F检验法和t检验法(1)(1) F检验法 该法用于检验两组数据的精密度,即标准偏差 s存在显著性差异.F检验是将两组数据的s求得方差 ,把方差大的记为 ,方差小的记为 ,按下式求出统计量F: 把F值于表2-5的F表比较,若F F标值,则两组数据的精密度不存在显著性差异,若大小相反,则存在显著性差异.F检验法和t检验法(2)(2) t检验法 t检验法用于判断样本平均值是否存在系统误差,以计算所得的t统计量和选定的置信度与表2-2的 值比较,若存在显著性差异,则被检验方存在较大的系统误差.分析化学中的置信度常用95%. a, 平均值与置信度的比较. b, 两组数据平均值的比较. c, 配对比较试验.5. 误差的传递分析过程各个步骤产生大或小,或正或负的误差,它们分散于各个步骤的物理量测量值中,并最终集合于这些物理量计算的结果上,这就是误差的传递. 分析结果计算式多数是加减式和乘除式,另外是指数式.误差传递包括系统误差的传递和偶然误差的传递1, 系统误差的传递 2, 偶然误差的传递(1)系统误差的传递a.加减运算 计算结果的绝对误差 等于各个测量值的绝对误差的代数和或差,若算式是R=A+B-C,则:b,乘除运算 在乘法运算中,计算结果的相对误差是各个测量值的相对误差的和,而除法则是它们的差.如计算式是R=A*B/C ,则: (2)偶然误差的传递a.加减运算 计算结果的方差(标准偏差的平方)是各测量值方差的和,如R=A+B-C ,则:b. 乘除运算计算结果的想的偏差的平方是各测量值相对平均偏差平方的和,对于算式R=A*B/C,则c.指数运算 对于 ,结果的相对偏差是测量值相对偏差的n倍,即6. 提高分析结果准确度的方法要提高分析结果准确度,首先要发现和消除系统误差,然后尽量减少偶然误差.(1)消除与校正系统误差 系统误差来源于确定因素,为发现并消除或校正系统误差,可选用下面几种方法 a. 对照实验 b.回收实验 c.空白实验 d .仪器校正(2)减少偶然误差-增加测定次数 在消除或校正了系统误差前提下,减少偶然误差可以提高测定的准确度,这从平均值置信的区间可以说明.a.对照实验要检查一个分析方法是否存在误差可以这样做: (1) 称取一定纯试剂进行测定,看测定结果与理论计算值是否相符. (2) 对于实际的样品(比较复杂,除了被测定组分,还存有其他组分),则采用已知含量的标准试样(试样中的各组分含量已知)进行对照实验更合理.b.回收实验多用于确定低含量测定的方法或条件是否存在系统误差.实验方法是在被测试样中加入已知的被测组分,与原试样同时进行平行测定,按下式计算回收率: 一般来说,回收率在95%105%之间认为不存在系统误差,即方法可靠.c.空白实验由于试剂,蒸馏水或实验器皿含有被测组分或干扰物质,致使测定时观测值增加(如滴定分析中多消耗标准溶液)导致系统误差时,常用空白实验进行校正.进行空白实验时一般用蒸馏水代替试样溶液,进行相同条件步骤的测定,所得结果称为空白值.在试样测定中抠除空白值,可消除此类系统误差.d.仪器校正在严格的测定中,仪器读数刻度,量器刻度,砝码等标出值与实际值的细小差异也会影响测定的准确度,应进行校正并求出校正值,在测定值中加入校正值,可消除此类系统误差.2-3工作曲线与回归分析法在许多仪器分析方法中,常利用浓度(或含量)与一可测物理量的线形关系来测定组分含量.测定时,先配制准确已知但浓度不同的一组溶液,在直角坐标上绘出工作曲线.应用时,用试样测定值在工作曲线上可直接查出组分含量. 由此,利用已知浓度与该物理量测量值,用回归分析法求得回归方程,就可从回归方程求得浓度.在分析测定中两个变量的一元线形回归方程用的最为普遍.a.一元线形回归方程 以X表示浓度,Y表示物理量测量值,若两变量存在线性相关关系,则一元线性回归方程为: Y=a + bX 在分析工作中,测量点(Xi , Yi)的波动主要来自测量值的偏差.由于各人用肉眼观察连成的直线不同,而影响分析结果的准确度.因此,可用最小二乘法求出直线方程(回归线).回归线是X,Y线性关系的最佳曲线,a, b称回归系数.依最小二乘法,用求极值的方法可求得如下公式:a.一元线形回归方程按照回归线的性质,回归线一定通过坐标为(X, Y)的点,再以适当的X值代入回归方程,求出对应的Y值,以此为另一坐标点,两点连线就是回归线. 注意:回归线不一定通过原点,也不能随意延长.b.相关系数回归线是否有实际意义,即线性关系是否存在,可由相关系数r确定: 根据r的性质,r=1时,表示测量点都在回归线上,变量Y与X是完全线性关系;r=0时,则Y与X完全没有相关关系;r绝对值在0到1之间,则表示有一定相关关系,其好坏由一定置信度和自由度的相关临界值 与r比较来决定: r Y与X存在良好的线性关系 r Y与X不存在良好的线性关系(在分析测定中,置信度多取95%)c.回归线的精度由上可知,若Y与X相关,则同一Xi的Yi实测值波动,一般情况下这种波动服从正态分布,Yi实测值与回归值的偏离程度反映回归线的精度. 回归线的精度可由下式求出的标准偏差s估计:c.回归线的精度对于某一X值,Yi值的分布服从正态分布,若以Y为中心,Y 2S范围内,测量点落在此区间的概率达95.4%,对于试验范围内的任何值都适用. 用两个直线方程: Y1= a - 2s + bX Y2 = a + 2s + bX 描出两条直线把他们分置回归线的两侧,用以反映全部测量点落在其间的范围,其概率是95.4%,通常用虚线表示.