十章节查询优化及索引Stillwatersrundeep.流静水深流静水深,人静心深人静心深Wherethereislife,thereishope。有生命必有希望。有生命必有希望第十章第十章 查询优化及索引查询优化及索引10.1 关系数据库系统的查询处理关系数据库系统的查询处理 10.2 关系数据库系统的查询优化关系数据库系统的查询优化 10.3 代数优化代数优化10.4 物理优化物理优化 10.5 小小 结结 10.6 索引、全文索引与索引、全文索引与优化化琼州学院电子信息工程学院琼州学院电子信息工程学院查询优化及索引查询优化及索引v本章目的：本章目的： RDBMS的查询处理步骤 查询优化的概念 基本方法和技术 v查询优化分类 ：代数优化物理优化琼州学院电子信息工程学院琼州学院电子信息工程学院10.1 关系数据库系统的查询处理关系数据库系统的查询处理v10.1.1 查询处理步骤查询处理步骤v10.1.2 实现查询操作的算法示例实现查询操作的算法示例 琼州学院电子信息工程学院琼州学院电子信息工程学院10.1.1 查询处理步骤查询处理步骤vRDBMS查询处理阶段查询处理阶段 ： 1. 查询分析2. 查询检查3. 查询优化 4. 查询执行 琼州学院电子信息工程学院琼州学院电子信息工程学院查询处理步骤（续）查询处理步骤（续）查询处理步骤琼州学院电子信息工程学院琼州学院电子信息工程学院1. 查询分析查询分析v对查询语句进行扫描、词法分析和语法分析 v从查询语句中识别出语言符号 v进行语法检查和语法分析 琼州学院电子信息工程学院琼州学院电子信息工程学院2. 查询检查查询检查 v根据数据字典对合法的查询语句进行语义检查 v根据数据字典中的用户权限和完整性约束定义对用户的存取权限进行检查 v检查通过后把SQL查询语句转换成等价的关系代数表达式 vRDBMS一般都用查询树(语法分析树)来表示扩展的关系代数表达式 v把数据库对象的外部名称转换为内部表示 琼州学院电子信息工程学院琼州学院电子信息工程学院3. 查询优化查询优化v查询优化：选择一个高效执行的查询处理策略 v查询优化分类 ：代数优化：指关系代数表达式的优化物理优化：指存取路径和底层操作算法的选择v查询优化方法选择的依据：基于规则(rule based)基于代价(cost based)基于语义(semantic based)琼州学院电子信息工程学院琼州学院电子信息工程学院4. 查询执行查询执行 v依据优化器得到的执行策略生成查询计划v代码生成器(code generator)生成执行查询计划的代码 琼州学院电子信息工程学院琼州学院电子信息工程学院10.1 关系数据库系统的查询处理关系数据库系统的查询处理v10.1.1 查询处理步骤查询处理步骤v10.1.2 实现查询操作的算法示例实现查询操作的算法示例 琼州学院电子信息工程学院琼州学院电子信息工程学院10.1.2 实现查询操作的算法示例实现查询操作的算法示例 v一、 选择操作的实现 v二、 连接操作的实现 琼州学院电子信息工程学院琼州学院电子信息工程学院一、一、 选择操作的实现选择操作的实现 v例1Select * from student where ；考虑的几种情况： C1：无条件； C2：Sno200215121； C3：Sage20； C4：SdeptCS AND Sage20； 琼州学院电子信息工程学院琼州学院电子信息工程学院选择操作的实现（续）选择操作的实现（续）v选择操作典型实现方法：选择操作典型实现方法：1. 简单的全表扫描方法简单的全表扫描方法 对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元组作为结果输出 适合小表，不适合大表2. 索引索引(或散列或散列)扫描方法扫描方法 适合选择条件中的属性上有索引(例如B+树索引或Hash索引) 通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组 琼州学院电子信息工程学院琼州学院电子信息工程学院选择操作的实现（续）选择操作的实现（续）v例1-C2 以C2为例，Sno200215121，并且Sno上有索引(或Sno是散列码)使用索引(或散列)得到Sno为200215121 元组的指针通过元组指针在student表中检索到该学生v例1-C3 以C3为例，Sage20，并且Sage 上有B+树索引使用B+树索引找到Sage20的索引项，以此为入口点在B+树的顺序集上得到Sage20的所有元组指针通过这些元组指针到student表中检索到所有年龄大于20的学生。 琼州学院电子信息工程学院琼州学院电子信息工程学院选择操作的实现（续）选择操作的实现（续）v例1-C4 以C4为例，SdeptCS AND Sage20，如果Sdept和Sage上都有索引：算法一：分别用上面两种方法分别找到SdeptCS的一组元组指针和Sage20的另一组元组指针求这2组指针的交集到student表中检索得到计算机系年龄大于20的学生算法二：找到SdeptCS的一组元组指针，通过这些元组指针到student表中检索对得到的元组检查另一些选择条件(如Sage20)是否满足把满足条件的元组作为结果输出。 琼州学院电子信息工程学院琼州学院电子信息工程学院二、二、 连接操作的实现连接操作的实现 v连接操作是查询处理中最耗时的操作之一 v本节只讨论等值连接(或自然连接)最常用的实现算法 v例2 SELECT * FROM Student，SC WHERE Student.Sno=SC.Sno； 琼州学院电子信息工程学院琼州学院电子信息工程学院连接操作的实现（续）连接操作的实现（续）v1. 嵌套循环方法(nested loop) v2. 排序-合并方法(sort-merge join 或merge join)v3. 索引连接(index join)方法 v4. Hash Join方法 琼州学院电子信息工程学院琼州学院电子信息工程学院连接操作的实现（续）连接操作的实现（续）1.嵌套循环方法嵌套循环方法(nested loop)对外层循环(Student)的每一个元组(s)，检索内层循环(SC)中的每一个元组(sc)检查这两个元组在连接属性(sno)上是否相等如果满足连接条件，则串接后作为结果输出，直到外层循环表中的元组处理完为止 琼州学院电子信息工程学院琼州学院电子信息工程学院连接操作的实现（续）连接操作的实现（续）2. 排序排序-合并方法合并方法(sort-merge join 或或merge join) 适合连接的诸表已经排好序的情况 排序合并连接方法的步骤：如果连接的表没有排好序，先对Student表和SC表按连接属性Sno排序 取Student表中第一个Sno，依次扫描SC表中具有相同Sno的元组 琼州学院电子信息工程学院琼州学院电子信息工程学院连接操作的实现（续）连接操作的实现（续）200215121200215122200215123200215124.200215121 1 92200215121 2 85200215121 3 88200215122 2 90200215122 3 80.排序-合并连接方法示意图琼州学院电子信息工程学院琼州学院电子信息工程学院连接操作的实现（续）连接操作的实现（续）排序合并连接方法的步骤（续）：当扫描到Sno不相同的第一个SC元组时，返回Student表扫描它的下一个元组，再扫描SC表中具有相同Sno的元组，把它们连接起来 重复上述步骤直到Student 表扫描完琼州学院电子信息工程学院琼州学院电子信息工程学院连接操作的实现（续）连接操作的实现（续）vStudent表和SC表都只要扫描一遍v如果2个表原来无序，执行时间要加上对两个表的排序时间v对于2个大表，先排序后使用sort-merge join方法执行连接，总的时间一般仍会大大减少 琼州学院电子信息工程学院琼州学院电子信息工程学院连接操作的实现（续）连接操作的实现（续）3. 索引连接索引连接(index join)方法方法v步骤： 在SC表上建立属性Sno的索引，如果原来没有该索引 对Student中每一个元组，由Sno值通过SC的索引查找相应的SC元组 把这些SC元组和Student元组连接起来 循环执行，直到Student表中的元组处理完为止 琼州学院电子信息工程学院琼州学院电子信息工程学院连接操作的实现（续）连接操作的实现（续）4. Hash Join方法方法 把连接属性作为hash码，用同一个hash函数把R和S中的元组散列到同一个hash文件中步骤：步骤：划分阶段(partitioning phase)：对包含较少元组的表(比如R)进行一遍处理把它的元组按hash函数分散到hash表的桶中试探阶段(probing phase)：也称为连接阶段(join phase) 对另一个表(S)进行一遍处理把S的元组散列到适当的hash桶中把元组与桶中所有来自R并与之相匹配的元组连接起来 琼州学院电子信息工程学院琼州学院电子信息工程学院连接操作的实现（续）连接操作的实现（续）v上面hash join算法前提：假设两个表中较小的表在第一阶段后可以完全放入内存的hash桶中 v以上的算法思想可以推广到更加一般的多个表的连接算法上 琼州学院电子信息工程学院琼州学院电子信息工程学院10.2 关系数据库系统的查询优化关系数据库系统的查询优化v查询优化在关系数据库系统中有着非常重要的地位 v关系查询优化是影响RDBMS性能的关键因素 v由于关系表达式的语义级别很高，使关系系统可以从关系表达式中分析查询语义，提供了执行查询优化的可能性 琼州学院电子信息工程学院琼州学院电子信息工程学院10.2 关系数据库系统的查询优化关系数据库系统的查询优化v10.2.1 查询优化概述查询优化概述v10.2.2 一个实例一个实例 琼州学院电子信息工程学院琼州学院电子信息工程学院10.2.1 查询优化概述查询优化概述v关系系统的查询优化v非关系系统琼州学院电子信息工程学院琼州学院电子信息工程学院查询优化概述（续）查询优化概述（续）v查询优化的优点不仅在于用户不必考虑如何最好地表达查询以获得较好的效率，而且在于系统可以比用户程序的“优化”做得更好 (1) 优化器可以从数据字典中获取许多统计信息，而用户程序则难以获得这些信息(2)如果数据库的物理统计信息改变了，系统可以自动对查询重新优化以选择相适应的执行计划。在非关系系统中必须重写程序，而重写程序在实际应用中往往是不太可能的。琼州学院电子信息工程学院琼州学院电子信息工程学院查询优化概述（续）查询优化概述（续）(3)优化器可以考虑数百种不同的执行计划，程序员一般只能考虑有限的几种可能性。(4)优化器中包括了很多复杂的优化技术，这些优化技术往往只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有这些优化技术琼州学院电子信息工程学院琼州学院电子信息工程学院查询优化概述（续）查询优化概述（续）vRDBMS通过某种代价模型计算出各种查询执行策略的执行代价，然后选取代价最小的执行方案集中式数据库执行开销主要包括：磁盘存取块数(I/O代价)处理机时间(CPU代价)查询的内存开销 I/O代价是最主要的 分布式数据库总代价=I/O代价+CPU代价+内存代价通信代价 琼州学院电子信息工程学院琼州学院电子信息工程学院查询优化概述（续）查询优化概述（续）v查询优化的总目标：选择有效的策略求得给定关系表达式的值使得查询代价最小(实际上是较小) 琼州学院电子信息工程学院琼州学院电子信息工程学院10.2 关系数据库系统的查询优化关系数据库系统的查询优化v10.2.1 查询优化概述查询优化概述v10.2.2 一个实例一个实例 琼州学院电子信息工程学院琼州学院电子信息工程学院10.2.2 一个实例一个实例例3 求选修了2号课程的学生姓名。用SQL表达： SELECT Student.Sname FROM Student，SC WHERE Student.Sno=SC.Sno AND SC.Cno=2； n假定学生-课程数据库中有1000个学生记录，10000个选课记录n其中选修2号课程的选课记录为50个 琼州学院电子信息工程学院琼州学院电子信息工程学院一个实例（续）一个实例（续）v系统可以用多种等价的关系代数表达式来完成这一查询Q1=Sname(Student.Sno=SC.SnoSc.Cno=2 (StudentSC)Q2=Sname(Sc.Cno=2 (Student SC)Q3=Sname(Student Sc.Cno=2(SC) 琼州学院电子信息工程学院琼州学院电子信息工程学院一个实例（续）一个实例（续）v一、第一种情况一、第一种情况 Q1=Sname(Student.Sno=SC.SnoSc.Cno=2 StudentSC)1. 计算广义笛卡尔积 v把Student和SC的每个元组连接起来的做法：在内存中尽可能多地装入某个表(如Student表)的若干块，留出一块存放另一个表(如SC表)的元组。把SC中的每个元组和Student中每个元组连接，连接后的元组装满一块后就写到中间文件上从SC中读入一块和内存中的Student元组连接，直到SC表处理完。再读入若干块Student元组，读入一块SC元组重复上述处理过程，直到把Student表处理完琼州学院电子信息工程学院琼州学院电子信息工程学院一个实例（续）一个实例（续）v设一个块能装10个Student元组或100个SC元组，在内存中存放5块Student元组和1块SC元组，则读取总块数为 =100+20100=2100块v其中，读Student表100块。读SC表20遍，每遍100块。若每秒读写20块，则总计要花105s v连接后的元组数为103104=107。设每块能装10个元组，则写出这些块要用106/20=5104s 琼州学院电子信息工程学院琼州学院电子信息工程学院一个实例（续）一个实例（续）2. 作选择操作 依次读入连接后的元组，按照选择条件选取满足要求的记录 假定内存处理时间忽略。读取中间文件花费的时间(同写中间文件一样)需5104s 满足条件的元组假设仅50个，均可放在内存 琼州学院电子信息工程学院琼州学院电子信息工程学院一个实例（续）一个实例（续）3. 作投影操作 把第2步的结果在Sname上作投影输出，得到最终结果 第一种情况下执行查询的总时间105+25104105s所有内存处理时间均忽略不计 琼州学院电子信息工程学院琼州学院电子信息工程学院一个实例（续）一个实例（续）v二、二、 第二种情况第二种情况 Q2=Sname(Sc.Cno=2 (Student SC)1. 计算自然连接 执行自然连接，读取Student和SC表的策略不变，总的读取块数仍为2100块花费105 s 自然连接的结果比第一种情况大大减少，为104个 写出这些元组时间为104/10/20=50s，为第一种情况的千分之一 2. 读取中间文件块，执行选择运算，花费时间也为50s。3. 把第2步结果投影输出。 第二种情况总的执行时间105+50+50205s 琼州学院电子信息工程学院琼州学院电子信息工程学院一个实例（续）一个实例（续）v三、三、 第三种情况第三种情况 Q3=Sname(Student Sc.Cno=2(SC)1. 先对SC表作选择运算，只需读一遍SC表，存取100块花费时间为5s，因为满足条件的元组仅50个，不必使用中间文件。2. 读取Student表，把读入的Student元组和内存中的SC元组作连接。也只需读一遍Student表共100块，花费时间为5s。3. 把连接结果投影输出 第三种情况总的执行时间5+510s 琼州学院电子信息工程学院琼州学院电子信息工程学院一个实例（续）一个实例（续）v假如SC表的Cno字段上有索引第一步就不必读取所有的SC元组而只需读取Cno=2的那些元组(50个)存取的索引块和SC中满足条件的数据块大约总共34块v若Student表在Sno上也有索引第二步也不必读取所有的Student元组因为满足条件的SC记录仅50个，涉及最多50个Student记录读取Student表的块数也可大大减少 v总的存取时间将进一步减少到数秒 琼州学院电子信息工程学院琼州学院电子信息工程学院一个实例（续）一个实例（续）v把代数表达式Q1变换为Q2、 Q3，即有选择和连接操作时，先做选择操作，这样参加连接的元组就可以大大减少，这是代数优化v在Q3中SC表的选择操作算法有全表扫描和索引扫描2种方法，经过初步估算，索引扫描方法较优 对于Student和SC表的连接，利用Student表上的索引，采用index join代价也较小，这就是物理优化 琼州学院电子信息工程学院琼州学院电子信息工程学院10.3 代代 数数 优优 化化v10.3.1 关系代数表达式等价变换规则关系代数表达式等价变换规则 v10.3.2 查询树的启发式优化查询树的启发式优化 琼州学院电子信息工程学院琼州学院电子信息工程学院10.3.1 关系代数表达式等价变换规则关系代数表达式等价变换规则 v代数优化策略：通过对关系代数表达式的等价变换来提高查询效率 v关系代数表达式的等价：指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的v两个关系表达式E1和E2是等价的，可记为E1E2 琼州学院电子信息工程学院琼州学院电子信息工程学院关系代数表达式等价变换规则（续）关系代数表达式等价变换规则（续）v常用的等价变换规则：常用的等价变换规则：1. 连接、笛卡尔积交换律 设E1和E2是关系代数表达式，F是连接运算的条件，则有 E1 E2E2 E1 E1 E2E2 E1 E1 E2E2 E12. 连接、笛卡尔积的结合律 设E1，E2，E3是关系代数表达式，F1和F2是连接运算的条件，则有 (E1 E2) E3E1 (E2 E3) (E1 E2) E3E1 (E2 E3) (E1 E2) E3E1 (E2 E3) 琼州学院电子信息工程学院琼州学院电子信息工程学院关系代数表达式等价变换规则（续）关系代数表达式等价变换规则（续）3. 投影的串接定律 ( (E) (E)这里，E是关系代数表达式，Ai(i=1，2，n)，Bj(j=1，2，m)是属性名且A1，A2，An构成B1，B2，Bm的子集。4. 选择的串接定律 ( (E) (E)这里，E是关系代数表达式，F1、F2是选择条件。 选择的串接律说明选择条件可以合并。这样一次就可检查全部条件。琼州学院电子信息工程学院琼州学院电子信息工程学院关系代数表达式等价变换规则（续）关系代数表达式等价变换规则（续）5. 选择与投影操作的交换律 F( (E) (F(E)选择条件F只涉及属性A1，An。若F中有不属于A1，An的属性B1，Bm则有更一般的规则： (F(E) (F( (E)琼州学院电子信息工程学院琼州学院电子信息工程学院关系代数表达式等价变换规则（续）关系代数表达式等价变换规则（续）6. 选择与笛卡尔积的交换律如果F中涉及的属性都是E1中的属性，则 (E1E2) (E1)E2如果F=F1F2，并且F1只涉及E1中的属性，F2只涉及E2中的属性，则由上面的等价变换规则1，4，6可推出： (E1E2) (E1) (E2)若F1只涉及E1中的属性，F2涉及E1和E2两者的属性，则仍有 (E1E2) ( (E1)E2)它使部分选择在笛卡尔积前先做。 琼州学院电子信息工程学院琼州学院电子信息工程学院关系代数表达式等价变换规则（续）关系代数表达式等价变换规则（续）7. 选择与并的分配律设E=E1E2，E1，E2有相同的属性名，则 F(E1E2)F(E1)F(E2)8. 选择与差运算的分配律若E1与E2有相同的属性名，则 F(E1-E2)F(E1)-F(E2)9. 选择对自然连接的分配律 F(E1 E2)F(E1) F(E2) F只涉及E1与E2的公共属性 琼州学院电子信息工程学院琼州学院电子信息工程学院关系代数表达式等价变换规则（续）关系代数表达式等价变换规则（续）10. 投影与笛卡尔积的分配律设E1和E2是两个关系表达式，A1，An是E1的属性，B1，Bm是E2的属性，则 (E1E2) (E1) (E2)11. 投影与并的分配律设E1和E2有相同的属性名，则 (E1E2) (E1) (E2)琼州学院电子信息工程学院琼州学院电子信息工程学院10.3 代代 数数 优优 化化v10.3.1 关系代数表达式等价变换规则关系代数表达式等价变换规则 v10.3.2 查询树的启发式优化查询树的启发式优化 琼州学院电子信息工程学院琼州学院电子信息工程学院10.3.2 查询树的启发式优化查询树的启发式优化 v典型的启发式规则：典型的启发式规则：1. 选择运算应尽可能先做。在优化策略中这是最重要、最基本的一条2. 把投影运算和选择运算同时进行如有若干投影和选择运算，并且它们都对同一个关系操作，则可以在扫描此关系的同时完成所有的这些运算以避免重复扫描关系琼州学院电子信息工程学院琼州学院电子信息工程学院查询树的启发式优化（续）查询树的启发式优化（续）3. 把投影同其前或其后的双目运算结合起来4. 把某些选择同在它前面要执行的笛卡尔积结合起来成为一个连接运算5. 找出公共子表达式如果这种重复出现的子表达式的结果不是很大的关系并且从外存中读入这个关系比计算该子表达式的时间少得多，则先计算一次公共子表达式并把结果写入中间文件是合算的当查询的是视图时，定义视图的表达式就是公共子表达式的情况琼州学院电子信息工程学院琼州学院电子信息工程学院查询树的启发式优化（续）查询树的启发式优化（续）v遵循这些启发式规则，应用9.3.1的等价变换公式来优化关系表达式的算法。算法：关系表达式的优化输入：一个关系表达式的查询树输出：优化的查询树方法：(1) 利用等价变换规则4把形如F1F2Fn(E)变换为F1(F2(Fn(E)。(2) 对每一个选择，利用等价变换规则49尽可能把它移到树的叶端。琼州学院电子信息工程学院琼州学院电子信息工程学院查询树的启发式优化（续）查询树的启发式优化（续）(3) 对每一个投影利用等价变换规则3，5，10，11中的一般形式尽可能把它移向树的叶端。注意： 等价变换规则3使一些投影消失规则5把一个投影分裂为两个，其中一个有可能被移向树的叶端 (4) 利用等价变换规则35把选择和投影的串接合并成单个选择、单个投影或一个选择后跟一个投影。使多个选择或投影能同时执行，或在一次扫描中全部完成 琼州学院电子信息工程学院琼州学院电子信息工程学院查询树的启发式优化（续）查询树的启发式优化（续） (5) 把上述得到的语法树的内节点分组。每一双目运算(， ，-)和它所有的直接祖先为一组(这些直接祖先是(，运算)。如果其后代直到叶子全是单目运算，则也将它们并入该组但当双目运算是笛卡尔积()，而且后面不是与它组成等值连接的选择时，则不能把选择与这个双目运算组成同一组，把这些单目运算单独分为一组 琼州学院电子信息工程学院琼州学院电子信息工程学院查询树的启发式优化（续）查询树的启发式优化（续）例4 下面给出例3中 SQL语句的代数优化示例。 (1) 把SQL语句转换成查询树，如下图所示 查询树琼州学院电子信息工程学院琼州学院电子信息工程学院查询树的启发式优化（续）查询树的启发式优化（续）为了使用关系代数表达式的优化法，假设内部表示是关系代数语法树，则上面的查询树如下图所示。 关系代数语法树 琼州学院电子信息工程学院琼州学院电子信息工程学院查询树的启发式优化（续）查询树的启发式优化（续）(2) 对查询树进行优化利用规则4、6把选择SC.Cno=2移到叶端，查询树便转换成下图所示的优化的查询树。这就是9.2.2节中Q3的查询树表示优化后的查询树 琼州学院电子信息工程学院琼州学院电子信息工程学院10.4 物理优化物理优化v代数优化改变查询语句中操作的次序和组合，不涉及底层的存取路径v对于一个查询语句有许多存取方案，它们的执行效率不同， 仅仅进行代数优化是不够的 v物理优化就是要选择高效合理的操作算法或存取路径，求得优化的查询计划 琼州学院电子信息工程学院琼州学院电子信息工程学院物理优化（续）物理优化（续）v选择的方法：选择的方法： 基于规则的启发式优化基于代价估算的优化两者结合的优化方法琼州学院电子信息工程学院琼州学院电子信息工程学院10.4 物理优化物理优化v10.4.1 基于启发式规则的存取路径选择优化基于启发式规则的存取路径选择优化v10.4.2 基于代价的优化基于代价的优化 琼州学院电子信息工程学院琼州学院电子信息工程学院10.4.1 基于启发式规则的存取路径选择优化基于启发式规则的存取路径选择优化v一、 选择操作的启发式规则 v二、 连接操作的启发式规则 琼州学院电子信息工程学院琼州学院电子信息工程学院基于启发式规则的存取路径选择优化基于启发式规则的存取路径选择优化(续续)v一、一、 选择操作的启发式规则选择操作的启发式规则:1. 对于小关系，使用全表顺序扫描，即使选择列上有索引 对于大关系，启发式规则有：对于大关系，启发式规则有：2. 对于选择条件是主码值的查询查询结果最多是一个元组，可以选择主码索引一般的RDBMS会自动建立主码索引。 琼州学院电子信息工程学院琼州学院电子信息工程学院基于启发式规则的存取路径选择优化基于启发式规则的存取路径选择优化(续续)3. 对于选择条件是非主属性值的查询，并且选择列上有索引n要估算查询结果的元组数目如果比例较小(10%)可以使用索引扫描方法否则还是使用全表顺序扫描琼州学院电子信息工程学院琼州学院电子信息工程学院基于启发式规则的存取路径选择优化基于启发式规则的存取路径选择优化(续续)4. 对于选择条件是属性上的非等值查询或者范围查询，并且选择列上有索引n要估算查询结果的元组数目如果比例较小(10%)可以使用索引扫描方法否则还是使用全表顺序扫描 琼州学院电子信息工程学院琼州学院电子信息工程学院基于启发式规则的存取路径选择优化基于启发式规则的存取路径选择优化(续续)5. 对于用AND连接的合取选择条件n如果有涉及这些属性的组合索引优先采用组合索引扫描方法n如果某些属性上有一般的索引则可以用例1-C4中介绍的索引扫描方法否则使用全表顺序扫描。6. 对于用OR连接的析取选择条件，一般使用全表顺序扫描琼州学院电子信息工程学院琼州学院电子信息工程学院基于启发式规则的存取路径选择优化基于启发式规则的存取路径选择优化(续续)v二、二、 连接操作的启发式规则：连接操作的启发式规则：1. 如果2个表都已经按照连接属性排序n 选用排序-合并方法2. 如果一个表在连接属性上有索引n 选用索引连接方法3. 如果上面2个规则都不适用，其中一个表较小n 选用Hash join方法 琼州学院电子信息工程学院琼州学院电子信息工程学院基于启发式规则的存取路径选择优化基于启发式规则的存取路径选择优化(续续)4. 可以选用嵌套循环方法，并选择其中较小的表，确切地讲是占用的块数(b)较少的表，作为外表(外循环的表) 。 理由：设连接表R与S分别占用的块数为Br与Bs连接操作使用的内存缓冲区块数为K分配K-1块给外表如果R为外表，则嵌套循环法存取的块数为Br+( Br/K-1)Bs显然应该选块数小的表作为外表 琼州学院电子信息工程学院琼州学院电子信息工程学院9.4 物理优化（续）物理优化（续）v9.4.1 基于启发式规则的存取路径选择优化基于启发式规则的存取路径选择优化v9.4.2 基于代价的优化基于代价的优化 琼州学院电子信息工程学院琼州学院电子信息工程学院10.4.2 基于代价的优化基于代价的优化 v启发式规则优化是定性的选择，适合解释执行的系统解释执行的系统，优化开销包含在查询总开销之中 v编译执行的系统中查询优化和查询执行是分开的可以采用精细复杂一些的基于代价的优化方法 琼州学院电子信息工程学院琼州学院电子信息工程学院基于代价的优化（续）基于代价的优化（续）v一、 统计信息 v二、 代价估算示例 琼州学院电子信息工程学院琼州学院电子信息工程学院基于代价的优化（续）基于代价的优化（续）一、一、 统计信息统计信息v基于代价的优化方法要计算各种操作算法的执行代价，与数据库的状态密切相关 v数据字典中存储的优化器需要的统计信息： 1. 对每个基本表n该表的元组总数(N)n元组长度(l)n占用的块数(B)n占用的溢出块数(BO)琼州学院电子信息工程学院琼州学院电子信息工程学院基于代价的优化（续）基于代价的优化（续）2. 对基表的每个列n该列不同值的个数(m)n选择率(f)如果不同值的分布是均匀的，f1/m如果不同值的分布不均匀，则每个值的选择率具有该值的元组数/Nn该列最大值n该列最小值n该列上是否已经建立了索引n索引类型(B+树索引、Hash索引、聚集索引) 琼州学院电子信息工程学院琼州学院电子信息工程学院基于代价的优化（续）基于代价的优化（续）3. 对索引(如B+树索引)n索引的层数(L)n不同索引值的个数n索引的选择基数S(有S个元组具有某个索引值)n索引的叶结点数(Y) 琼州学院电子信息工程学院琼州学院电子信息工程学院基于代价的优化（续）基于代价的优化（续）二、二、 代价估算示例代价估算示例 1.全表扫描算法的代价估算公式全表扫描算法的代价估算公式如果基本表大小为B块，全表扫描算法的代价 costB如果选择条件是码值，那么平均搜索代价 costB/2琼州学院电子信息工程学院琼州学院电子信息工程学院基于代价的优化（续）基于代价的优化（续）2. 索引扫描算法的代价估算公式索引扫描算法的代价估算公式如果选择条件是码值如例1-C2，则采用该表的主索引若为B+树，层数为L，需要存取B+树中从根结点到叶结点L块，再加上基本表中该元组所在的那一块，所以cost=L+1如果选择条件涉及非码属性如例1-C3，若为B+树索引，选择条件是相等比较，S是索引的选择基数(有S个元组满足条件)最坏的情况下，满足条件的元组可能会保存在不同的块上，此时，cost=L+S 琼州学院电子信息工程学院琼州学院电子信息工程学院基于代价的优化（续）基于代价的优化（续）如果比较条件是，操作假设有一半的元组满足条件就要存取一半的叶结点通过索引访问一半的表存储块cost=L+Y/2+B/2如果可以获得更准确的选择基数，可以进一步修正Y/2与B/2琼州学院电子信息工程学院琼州学院电子信息工程学院基于代价的优化（续）基于代价的优化（续）3. 嵌套循环连接算法的代价估算公式嵌套循环连接算法的代价估算公式9.4.1中已经讨论过了嵌套循环连接算法的代价costBr+Bs/(K-1) Br 如果需要把连接结果写回磁盘， costBr+Bs/(K-1) Br +(Frs*Nr*Ns)/Mrs其中Frs为连接选择性(join selectivity)，表示连接结果元组数的比例Mrs是存放连接结果的块因子，表示每块中可以存放的结果元组数目。琼州学院电子信息工程学院琼州学院电子信息工程学院基于代价的优化（续）基于代价的优化（续）4. 排序排序-合并连接算法的代价估算公式合并连接算法的代价估算公式如果连接表已经按照连接属性排好序，则costBr+Bs+(Frs*Nr*Ns)/Mrs。如果必须对文件排序需要在代价函数中加上排序的代价对于包含B个块的文件排序的代价大约是(2*B)+(2*B*log2B)琼州学院电子信息工程学院琼州学院电子信息工程学院10.5 小小 结结v查询处理是RDBMS的核心，查询优化技术是查询处理的关键技术 v本章讲解的优化方法 启发式代数优化基于规则的存取路径优化基于代价的优化琼州学院电子信息工程学院琼州学院电子信息工程学院小小 结（续）结（续）v比较复杂的查询，尤其是涉及连接和嵌套的查询不要把优化的任务全部放在RDBMS上应该找出RDBMS的优化规律，以写出适合RDBMS自动优化的SQL语句 v对于RDBMS不能优化的查询需要重写查询语句，进行手工调整以优化性能 琼州学院电子信息工程学院琼州学院电子信息工程学院教学提示：教学提示： 数据库中的索引与书籍中的索引类似。在一本书中，利用索引可以快速查找所需信息，无须阅读整本书。在数据库中，索引使数据库程序无须对整个表进行扫描，就可以在其中找到所需数据。当创建数据库并优化其性能时，应该为数据查询所使用的表列创建索引。教学要求：教学要求：通过本章的学习，读者应该掌握以下内容：索引的概念、索引的创建、管理和维护、全文索引的使用。10.6索引、全文索引与优化 琼州学院电子信息工程学院琼州学院电子信息工程学院10.6.1 索引的概念10.6.2 索引的类型10.6.3 索引的创建与管理10.6.4 索引的维护10.6.5 索引优化10.6.6 全文索引10.6 索引、全文索引与优化 琼州学院电子信息工程学院琼州学院电子信息工程学院1.1 索引的概念琼州学院电子信息工程学院琼州学院电子信息工程学院1.2 创建索引的优、缺点创建索引所具有的优点，使得可以极大地提高系统的性能索引为性能所带来的好处也是有代价的。使用索引有许多不利的方面 注意：注意：注意：注意： 在设计和创建索引时，应确保对性能的提高程度大于在存储空间和处理资源方面的代价。 琼州学院电子信息工程学院琼州学院电子信息工程学院1.3 考虑建索引的列在经常需要搜索的列上；在作为主键的列上；在经常用在连接的列上；在经常使用在WHERE子句中的列。在经常需要排序的列上；在经常需要根据范围进行搜索的列上；琼州学院电子信息工程学院琼州学院电子信息工程学院1.3 不考虑建索引的列对于那些在查询中很少使用或者参考的列；对于那些只有很少唯一数据值的列；对于那些定义为TEXT、NTEXT、IMAGE或BIT等数据类型的列；当列的修改性能远远大于检索性能时。琼州学院电子信息工程学院琼州学院电子信息工程学院2.1 聚集索引琼州学院电子信息工程学院琼州学院电子信息工程学院2.1 聚集索引v提示：在缺省情况下，所创建的索引是非聚集索引；在每一个表上面，可以创建不多于249个非聚集索引。v注意：由于非聚集索引使用索引页存储，因此它比聚集索引需要更多的存储空间，且检索效率较低。琼州学院电子信息工程学院琼州学院电子信息工程学院2.2 非聚集索引琼州学院电子信息工程学院琼州学院电子信息工程学院2.2 非聚集索引提示：在缺省情况下，所创建的索引是非聚集索引；在每一个表上面，可以创建不多于249个非聚集索引。注意：由于非聚集索引使用索引页存储，因此它比聚集索引需要更多的存储空间，且检索效率较低。琼州学院电子信息工程学院琼州学院电子信息工程学院3.1 使用T-SQL创建与管理索引 使用T-SQL语句中的CREATE INDEX，既可以创建聚集索引或非聚集索引。其语法如下：CREATE UNIQUE CLUSTERED | NONCLUSTEREDINDEX 索引名索引名 ON 表名|视图名 列名 ASC | DESC ,.n)提示：在SQL Server 2000数据库中，为表定义一个主键，将会自动在主键所在列上创建一个唯一索引，称之为主键索引。主键索引是唯一索引的特殊类型。琼州学院电子信息工程学院琼州学院电子信息工程学院简单索引 【例10.6.1】 为教学成绩管理系统中的学生信息表的学号列创建索引。 提示：提示：提示：提示： 可以在查询分析器中使用存储sp_helpindex检查索引创建情况。琼州学院电子信息工程学院琼州学院电子信息工程学院使用唯一聚集索引 【例10.6.2】 为教学成绩管理系统中的教师信息表的登录名列创建索引，并且强制唯一性。 技巧：技巧：技巧：技巧： 在教师信息表的登录名列上建立聚集索引,并进行唯一性约束,比在编号列上建立聚集索引更能提高查询效率。琼州学院电子信息工程学院琼州学院电子信息工程学院第第8 8章索引、全文索引与优化章索引、全文索引与优化 简单组合索引 【例10.6.3】 为教学成绩管理系统中的教学成绩表的学号列和课程编号列创建索引。 提示：提示：提示：提示： 在教学成绩表中会频繁地进行基于学号和课程编号的查询操作，因此在学号列和课程编号列上建立组合索引。 注意：注意：注意：注意： 创建索引时若不使用CLUSTERED关键字，将创建非聚集索引。琼州学院电子信息工程学院琼州学院电子信息工程学院删除索引 注意：注意：注意：注意： 除去聚集索引将导致重建所有非聚集索引。 使用T-SQL语句中的DROP INDEX，可以从当前数据库中删除一个或多个索引。其语法如下： DROP INDEX 表名表名. .索引名索引名 | | 视图名视图名. .索引名索引名 ,.n 琼州学院电子信息工程学院琼州学院电子信息工程学院3.2 用企业管理器创建查看索引琼州学院电子信息工程学院琼州学院电子信息工程学院3.2 使用企业管理器重命名索引琼州学院电子信息工程学院琼州学院电子信息工程学院3.2 使用企业管理器删除索引 提示：提示：提示：提示： 必须先删除约束后，才能删除PRIMARY KEY或UNIQUE约束使用的索引。 注意：注意：注意：注意： 删除视图或表时，自动删除在视图或表上永久性和临时性创建的所有索引。 当一个索引不再需要时，可以将其从数据库中删除，以回收它当前使用的存储空间。琼州学院电子信息工程学院琼州学院电子信息工程学院3.3 使用向导创建索引琼州学院电子信息工程学院琼州学院电子信息工程学院4.1 显示索引的碎块信息 【例8.4】 在查询分析器中得到教学成绩管理数据库中课程信息表的数据和索引的碎片信息。 其语法如下： DBCC SHOWCONTIG ( 表名表名 | | 表的表的ID | ID | 视图名视图名 | | 视图的视图的IDID , 索引名 | 索引的ID ) 琼州学院电子信息工程学院琼州学院电子信息工程学院4.2 整理碎片 其语法如下： DBCC INDEXDEFRAG ( 数据库名数据库名 | | 数据库的数据库的ID| 0 ID| 0 , , 表名表名| | 表的表的ID | ID | 视图名视图名 | | 视图的视图的ID ID , , 索引名索引名 | | 索引的索引的IDID ) WITH NO_INFOMSGS 琼州学院电子信息工程学院琼州学院电子信息工程学院4.4 重建索引 其语法如下： DBCC DBREINDEX ( 数据库名数据库名.owner.owner.表名表名 ,索引名 , fillfactor ) WITH NO_INFOMSGS 琼州学院电子信息工程学院琼州学院电子信息工程学院5.1 一些关于设计索引的建议将更新尽可能多的行的查询写入单个语句内，而不要使用多个查询更新相同的行。使用索引优化向导分析查询并获得索引建议。对聚集索引使用整型键。在唯一列、非空列或IDENTITY列上创建聚集索引。在查询经常用到的所有列上创建非聚集索引。检查列的唯一性。不要为只有很少唯一值的列创建索引琼州学院电子信息工程学院琼州学院电子信息工程学院5.2 索引优化向导琼州学院电子信息工程学院琼州学院电子信息工程学院6.1 全文索引概述全文检索全文索引全文索引目录Microsoft Search服务琼州学院电子信息工程学院琼州学院电子信息工程学院6.2 创建全文索引目录 （1）在企业管理器的目录树中选择要创建全文索引目录的数据库，将其展开，右键单击【全文目录】对象，从快捷菜单中选取【新建全文目录】项，则会出现【新建全文目录】对话框。（2）输入要创建的全文索引目录名称和文件存放位置。单击【计划】标签，则会出现全文索引目录计划对话框。（3）在【全文索引目录计划】对话框中可以创建和编辑全文索引目录执行计划。单击【确定】按钮，完成创建全文索引目录。琼州学院电子信息工程学院琼州学院电子信息工程学院6.3 使用向导创建全文索引琼州学院电子信息工程学院琼州学院电子信息工程学院6.4 使用全文索引 【例8.5】 在教学成绩管理数据库的学生信息表中，找出家庭地址在“太原”的学生信息。 CONTAINS关键字的语法如下： CONTAINS ( 列名列名 | * | * , ) 【例8.6】 在教学成绩管理数据库的学生信息表中找出家庭地址在“太原”的学生信息。 FREETEXT关键字的语法如下： FREETEXT ( 列名列名 | * | * , 搜索条件 )琼州学院电子信息工程学院琼州学院电子信息工程学院