FW : 索引

一、深入浅出理解索引结构

　　实际上，您可以把索引理解为一种特殊的目录。微软的SQL SERVER提供了两种索引：聚集索引（clustered index，也称聚类索引、簇集索引）和非聚集索引（nonclustered index，也称非聚类索引、非簇集索引）。下面，我们举例来说明一下聚集索引和非聚集索引的区别：
　　其实，我们的汉语字典的正文本身就是一个聚集索引。比如，我们要查“安”字，就会很自然地翻开字典的前几页，因为“安”的拼音是“an”，而按照拼音排序汉字的字典是以英文字母“a”开头并以“z”结尾的，那么“安”字就自然地排在字典的前部。如果您翻完了所有以“a”开头的部分仍然找不到这个字，那么就说明您的字典中没有这个字；同样的，如果查“张”字，那您也会将您的字典翻到最后部分，因为“张”的拼音是“zhang”。也就是说，字典的正文部分本身就是一个目录，您不需要再去查其他目录来找到您需要找的内容。我们把这种正文内容本身就是一种按照一定规则排列的目录称为“聚集索引”。
　　如果您认识某个字，您可以快速地从自动中查到这个字。但您也可能会遇到您不认识的字，不知道它的发音，这时候，您就不能按照刚才的方法找到您要查的字，而需要去根据“偏旁部首”查到您要找的字，然后根据这个字后的页码直接翻到某页来找到您要找的字。但您结合“部首目录”和“检字表”而查到的字的排序并不是真正的正文的排序方法，比如您查“张”字，我们可以看到在查部首之后的检字表中“张”的页码是672页，检字表中“张”的上面是“驰”字，但页码却是63页，“张”的下面是“弩”字，页面是390页。很显然，这些字并不是真正的分别位于“张”字的上下方，现在您看到的连续的“驰、张、弩”三字实际上就是他们在非聚集索引中的排序，是字典正文中的字在非聚集索引中的映射。我们可以通过这种方式来找到您所需要的字，但它需要两个过程，先找到目录中的结果，然后再翻到您所需要的页码。我们把这种目录纯粹是目录，正文纯粹是正文的排序方式称为“非聚集索引”。
　　通过以上例子，我们可以理解到什么是“聚集索引”和“非聚集索引”。进一步引申一下，我们可以很容易的理解：每个表只能有一个聚集索引，因为目录只能按照一种方法进行排序。

二、何时使用聚集索引或非聚集索引

下面的表总结了何时使用聚集索引或非聚集索引（很重要）：

　　事实上，我们可以通过前面聚集索引和非聚集索引的定义的例子来理解上表。如：返回某范围内的数据一项。比如您的某个表有一个时间列，恰好您把聚合索引建立在了该列，这时您查询2004年1月1日至2004年10月1日之间的全部数据时，这个速度就将是很快的，因为您的这本字典正文是按日期进行排序的，聚类索引只需要找到要检索的所有数据中的开头和结尾数据即可；而不像非聚集索引，必须先查到目录中查到每一项数据对应的页码，然后再根据页码查到具体内容。

三、结合实际，谈索引使用的误区

　　理论的目的是应用。虽然我们刚才列出了何时应使用聚集索引或非聚集索引，但在实践中以上规则却很容易被忽视或不能根据实际情况进行综合分析。下面我们将根据在实践中遇到的实际问题来谈一下索引使用的误区，以便于大家掌握索引建立的方法。

1、主键就是聚集索引
　　这种想法笔者认为是极端错误的，是对聚集索引的一种浪费。虽然SQL SERVER默认是在主键上建立聚集索引的。
　　通常，我们会在每个表中都建立一个ID列，以区分每条数据，并且这个ID列是自动增大的，步长一般为1。我们的这个办公自动化的实例中的列Gid就是如此。此时，如果我们将这个列设为主键，SQL SERVER会将此列默认为聚集索引。这样做有好处，就是可以让您的数据在数据库中按照ID进行物理排序，但笔者认为这样做意义不大。
　　显而易见，聚集索引的优势是很明显的，而每个表中只能有一个聚集索引的规则，这使得聚集索引变得更加珍贵。
　　从我们前面谈到的聚集索引的定义我们可以看出，使用聚集索引的最大好处就是能够根据查询要求，迅速缩小查询范围，避免全表扫描。在实际应用中，因为ID号是自动生成的，我们并不知道每条记录的ID号，所以我们很难在实践中用ID号来进行查询。这就使让ID号这个主键作为聚集索引成为一种资源浪费。其次，让每个ID号都不同的字段作为聚集索引也不符合“大数目的不同值情况下不应建立聚合索引”规则；当然，这种情况只是针对用户经常修改记录内容，特别是索引项的时候会负作用，但对于查询速度并没有影响。
　　在办公自动化系统中，无论是系统首页显示的需要用户签收的文件、会议还是用户进行文件查询等任何情况下进行数据查询都离不开字段的是“日期”还有用户本身的“用户名”。
　　通常，办公自动化的首页会显示每个用户尚未签收的文件或会议。虽然我们的where语句可以仅仅限制当前用户尚未签收的情况，但如果您的系统已建立了很长时间，并且数据量很大，那么，每次每个用户打开首页的时候都进行一次全表扫描，这样做意义是不大的，绝大多数的用户1个月前的文件都已经浏览过了，这样做只能徒增数据库的开销而已。事实上，我们完全可以让用户打开系统首页时，数据库仅仅查询这个用户近3个月来未阅览的文件，通过“日期”这个字段来限制表扫描，提高查询速度。如果您的办公自动化系统已经建立的2年，那么您的首页显示速度理论上将是原来速度8倍，甚至更快。
　　在这里之所以提到“理论上”三字，是因为如果您的聚集索引还是盲目地建在ID这个主键上时，您的查询速度是没有这么高的，即使您在“日期”这个字段上建立的索引（非聚合索引）。下面我们就来看一下在1000万条数据量的情况下各种查询的速度表现（3个月内的数据为25万条）：

（1）仅在主键上建立聚集索引，并且不划分时间段：

Select gid,fariqi,neibuyonghu,title from tgongwen

用时：128470毫秒（即：128秒）

（2）在主键上建立聚集索引，在fariq上建立非聚集索引：

select gid,fariqi,neibuyonghu,title from Tgongwen
where fariqi> dateadd(day,-90,getdate())

用时：53763毫秒（54秒）

（3）将聚合索引建立在日期列（fariqi）上：

select gid,fariqi,neibuyonghu,title from Tgongwen
where fariqi> dateadd(day,-90,getdate())

用时：2423毫秒（2秒）

　　虽然每条语句提取出来的都是25万条数据，各种情况的差异却是巨大的，特别是将聚集索引建立在日期列时的差异。事实上，如果您的数据库真的有1000万容量的话，把主键建立在ID列上，就像以上的第1、2种情况，在网页上的表现就是超时，根本就无法显示。这也是我摒弃ID列作为聚集索引的一个最重要的因素。得出以上速度的方法是：在各个select语句前加：

declare @d datetime
set @d=getdate()

并在select语句后加：

select [语句执行花费时间(毫秒)]=datediff(ms,@d,getdate())

2、只要建立索引就能显著提高查询速度
　　事实上，我们可以发现上面的例子中，第2、3条语句完全相同，且建立索引的字段也相同；不同的仅是前者在fariqi字段上建立的是非聚合索引，后者在此字段上建立的是聚合索引，但查询速度却有着天壤之别。所以，并非是在任何字段上简单地建立索引就能提高查询速度。
　　从建表的语句中，我们可以看到这个有着1000万数据的表中fariqi字段有5003个不同记录。在此字段上建立聚合索引是再合适不过了。在现实中，我们每天都会发几个文件，这几个文件的发文日期就相同，这完全符合建立聚集索引要求的：“既不能绝大多数都相同，又不能只有极少数相同”的规则。由此看来，我们建立“适当”的聚合索引对于我们提高查询速度是非常重要的。

3、把所有需要提高查询速度的字段都加进聚集索引，以提高查询速度
　　上面已经谈到：在进行数据查询时都离不开字段的是“日期”还有用户本身的“用户名”。既然这两个字段都是如此的重要，我们可以把他们合并起来，建立一个复合索引（compound index）。
　　很多人认为只要把任何字段加进聚集索引，就能提高查询速度，也有人感到迷惑：如果把复合的聚集索引字段分开查询，那么查询速度会减慢吗？带着这个问题，我们来看一下以下的查询速度（结果集都是25万条数据）：（日期列fariqi首先排在复合聚集索引的起始列，用户名neibuyonghu排在后列）：

（1）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>''2004-5-5'' 

查询速度：2513毫秒

（2）select gid,fariqi,neibuyonghu,title from Tgongwen 
　　　　　　　　　　　　where fariqi>''2004-5-5'' and neibuyonghu=''办公室''

查询速度：2516毫秒

（3）select gid,fariqi,neibuyonghu,title from Tgongwen where neibuyonghu=''办公室''

查询速度：60280毫秒

　　从以上试验中，我们可以看到如果仅用聚集索引的起始列作为查询条件和同时用到复合聚集索引的全部列的查询速度是几乎一样的，甚至比用上全部的复合索引列还要略快（在查询结果集数目一样的情况下）；而如果仅用复合聚集索引的非起始列作为查询条件的话，这个索引是不起任何作用的。当然，语句1、2的查询速度一样是因为查询的条目数一样，如果复合索引的所有列都用上，而且查询结果少的话，这样就会形成“索引覆盖”，因而性能可以达到最优。同时，请记住：无论您是否经常使用聚合索引的其他列，但其前导列一定要是使用最频繁的列。

四、其他书上没有的索引使用经验总结

1、用聚合索引比用不是聚合索引的主键速度快
　　下面是实例语句：（都是提取25万条数据）

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''

使用时间：3326毫秒

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid<=250000

使用时间：4470毫秒

这里，用聚合索引比用不是聚合索引的主键速度快了近1/4。

2、用聚合索引比用一般的主键作order by时速度快，特别是在小数据量情况下

select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by fariqi

用时：12936

select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by gid

用时：18843

　　这里，用聚合索引比用一般的主键作order by时，速度快了3/10。事实上，如果数据量很小的话，用聚集索引作为排序列要比使用非聚集索引速度快得明显的多；而数据量如果很大的话，如10万以上，则二者的速度差别不明显。

3、使用聚合索引内的时间段，搜索时间会按数据占整个数据表的百分比成比例减少，而无论聚合索引使用了多少个：

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-1-1''

用时：6343毫秒（提取100万条）

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-6-6''

用时：3170毫秒（提取50万条）

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''

用时：3326毫秒（和上句的结果一模一样。如果采集的数量一样，那么用大于号和等于号是一样的）

select gid,fariqi,neibuyonghu,reader,title from Tgongwen 
　　　　　　　　　　　　where fariqi>''2004-1-1'' and fariqi<''2004-6-6''

用时：3280毫秒

4、日期列不会因为有分秒的输入而减慢查询速度
　　下面的例子中，共有100万条数据，2004年1月1日以后的数据有50万条，但只有两个不同的日期，日期精确到日；之前有数据50万条，有5000个不同的日期，日期精确到秒。

select gid,fariqi,neibuyonghu,reader,title from Tgongwen 
　　　　　　　　　　where fariqi>''2004-1-1'' order by fariqi

用时：6390毫秒

select gid,fariqi,neibuyonghu,reader,title from Tgongwen 
　　　　　　　　　　　　where fariqi<''2004-1-1'' order by fariqi

用时：6453毫秒

五、其他注意事项

　　“水可载舟，亦可覆舟”，索引也一样。索引有助于提高检索性能，但过多或不当的索引也会导致系统低效。因为用户在表中每加进一个索引，数据库就要做更多的工作。过多的索引甚至会导致索引碎片。
　　所以说，我们要建立一个“适当”的索引体系，特别是对聚合索引的创建，更应精益求精，以使您的数据库能得到高性能的发挥。
　　当然，在实践中，作为一个尽职的数据库管理员，您还要多测试一些方案，找出哪种方案效率最高、最为有效。

听棠注：此文章引自http://www.vckbase.com/document/viewdoc/?id=1307
 感觉笔者讲比较透彻，并参考了另一篇：索引的使用和优化

 思想基本一致的，总结下来，对日期建立聚集索引比较合适。

 还有一有关索引性能的MS的文章：使用 SQL Server 2000 索引视图提高性能

Feedback

# re: SQL Server 索引结构及其使用（一）[转]   

2005-04-27 10:17 by twodays

我做了个试验，可是我发现虽然把聚集索引建立在fariqi上面，性能并没有得到很大的提高吖。。。。
不过我用的是XP，没有装SQL Server，用的MSDE，不过我觉得应该没有太大的区别吧。

下面是我的建表语句：

CREATE TABLE [IndexTest] 
( 
    [gid] [int] IDENTITY (1, 1) NOT NULL , 
    [fariqi] [smalldatetime] NOT NULL , 
    [neibuyonghu] [nvarchar] (50) COLLATE Chinese_PRC_CI_AS NOT NULL , 
    [title] [nvarchar] (50) COLLATE Chinese_PRC_CI_AS NOT NULL , 
    [timestamp] [datetime] NOT NULL CONSTRAINT [DF_IndexTest_timestamp] DEFAULT (getdate()) 
) ON [PRIMARY]

下面是我的插入数据语句：

set nocount on
declare @i int 
declare @f float 
declare @yh nvarchar(50) 
declare @title nvarchar(50) 
while @d<@endd 
begin 
    set @i=0 
    while @i<100000 
    begin 
        set @f=RAND( (DATEPART(mm, GETDATE()) * 100000 ) + (DATEPART(ss, GETDATE()) * 1000 ) + DATEPART(ms, GETDATE()) )
        set @yh='zhangx' 
        if @f<0.75 
            set @yh='yangm' 
        if @f<0.5 
            set @yh='yangzk' 
        if @f<0.25 
            set @yh='lidg' 
        set @title=cast(RAND( (DATEPART(mm, GETDATE()) * 100000 ) + (DATEPART(ss, GETDATE()) * 1000 ) + DATEPART(ms, GETDATE()) ) as nvarchar) 
        insert into IndexTest(fariqi,neibuyonghu,title) values(@d,@yh,@title) 
        set @i=@i+1
    end 
    set @d=dateadd(day,1,@d) 
end 
print 'over'

本来这是为了插入一年的数据，每天十万条，这样一年就可以3650万条数据了。。。。呵呵。。。构造这个大数据库就是为了方便以后做一些性能测试。。。。。不过。。。。查阅手册发现MSDE数据库总大小不能超过2G，考虑到索引文件的增长，我在插入数据到4月11日左右的时候中止了语句的执行。

BTW：原来我在插入每天之后会显示当前插入的日期的，这里没有，大家如果想看的话自行加上即可。
大家如果机器上硬盘空间足够大的话，可以将全年数据都插入看看，呵呵

 

查询用得语句如下：

declare @d datetime
set @d=getdate()
select gid,fariqi,neibuyonghu,title from IndexTest where fariqi> dateadd(day,-30,'2004-4-10')
print datediff(ms,@d,getdate())

注意，每次我更改索引的时候，删除上一次的索引之后，都会在企业管理器中将该数据库进行收缩，并且选中将文件移到页的其实位置，以便尽可能的收缩数据库。

在没有建立索引的情况下：45000

在gid上建立聚集索引的情况下：40313

在fariqi上建立聚集索引的情况下：37233

 

可是这样看来。。。。。在fariqi上并没有显著的提高呀？奇怪了。。。。。

那位兄弟有空也做做试验？或者看看我的实验中有没有什么问题？

# re: SQL Server 索引结构及其使用（一）[转]   

2005-06-15 10:24 by 吕震宇

呵呵，没想到共同关心的内容又让大家聚到一起了。twodays你好！

@听棠.NET

谢谢你对我的《小议数据库主键选取策略（原创）》提出的两点宝贵意见，对于第一点问题，我已经对文章做了修正。对于第二点问题，吸引我到了这里。

关于测试数据是否真的如文中所说差异如此巨大（在主键上建立聚集索引，在fariq上建立非聚集索引54秒；将聚合索引建立在日期列（fariqi）上2秒），我也表示怀疑。我尚未亲手实验。不过我相信它们之间一定会存在差异。

微软出版的《Microsoft SQL Server 2000数据库编程》一书中指出，在SQL Server 2000中，如果既有聚簇索引又有非聚簇索引时，非聚簇索引的叶节点指针引用不再指向数据节点而是指向聚簇索引节点，(《Microsoft SQL Server 2000数据库编程》P191~P192)这会带来附加的IO操作，文中的检索首先会搜索fariqi上的非聚簇索引，然后定位聚簇索引，然后再根据聚簇索引定位数据。这种定位对于fariqi上的非聚簇索引来说是“连续”的，但对于二次定位的聚簇索引来说却是“跳跃”的。因此性能会降低。而直接在聚簇索引上搜索则要好一些。不用二次定位，同时是在“连续”的数据上读取，速度一定会快。

因此我有个建议，不知是否值得试验一下：
1、在fariqi上建立聚簇索引
2、在gid上建立聚簇索引，在fariqi上建立非聚簇索引
3、只在fariqi上建立非聚簇索引

我猜想时间花费应当是：2>>3>1（2比3慢很多，而3比1只慢一点）。

# re: SQL Server 索引结构及其使用（一）[转]   

2005-06-15 12:41 by 听棠.NET

@吕震宇 :
你好，非常高兴能共同讨论这个问题，你说的情况我完全同意啊。因为我也相信聚簇索引肯定是最快的，因此对于有生成日期的表（如订单）来说，时间概念很强，在主键上建索引不如在fariqi上建索引，你上面说的，好象也是同意这样的观点的。
其实呢，主键建聚集索引是没有多大的意义，因为通过主键去获取记录的话，也就是一条，用非聚集索引与聚集索引的差别差不到哪儿去，而象订单这种查询，一般是在日期作为基准的情况下，fariqi做主键性能会相当显著吧。

# re: SQL Server 索引结构及其使用（一）[转]   

2005-07-11 15:41 by alusnow

我有一个问题，如果在千万级的数据库中需要模糊查询（比如：select * from data where name like '%化工%'）,有没有什么办法？？？

我查了很久的资料，也做了不少的试验，均以失败告终。事实上，这种模糊查询在很多应用场合很有用，谁能讨论讨论这个问题？？？

# re: SQL Server 索引结构及其使用（一）[转]   

2005-07-18 12:34 by ne

我也想知道

# re: SQL Server 索引结构及其使用（一）[转]   

2005-07-18 12:38 by 按时的法

按时的

# re: SQL Server 索引结构及其使用（一）[转]   

2005-07-19 08:53 by 11

请问怎么在索引上建立索引 形成多级

# re: SQL Server 索引结构及其使用（一）[转]   

2005-10-21 13:55 by isa

请问单纯的比较时间有意义吗？
是否应该综合考虑一下cpu负载呢？

# re: SQL Server 索引结构及其使用（一）[转]   

2005-12-14 15:33 by 鞠强

有点进入误区了，最重要的应该是I/O read，其次是CPU time，最后才是duration。同样的sql执行两次，会因为执行计划的预编译，导致速度的极大提升。但是，I/O始终不变。
偶认为，perf tunning的核心，首先要把I/O降下来，尤其对于并发操作，这个太有价值了！

# re: SQL Server 索引结构及其使用（一）[转]   

2005-12-14 15:51 by 鞠强

to twodays，你加的那两种索引，I/O都差不多。如果select出来的result，非常大（选择性低），那么可以用cluster index。如果result很小，那么可以用复合索引：fariqi+select的那几个列。

一般来讲，没有具体的不变的索引设置方式。
你测试的时候，可以打开这个开关：
set statistics io on
然后按一下ctrl+K，把查询计划显示出来。

仔细观察I/O大小，以及对table的扫描方式。

posted on 2006-01-23 14:48 青蛙學堂 阅读(174) 评论(0)  编辑 收藏 引用 所属分类: 數據庫