IT博客-金鳞-文章分类-perl

用perl分析apache日志

金鳞 — Wed, 27 May 2009 07:56:00 GMT

原文出处：http://hi.baidu.com/smallfish_xy/blog/item/2bc4d4232d23e0ac4723e822.html

功能简述

    统计出日志里一个或多个页面总共访问的次数，比如aa.jsp, bb.jsp这样页面分别多少次。

实现简述

    Apache单个日志文件800M。

    最初程序使用Python编写，按行来统计，分别使用in(最慢)和index方法去查找，然后使用了正则匹配，程序运行时间从最初的1分50多秒优化到1分10秒左右，参考了qyb博客中提到的gc.disable()，有了一定的提升，最终还是需要1分左右。

     然后随意用了Perl写了一个，用了最土鳖的这样的按行分析，最后正则匹配，然后++，速度竟然在40-50秒之间，惊叹！后来经过shucho指点，在正则部分采用了预编译，效果那是相当惊人！800M文件只用了7秒左右。

程序片段

# --------------------------------------------------------------------
use strict;
use Benchmark;

my $LOG_FILE = '/usr/local/apache/logs/access.log';
# 下面qr部分起了关键作用，预编译了表达式。
my @EXT_LIST = map {qr/$_/} qw{
aaServlet
bbServlet
};
#qr表示建立正则；map映射，功能可以理解为foreach。

my $startime = new Benchmark;
my %result;
map {$result{$_} = 0} @EXT_LIST; #赋初值
open LOG_FILE, $LOG_FILE;
while (){
    foreach my $ext (@EXT_LIST)
        { $result{$ext}++ if $_ =~ /$ext/; }
}
close LOG_FILE;

while (my ($key, $value) = each(%result)){
    $key =~ s/$\?-xism:(.*?)$/$1/g;
    print "$key:\t$value\n";
}

printf "** %s\n\n", timestr(timediff(new Benchmark, $startime));

金鳞 2009-05-27 15:56 发表评论

通过脚本学Perl语句

金鳞 — Thu, 11 Dec 2008 07:48:00 GMT

自：http://www.builder.com.cn/2002/0517/48549.shtml

作为一名程序员我得应付各种五花八门的客户问题。最近做一个活的时候，编程中要求从某种应用程序中导出用符号分隔的普通文件并且对其进行格式化，这样才能把它导入另一种应用程序。这个文件中的数据包含了3000个数据项，而且项目描述采用了变长字段，我得设法把这种格式转换成3个30字符长的字段。方法有二：使用文本编辑器编辑3000个条目或者写一个Perl脚本来完成这一任务。显然，我当然得选择第2种方案。

脚本

清单A 就是我编写的脚本。这里我也不拿什么算法和程序设计说事，也就直接带你阅读这个脚本程序来掌握Perl 5的主要语句。这个脚本是在Windows 98计算机上用ActiveState开发的ActivePerl编写的。编写和测试脚本用了三个小时，确定基本算法用了大约一个小时，另两个小时是程序的反复精练。

这是一个“快餐型”的脚本程序，不过话又说回来，就说明Perl的关键的功能和构造而言还是足够了

$input = “Inventory.txt”; #设置$input为符号分隔文件名
$output = “>inv.txt”; #设置$output为输出文件名

以上的代码显示了Perl的字符串变量定义方式（比如，$variable_name = “string”;）。Perl语句用分号结束（;）。用#符号表示注释。

open (INV, $input); #打开$openme 供读取数据
open (OUTFILE, $output); #打开Inv.txt 供写入数据

Open语句用来打开文件以实现读、写或添加操作。Open语句的第1个参数是将为其他语句作为参数使用的文件句柄（filehandle）的名字（文件句柄是一种数据结构，Perl脚本通过它可以访问文件）。第1个参数是包含文件名字符串的变量。在我定义 $output 时我用 > 告诉解释器打开Inv.txt写入数据。要是为添加数据而打开文件的话就要用到 >> 了。

while语句在执行花括号内的代码之前会对执行条件进行测试。当条件测试为false时即退出循环。在这种情况下，循环会连续执行直到到达文件末尾。

$offset =0; #最初的30字符字段偏移
$TheLine = $_; #设置$TheLine为当前行

接下来的这两行代码声明和初始化输出字符串格式化所需要的两个整数变量。第二行把输入文件的当前行赋给$TheLine变量。Perl用$_当作默认的输入和模式匹配变量。在这个例子中，它的值是由while语句赋予的。

chomp($TheLine); #删除换行符

chomp语句用来删除行终止符，例如换行符等。

@cols = split(" ",$TheLine); #占位符分隔

以上语句介绍了Perl编程中两个不可或缺的方面。Perl语言中的数组以@打头而且被分配了一列元素。split语句有两个参数：将被分隔的字符和被分隔的字符串。Split返回元素列表。

$splitme = $cols[6]; #把第7列的字符串赋给$splitme（项目描述）

上句的作用是指向数组中的元素。数组按照从0到(N-1)的序列索引，其中的N是元素总数。

@splitup = split('',$splitme); #把字符串转换为字符数组
if ($#splitup >= 30) { #如果超过30个字符

以上代码的第二行介绍了第二种条件表达式：if语句。如果If语句括号内的条件得到满足则执行相应的代码。Perl用$#array_name在数组中存储最后一个元素的索引。

for($i = 0; $i <= 10; $i++) { #找出最后10个字符中的第1个空格

现在介绍for循环。Perl语言中的for循环结构类同C、C++或Java等编程语言中的for循环。For循环的语法是这样的：for(initial condition; exit condition; increment statement).

if ($splitup[(30 - $i)]=~ /W/) { #检查空格

这条 if语句中的条件又是一个新概念。这里，我采用了所谓的正则表达式，具体地说就是模式匹配。如果字符串包含空格该语句将返回true。模式匹配条件的语法如下所示：$string =~ /pattern/.

清单B 中的最后一行代码演示了 join函数。Join差不多就是split的反面。Join也有两个参数：分隔符和元素数组。Join会返回一个字符串，这个字符串是通过连接数组元素并在每两个元素之间放置分隔符之后构成的。

在清单C结尾你还会发现一个 else语句。如果 if语句的条件无法满足就会执行else语句牵涉的代码。

if ($#splitup <=0 ){ $newguy = " ";} #如果没有说明就分配3个字段
$cols[6] = $newguy; #在数组中插入 3 个字段描述
$newline = join (" ",@cols); #创建输出字符串
print OUTFILE $newline . " "; #把输出字符串写入文件

现在我们到了写数据的阶段。Print函数用来打印字符串。如果没有给定文件句柄该函数会把结果打印到标准 I/O设备。在示例语句中，只要创建一行数据我就给输出文件写入一行。你可以在字符串之后加上句号。
}#结束while循环
close OUTFILE; #关闭输出文件

这里，循环执行到文件的末尾，于是我们关闭输出文件以便它从内存获取数据存储到磁盘。close语句只有一个参数，也就是它要关闭的文件句柄。

小结

下面就是我在编写以上脚本中用到的Perl知识：

变量（数值变量和数组）
流程控制（while和for循环以及if/else语句）
正则表达式
函数（chomp、join和split）
文件输入/输出

Perl是一种很容易在掌握的脚本编程语言，网上有很多学习资源可以帮助你获得有用的指导信息和相关资料，比如learn.perl.org 和O’Reilly的perl.com都是相当不错的站点。

金鳞 2008-12-11 15:48 发表评论

各种平台下Perl模块的安装方法

金鳞 — Wed, 10 Dec 2008 08:40:00 GMT

Perl到了第五版增加了模块的概念，用来提供面向对象编程的能力。这是Perl语言发展史上　
的一个里程碑。此后，广大自由软件爱好者开发了大量功能强大、构思精巧的Perl模块，极大地　
扩展了Perl语言的功能。CPAN（Comprehensive　Perl　Archive　Network）是internet上Perl模块　
最大的集散地，包含了现今公布的几乎所有的perl模块。　

　　　　几个主要的CPAN站点有：　
　　　　国内：ftp://freesoft.cgi.gov.cn/pub/languages/perl/CPAN　
　　　　　　　　　　http://cpan.qz.fj.cn/　
　　　　国外：http://www.cpan.org/　
　　　　　　　　　　http://www.perl.com/CPAN-local/　

　　　　我在这里介绍一下各种平台下perl模块的安装方法。以安装DBI模块为例。　

1、Linux/Unix下的安装方法：　

　　　　Linux/Unix下安装Perl模块有两种方法：手工安装和自动安装。第一种方法是从CPAN上下载　
您需要的模块，手工编译、安装。第二种方法是联上internet，使用一个叫做CPAN的模块自动完　
成下载、编译、安装的全过程。　

a、手工安装的步骤：　

从CPAN下载了DBI模块1.13版的压缩文件DBI-1.13.tar.gz，假设放在/usr/local/src/下。　
cd　/usr/local/src　
解压缩这个文件：　
tar　xvzf　DBI-1.13.tar.gz　
这时会新建一个DBI-1.13的目录。　
cd　DBI-1.13　

生成makefile：　
perl　Makefile.PL　
建立模块　
make　
测试模块　
make　test　
如果测试结果报告“all　test　ok”，您就可以放心地安装编译好的模块了。安装模块前，先要　
确保您对perl5安装目录有可写权限（通常以su命令获得），执行：　
make　install　

现在，写个程序试试吧。　

#!/usr/bin/perl　-w　
use　strict;　
use　DBI;　
..　
　　

　　　　上述步骤适合于Linux/Unix下绝大多数的Perl模块。可能还有少数模块的安装方法略有差别，　
所以最好先看看安装目录里的README或INSTALL。另外，上述过程是针对动态链接的Perl编译　
器（所有Linux下预安装的Perl都是动态链接的），如果您在使用一个静态链接的Perl，您需要将　
新的模块静态链接到perl编译器中，可能还需要重启机器。　
　　

b、使用CPAN模块自动安装：　

安装前需要先联上线，并且您需要取得root权限。　
perl　-MCPAN　-e　shell　
初次运行CPAN时需要做一些设置，如果您的机器是直接与internet相联（拨号上网、专线，etc.），　
那么一路回车就行了，只需要在最后选一个离您最近的CPAN镜像站点。例如我选的是位于国内的　
中国自由软件库ftp://freesoft.cgi.gov.cn/pub/languages/perl/CPAN　。否则，如果您的机器　
位于防火墙之后，还需要设置ftp代理或http代理。　

获得帮助　
cpan>h　

列出CPAN上所有模块的列表　
cpan>m　

安装模块　
cpan>install　DBI　
自动完成DBI模块从下载到安装的全过程。　

退出　
cpan>q　
　　
　　

2、Win32下的安装方法：　

　　　　在Win32下，建议使用ActiveState的Perl　for　Win32，即ActivePerl。ActivePerl的主页在：　
http://www.activestate.com/　。在Win32下，最好也使用专门为ActivePerl定制的Perl模块。从　
CPAN下载的Perl模块不能很好地在ActivePerl下使用。类似于CPAN模块，ActiveState也开发　
了一个自动安装工具叫做PPM（Perl　Package　Manager）。　

最通常的安装方法是：　
首先联上线　
在dos命令行下启动ppm　
ppm　

获得帮助　
PPM>h　

列出ActiveState站点上所有为Perl模块的清单。　
PPM>search　

安装模块　
PPM>install　DBI　
自动完成DBI模块从下载到安装的全过程。　

退出　
PPM>q　

如果您的机器位于防火墙之后，通过http代理上网，那么可以使用下面的方法。　

对于老的基于perl　5.005的ActivePerl版本（ActivePerl　522以下版本，不包括ActivePerl　522），从　
http://www.ActiveState.com/ppmpackages/5.005/zips/下载您需要的Perl模块，例如DBI.zip。　
将其解压缩在C:\TEMP\DBI下　
cd　\TEMP\DBI　
ppm　install　DBI.PPD　

最新的基于perl　5.6的ActivePerl版本（ActivePerl　613及以上版本）的安装方法略有不同。安　
装ActivePerl　613前需要先安装Microsoft的Windows　Installer。　
Windows　Installer从这里下载：　
http://activestate.com/download/contrib/Microsoft/9x/InstMsi.exe　
ActivePerl　613从这里下载：　
http://activestate.com/download/ActivePerl/Windows/5.6/ActivePerl-5.6.0.613.msi　

对于基于perl　5.6的ActivePerl版本，从　
http://www.activestate.com/PPMPackages/5.6/　
下载您需要的Perl模块的安装描述文件，例如DBI.PPD　
安装模块前需要先联上线　
ppm　install　DBI.PPD。　
　　
　　

　　　　以上较为详细地描述了各种平台下Perl模块的安装方法。希望能够帮助国内Perl爱好者们通过　
使用现有大量优秀的Perl模块，避免重复劳动，提高效率，更好发挥Perl语言的强大威力。　
　　

(http://www.fanqiang.com)
来源:http://www.linuxforum.net David lee

金鳞 2008-12-10 16:40 发表评论

小骆驼9.2习题

金鳞 — Sun, 16 Nov 2008 04:17:00 GMT

题目：

写一个程序，它可以得到当前文本文件的一个拷贝。在拷贝的文件中，字符串Fred(大小写无关)将被Larry 替换掉。
（因此，“Manfred Mann”将变成“ManLarry Mann”.）输入的文件名已经在命令行中指定（不需要询问用户），输出的
文件名是对应的输入文件名后面加上.out。

答案：
#!/usr/bin/perl
my $in = $ARGV[0];
if(not defined $in){
die"Usage:$0 filename";
}
my $out = $in;
$out =~s/\.\w+$/.out/;
unless (open IN,"<$in"){
die"cant open '$in':$!";
}
unless (open OUT,">$out"){
die"cant write '$out':$!";
}
while () {
s/Fred/Larry/gi;
print OUT $_;
}

命令行下输入：C:\Documents and Settings\1>perl D:\study\perl\aixiaoxin.pl ttt.txt回车，即可在相应路径下生成ttt.out文件。

金鳞 2008-11-16 12:17 发表评论

Install perl on windows

金鳞 — Wed, 02 Jul 2008 01:35:00 GMT

1、首先，去网站上下载安装程序。
http://www.activestate.com/Products/?_x=1

2、其次，执行安装（按提示一步一步走）。

3、再次，敲cmd进入终端，
     如果当前目录是c盘，而perl安装在d盘perl文件夹下，那么这时敲入d:，之后回车，就可以从c盘路径进入d盘路径了。

4、Next，敲入perl -v，当出现
“This is perl, version 5.005_02 built for MSWin32-x86-object
   (with 1 registered patch, see perl -V for more detail)
    Copyright 1987-1998, Larry Wall”提示时，表示perl安装成功了。

5、最后，举个例子，运行一次perl。

     1】在记事本或editplus中，写一段perl程序，如
   “#! /usr/bin/perl

use strict;
use warnings;

        my $greeting = "Hello, World!";
         print $greeting,"\n"; # Say hello”

      2】文件要保存成.pl结尾的文件，将文件保存在D:\Perl路径下，取名为 tt.pl 。
      3】在当前目录D:\>下输入D:\Perl\tt.pl，回车即可出现结果。

感谢幻灵游侠和沉默ing 的耐心指导...

金鳞 2008-07-02 09:35 发表评论

三种遍历文件夹方法比较（转载）

金鳞 — Wed, 02 Jul 2008 01:27:00 GMT

本贴对三种遍历文件夹方法比较。
1. 使用File::Find;
2. 递归遍历。(遍历函数为lsr)
3. 使用队列或栈遍历。(遍历函数为lsr_s)

1.use File::Find

CODE:

[Copy to clipboard]

#!/usr/bin/perl -W
#
# File: find.pl
# Author:  路小佳
# License: GPL-2

use strict;
use warnings;
use File::Find;

my ($size, $dircnt, $filecnt) = (0, 0, 0);

sub process {
my $file = $File::Find::name;
#print $file, "\n";
if (-d $file) {
      $dircnt++;
}
else {
      $filecnt++;
      $size += -s $file;
}
}

find(\&process, '.');
print "$filecnt files, $dircnt directory. $size bytes.\n";

2. lsr递归遍历

CODE:

[Copy to clipboard]

#!/usr/bin/perl -W
#
# File: lsr.pl
# Author: 路小佳
# License: GPL-2

use strict;
use warnings;

sub lsr($) {
sub lsr;
my $cwd = shift;

local *DH;
if (!opendir(DH, $cwd)) {
      warn "Cannot opendir $cwd: $! $^E";
      return undef;
}
foreach (readdir(DH)) {
      if ($_ eq '.' || $_ eq '..') {
         next;
      }
      my $file = $cwd.'/'.$_;
      if (!-l $file && -d _) {
         $file .= '/';
         lsr($file);
      }
      process($file, $cwd);
}
closedir(DH);
}

my ($size, $dircnt, $filecnt) = (0, 0, 0);

sub process($$) {
my $file = shift;
#print $file, "\n";
if (substr($file, length($file)-1, 1) eq '/') {
      $dircnt++;
}
else {
      $filecnt++;
      $size += -s $file;
}
}

lsr('.');
print "$filecnt files, $dircnt directory. $size bytes.\n";

3. lsr_s栈遍历

CODE:

[Copy to clipboard]

#!/usr/bin/perl -W
#
# File: lsr_s.pl
# Author: 路小佳
# License: GPL-2

use strict;
use warnings;

sub lsr_s($) {
my $cwd = shift;
my @dirs = ($cwd.'/');

my ($dir, $file);
while ($dir = pop(@dirs)) {
      local *DH;
      if (!opendir(DH, $dir)) {
         warn "Cannot opendir $dir: $! $^E";
         next;
      }
      foreach (readdir(DH)) {
         if ($_ eq '.' || $_ eq '..') {
            next;
         }
         $file = $dir.$_;
         if (!-l $file && -d _) {
            $file .= '/';
            push(@dirs, $file);
         }
         process($file, $dir);
      }
      closedir(DH);
}
}

my ($size, $dircnt, $filecnt) = (0, 0, 0);

sub process($$) {
my $file = shift;
print $file, "\n";
if (substr($file, length($file)-1, 1) eq '/') {
      $dircnt++;
}
else {
      $filecnt++;
      $size += -s $file;
}
}

lsr_s('.');
print "$filecnt files, $dircnt directory. $size bytes.\n";

对我的硬盘/dev/hda6的测试结果。

1: File::Find

CODE:

[Copy to clipboard]

26881 files, 1603 directory. 9052479946 bytes.

real 0m9.140s
user 0m3.124s
sys 0m5.811s

2: lsr

CODE:

[Copy to clipboard]

26881 files, 1603 directory. 9052479946 bytes.

real 0m8.266s
user 0m2.686s
sys 0m5.405s

3: lsr_s

CODE:

[Copy to clipboard]

26881 files, 1603 directory. 9052479946 bytes.

real 0m6.532s
user 0m2.124s
sys 0m3.952s

测试时考虑到cache所以要多测几次取平均, 也不要同时打印文件名，因为控制台是慢设备，会形成瓶颈。
lsr_s之所以用栈而不是队列来遍历，是因为Perl的push shift pop操作是基于数组的， push pop这样成对操作可能有优化。内存和cpu占用大小顺序也是1>2>3.

CODE:

[Copy to clipboard]

                        CPU load       memory
use File::Find          97%             4540K
lsr                      95%             3760K
lsr_s                   95%             3590K

结论: 强烈推荐使用lsr_s来遍历文件夹。

=============再罗嗦几句======================
从执行效率上来看，find.pl比lsr.pl的差距主要在user上，原因是File::Find模块选项较多，条件判断费时较多，而lsr_s.pl比lsr.pl在作系统调用用时较少，是因为递归时程序还在保存原有的文件句柄和函数恢复现场的信息，所以sys费时较多。所以lsr_s在sys与user上同时胜出是不无道理的。

原文地址 http://bbs.chinaunix.net/viewthread.php?tid=907555

金鳞 2008-07-02 09:27 发表评论

IT博客-金鳞-文章分类-perl

用perl分析apache日志

通过脚本学Perl语句

脚本

小结

各种平台下Perl模块的安装方法

小骆驼9.2习题

Install perl on windows

三种遍历文件夹方法比较 （转载）

三种遍历文件夹方法比较（转载）