(转载) Nutch 初体验

爱易 — Wed, 29 Nov 2006 08:24:00 GMT

前几天看到卢亮的 Larbin 一种高效的搜索引擎爬虫工具一文提到 Nutch，很是感兴趣，但一直没有时间进行测试研究。趁着假期，先测试一下看看。用搜索引擎查找了一下，发现中文技术社区对 Larbin 的关注要远远大于 Nutch 。只有一年多前何东在他的竹笋炒肉中对 Nutch 进行了一下介绍。

Nutch vs Lucene
Lucene 不是完整的应用程序，而是一个用于实现全文检索的软件库。
Nutch 是一个应用程序，可以以 Lucene 为基础实现搜索引擎应用。

Nutch vs GRUB
GRUB 是一个分布式搜索引擎(参考)。用户只能得到客户端工具(只有客户端是开源的)，其目的在于利用用户的资源建立集中式的搜索引擎。
Nutch 是开源的，可以建立自己内部网的搜索引擎，也可以针对整个网络建立搜索引擎。自由(Free)而免费(Free)。

Nutch vs Larbin
"Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。［引自这里］
Nutch 则还可以存储到数据库并建立索引。

［引自这里］

Nutch 的早期版本不支持中文搜索，而最新的版本(2004-Aug-04 发布了 0.5)已经做了很大的改进。相对先前的 0.4 版本，有 20 多项的改进，结构上也更具备扩展性。0.5 版经过测试，对中文搜索支持的也很好。

下面是我的测试过程。

前提条件(这里Linux 为例，如果是 Windows 参见手册)：

Java 1.4.x 。因为我的系统上安装的Oracle 10g 已经有 Java 了。设定环境变量：NUTCH_JAVA_HOME 。
```
[root@fc3 ~]# export NUTCH_JAVA_HOME=/u01/app/oracle/product/10.1.0/db_1/jdk/jre
```
Tomcat 4.x 。从这里下载。
足够的磁盘空间。我预留了 4G 的空间。

首先下载最新的稳定版：

[root@fc3 ~]# wget http://www.nutch.org/release/nutch-0.5.tar.gz

解压缩:

[root@fc3 ~]# tar -zxvf nutch-0.5.tar.gz
......
[root@fc3 ~]# mv nutch-0.5 nutch

测试一下 nutch 命令：

[root@fc3 nutch]# bin/nutch 
Usage: nutch COMMAND
where COMMAND is one of:
  crawl             one-step crawler for intranets
  admin             database administration, including creation
  inject            inject new urls into the database
  generate          generate new segments to fetch
  fetchlist         print the fetchlist of a segment
  fetch             fetch a segment's pages
  dump              dump a segment's pages
  index             run the indexer on a segment's fetcher output
  merge             merge several segment indexes
  dedup             remove duplicates from a set of segment indexes
  updatedb          update database from a segment's fetcher output
  mergesegs         merge multiple segments into a single segment
  readdb            examine arbitrary fields of the database
  analyze           adjust database link-analysis scoring
  server            run a search server
 or
  CLASSNAME         run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
[root@fc3 nutch]#

Nutch 的爬虫有两种方式

爬行企业内部网(Intranet crawling)。针对少数网站进行。用 crawl 命令。
爬行整个互联网。使用低层的 inject, generate, fetch 和 updatedb 命令。具有更强的可控制性。

以本站(http://www.dbanotes.net)为例，先进行一下针对企业内部网的测试。

在 nutch 目录中创建一个包含该网站顶级网址的文件 urls ，包含如下内容：

http://www.dbanotes.net/

然后编辑conf/crawl-urlfilter.txt 文件，设定过滤信息，我这里只修改了MY.DOMAIN.NAME:

# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*dbanotes.net/

运行如下命令开始抓取分析网站内容：

[root@fc3 nutch]# bin/nutch crawl urls -dir crawl.demo -depth 2 -threads 4 >& crawl.log

depth 参数指爬行的深度，这里处于测试的目的，选择深度为 2 ；
threads 参数指定并发的进程这是设定为 4 ；

在该命令运行的过程中，可以从 crawl.log 中查看 nutch 的行为以及过程:

......
050102 200336 loading file:/u01/nutch/conf/nutch-site.xml
050102 200336 crawl started in: crawl.demo 
050102 200336 rootUrlFile = urls 
050102 200336 threads = 4
050102 200336 depth = 2
050102 200336 Created webdb at crawl.demo/db
......
050102 200336 loading file:/u01/nutch/conf/nutch-site.xml
050102 200336 crawl started in: crawl.demo
050102 200336 rootUrlFile = urls
050102 200336 threads = 4
050102 200336 depth = 2
050102 200336 Created webdb at crawl.demo/db
050102 200336 Starting URL processing
050102 200336 Using URL filter: net.nutch.net.RegexURLFilter
......                               
050102 200337 Plugins: looking in: /u01/nutch/plugins                  
050102 200337 parsing: /u01/nutch/plugins/parse-html/plugin.xml        
050102 200337 parsing: /u01/nutch/plugins/parse-pdf/plugin.xml         
050102 200337 parsing: /u01/nutch/plugins/parse-ext/plugin.xml         
050102 200337 parsing: /u01/nutch/plugins/parse-msword/plugin.xml      
050102 200337 parsing: /u01/nutch/plugins/query-site/plugin.xml        
050102 200337 parsing: /u01/nutch/plugins/protocol-http/plugin.xml     
050102 200337 parsing: /u01/nutch/plugins/creativecommons/plugin.xml
050102 200337 parsing: /u01/nutch/plugins/language-identifier/plugin.xml
050102 200337 parsing: /u01/nutch/plugins/query-basic/plugin.xml       
050102 200337 logging at INFO                                          
050102 200337 fetching http://www.dbanotes.net/                        
050102 200337 http.proxy.host = null                                   
050102 200337 http.proxy.port = 8080                                   
050102 200337 http.timeout = 10000                                     
050102 200337 http.content.limit = 65536                               
050102 200337 http.agent = NutchCVS/0.05 (Nutch; http://www.nutch.org/docs/en/bot.html; n
utch-agent@lists.sourceforge.net)
050102 200337 fetcher.server.delay = 1000                              
050102 200337 http.max.delays = 100                                    
050102 200338 http://www.dbanotes.net/: setting encoding to GB18030    
050102 200338 CC: found http://creativecommons.org/licenses/by-nc-sa/2.0/ in rdf of http:
//www.dbanotes.net/
050102 200338 CC: found text in http://www.dbanotes.net/               
050102 200338 status: 1 pages, 0 errors, 12445 bytes, 1067 ms          
050102 200338 status: 0.9372071 pages/s, 91.12142 kb/s, 12445.0 bytes/page
050102 200339 Updating crawl.demo/db                                   
050102 200339 Updating for crawl.demo/segments/20050102200336          
050102 200339 Finishing update                                         
                                                                       64,1           7%
050102 200337 parsing: /u01/nutch/plugins/query-basic/plugin.xml
050102 200337 logging at INFO
050102 200337 fetching http://www.dbanotes.net/
050102 200337 http.proxy.host = null
050102 200337 http.proxy.port = 8080
050102 200337 http.timeout = 10000
050102 200337 http.content.limit = 65536
050102 200337 http.agent = NutchCVS/0.05 (Nutch; http://www.nutch.org/docs/en/bot.html;
 nutch-agent@lists.sourceforge.net)
050102 200337 fetcher.server.delay = 1000
050102 200337 http.max.delays = 100
......

之后配置 Tomcat (我的 tomcat 安装在 /opt/Tomcat) ，

[root@fc3 nutch]# rm -rf /opt/Tomcat/webapps/ROOT*
[root@fc3 nutch]# cp nutch*.war /opt/Tomcat/webapps/ROOT.war
[root@fc3 webapps]# cd /opt/Tomcat/webapps/
[root@fc3 webapps]# jar xvf ROOT.war
[root@fc3 webapps]# ../bin/catalina.sh start

浏览器中输入 http://localhost:8080 查看结果(远程查看需要将 localhost 换成相应的IP)：

搜索测试：

爱易 2006-11-29 16:24 发表评论

(转载) 试用nutch

爱易 — Wed, 29 Nov 2006 03:50:00 GMT

今天看站点的log，发现有几个搜索nutch的反向链接过来。其实我只是在java编码规范一文提了一下这个词，这样的结果肯定让前来的朋友倍感失望。
　　下面将我对nutch的一些试用公布一下，供有兴趣的朋友参阅。需要说明的是，nutch现在没有稳定的release，还在不断地根据反馈进行修改，而且目前还不支持汉语的检索。总而言之，现在这个版本对中国用户而言还不实用。我想，这也应当是一直研究并关注nutch的车东没有写笔记的原因吧。
　　前几天和车东在msn上谈起，觉得目前搭建网站时实现本站检索的最好的方案，是采用车东基于lucene的开源项目web lucene的软件包。而nutch似乎比较适合于建立垂直搜索引擎网站，至少目前如此，我认为。

1、下载安装

　　不知为什么，这个网站不能直接访问。我用的是2003-09-18的打包(有兴趣的朋友可从此下载)，在Red Hat Linux 8.0+JRE 1.4.1+Tomcat 4.1试用通过。

tar zxvf nutch-2003-09-18.tar.gz
cd nutch-2003-09-18 <----命令执行完后所在目录称之为$NUTCH_HOME，仅供描述之用。
ant
ant package
bin/nutch <---如果一切正常，此时应出现“Usage: nutch COMMAND”等字样

2、试运行脚本说明

　　这个脚本是cutting在tutorial中说明的整理。脚本中的命令最好通过脚本依次运行，$s1、$s2和$s3三个变量的赋值表达式是一样的，但三个值不相同，这依赖于运行的上下文。我第一次运行时，就犯了弱智的错误，拆开运行，结果出错。:)

初始准备
	mkdir db	建立目录存放web database
	mkdir segments
	bin/nutch admin db -create	建一个新的空的数据库
第一轮抓取
	bin/nutch inject db -dmozfile content.rdf.u8 -subset 3000	从DMOZ列表中取得URL并加入数据库
	bin/nutch generate db segments	根据数据库内容，生成一个抓取列表(fetchlist)
	s1=`ls -d segments/2* \| tail -1`	刚才生成的抓取列表放在最后一个目录中，取其名
	bin/nutch fetch $s1	利用机器人抓页面
	bin/nutch updatedb db $s1	利用抓取结果更新数据库
第二轮抓取
	bin/nutch analyze db 5	迭代5次分析页面的链接
	bin/nutch generate db segments -topN 1000	将排行前1000个URL生成新的抓取列表
	s2=`ls -d segments/2* \| tail -1`	执行抓取、更新、并迭代2次分析链接
	bin/nutch fetch $s2
	bin/nutch updatedb db $s2
第三轮抓取
	bin/nutch analyze db 2
	bin/nutch generate db segments -topN 1000
	s3=`ls -d segments/2* \| tail -1`
	bin/nutch fetch $s3
	bin/nutch updatedb db $s3
	bin/nutch analyze db 2	（为下一次做准备？）
索引并去重
	bin/nutch index $s1
	bin/nutch index $s2
	bin/nutch index $s3
	bin/nutch dedup segments dedup.tmp
重启tomcat
	catalina.sh start	在./segments所在的目录中启动

3、脚本的改动与下载

　　DMOZ的文件太大了，下载不易，如果仅为实验，似乎也没必要从那里选URL。我改了一下脚本，在$NUTCH_HOME目录下建立一个urls.txt文件，里面一行一个打算搜索的网站的URL，nutch将从这个urls.txt中取站点的URL。
　　脚本可以下载以参考,运行脚本放在$NUTCH_HOME目录下，参考下列命令运行：

sh all.sh

4、提供web检索

　　前面忙活了半天，只是把网页抓回来、解析了网页并做作了索引。下面说明一下如何利用nutch自己带的jsp程序提供检索服务。

cd $TOMCATHOME/webapps
mv ROOT ROOTOLD
mkdir ROOT
cd ROOT
cp $NUTCH_HOME/nutch-2003-09-18.war ./ROOT.war
jar xvf ROOT.war
cd $NUTCH_HOME
$TOMCAT_HOME/bin/shutdown.sh
$TOMCAT_HOME/bin/catalina.sh start

　　此时，如果不出意外，应可以访问了。
　　我的试用URL是http://cdls.nstl.gov.cn/se/，（其中我把nutch改动了一下，没把它放在ROOT目录下），供参考。此时，不要检索汉字，只能检索英文，如hedong 或lucene什么的。

　　试用仓促，难免有错，欢迎朋友进行交流。

参考文献：
基于Lucene/XML的站内全文检索解决方案
http://www.chedong.com/tech/weblucene.html

Lucene学习笔记（2）
http://hedong.3322.org/archives/000208.html

爱易 2006-11-29 11:50 发表评论

IT博客-1，2，3。。。 大道以多岐路亡羊，学者以多方丧生。-随笔分类-信息检索,搜索