IT博客-乐在其中-文章分类-技术知识

DOS文件与UNIX文件格式差异详解

小胡子 — Tue, 22 Sep 2009 06:32:00 GMT

工作中，常需要把Linux上的文件拿到Windows下，也常把Windows下的文件拿到Linux下。其中就遇到些文件格式上的问题。今天在网上搜了一些，选了一篇较经典的转载如下：
原文名：DOS文件转换成UNIX文件格式详解
dos格式文件传输到unix系统时,会在每行的结尾多一个^M,当然也有可能看不到,但是在vi的时候,会在下面显示此文件的格式,比如 "dos.txt" [dos] 120L, 2532C 字样,表示是一个[dos]格式文件,如果是MAC系统的,会显示[MAC],因为文件格式的原因有时会导致我们的unix程序,或者shell程序出现错误,那么需要把这些dos文件格式转换成unix格式,方法是
           vi dos.txt :set fileformat=unix :w 　　
       这样文件就转换成unix格式文件了, 一般在windows机器上编写好了文件传到unix下就可能会出现这样的情况.
       用命令:"set ff?”可以看到dos或unix的字样.用:"set ff=unix"把它强制为unix格式，也可以用sed 这样的工具来做: "sed 's/^M//' filename > tmp_filename" 其中^M是同时Ctrl+V+M按出来的，表示回车。其它“怪招”：
1. 使用vi vi dos_file.txt :%s/^M//g 其中^M 必须是同时按 Ctrl+V+M ，表示回车。不是直接输入 ^M ，那没有用的，　:-) 。
2. 使用tr 命令：tr -d "\015" dos_file.txt
3. 使用perl cat dos_file.txt | perl -pe '~s/\r//g' > dos_file.txt
【VIM】DOS、Mac 和 Unix 文件
http://vimcdoc.sourceforge.net/doc/usr_23.html
很久以前，老式的电传打字机使用两个字符来另起新行。一个字符把滑动架移回首位 (称为回车，)，另一个字符把纸上移一行 (称为换行，)。   当计算机问世以后，存储器曾经非常昂贵。有些人就认定没必要用两个字符来表示行尾。UNIX 开发者决定他们可以用一个字符来表示行尾。Apple 开发者规定了用。开发 MS-DOS (以及微软视窗) 的那些家伙则决定沿用老式的。   那意味着，如果你试图把一个文件从一种系统移到另一种系统，那么你就有换行符方面的麻烦。Vim 编辑器自动识别不同文件格式，并且不劳你操心就把事情给办妥了。选项 'fileformats' 包含各种各样的格式，Vim 会在编辑一个新文件之初尝试该选项定义的各种格式。例如，下面这个命令告诉 Vim 先尝试用 UNIX 格式，其次，尝试MS-DOS 格式:
        :set fileformats=unix,dos

编辑一个文件时，你将注意到 Vim 给出的信息消息报中包括文件所用的格式。如果你编辑的是本地格式文件 (你编辑的文件格式和所用系统一致)，你就不会看到任何格式名。因此在 Unix 系统上编辑一个 Unix 格式文件不会产生任何关于格式的信息。但你若编辑一个 dos 文件，Vim 将这样通知你:
        "/tmp/test" [dos] 3L，71C

如果是 Mac 文件，你会看到 "[mac]",探测到的文件格式会被存入 'fileformat' 选项。执行下面这个命令可以显示你当前使用的文件格式:
        :set fileformat?

Vim 能使用的三种格式如下:

        unix
        dos
        mac

使用 MAC 格式

在 Unix 上，用于分行。但字符混在文本行中间也非罕见。这种情况碰巧经常发生在 Vi (和 Vim) 脚本内。   在采用作为换行符的 Macintosh 上，字符也有可能混在文本行中间。结果，很难 100% 肯定一个同时包含和的文件究竟是 Mac 还是 Unix 格式。所以，Vim 假设你一般不会在 Unix 上编辑一个 Mac 文件，所以干脆对这种文件格式不作检查。果真要检查此种格式，就把 "mac" 加入 'fileformats':
        :set fileformats+=mac

然后 Vim 就会猜测文件格式。要当心， Vim 可能会猜错的。

强制格式

如果你用往日美好的 Vi 来尝试编辑一个采用 MS-DOS 格式的文件，你将会发现每一行的末尾有个 ^M 字符。(^M 就是 )。而 Vim 的自动探测功能就避免了这个问题。莫非你确实要按那个样子来编辑这个文件吗？那么你需要强制 Vim 忽略文件格式而使用你指定的格式:
        :edit ++ff=unix file.txt

字符串 "++" 告诉 Vim 后面跟的是选项名，以取代其默认值。但仅作用于这一个命令。"++ff" 用于 'fileformat' 选项。你也可以用 "++ff=mac" 或 "++ff=dos"。这样用法并非适用于任意选项，目前 Vim 仅仅实现了 "++ff" 和 "++enc"。用全称"++fileformat" 和 "++encoding" 也行。

转换

你可以用 'fileformat' 选项把文件从一种格式转换为另一种。例如，假定你有个名为README.TXT 的 MS-DOS 文件，你要把它转换成 UNIX 格式。首先编辑这个采用 MS-DOS格式的文件:
        vim README.TXT

Vim 将识别出那是一个 dos 格式文件。现在把这个文件的格式改为 UNIX:
        :set fileformat=unix
        :write

这个文件就以 Unix 格式存盘了。

小胡子 2009-09-22 14:32 发表评论

AIX5.3+weblogic92性能不如普通PC的真正原因找到了

小胡子 — Mon, 22 Sep 2008 07:37:00 GMT

今天帮基金项目组解决weblogic启动error问题时，无意在网上看到一篇AIX+WEBLOGIC性能诊断的文章，终于了解为什么我们之前在aix做性能测试不如普通pc的真正原因：

由于应用配置了IBM的64位JDK，而WebLogic缺省是32位的Native IO库，导致没有使用Native IO，实际上还在用的Java I/O（这一点在上面的日志中就可以看出来），而我们一直以为系统是运行在Native IO模式下，因此性能受到很大影响（这样至少有30%以上的性能影响）。

      解决办法：
      1）找到weblogic的64位的native io包libmuxer.so配置到系统lib路径中。
      2）Java虚拟机存在问题，建议升级JDK及相关补丁，/usr/java5_64/jre/bin/libj9gc23.so
            这个文件中ibm的jdk1.5.0的初始版本中是存在bug的需要打一个补丁。

小胡子 2008-09-22 15:37 发表评论

oracle10G下清除用户下的所有对象【转载】

小胡子 — Fri, 27 Jun 2008 02:58:00 GMT

一、执行这样一个存储过程

DECLARE
TYPE name_list IS TABLE OF VARCHAR2(40);
TYPE type_list IS TABLE OF VARCHAR2(20);

Tab_name name_list:=name_list();
Tab_type type_list:=type_list();

sql_str VARCHAR2(500);
BEGIN
sql_str := 'select uo.object_name,uo.object_type from user_objects uo where uo.object_type not in(''INDEX'',''LOB'') and uo.object_name not like ''BIN%'' order by uo.object_type desc';
EXECUTE IMMEDIATE sql_str BULK COLLECT INTO tab_name,tab_type;
FOR i IN Tab_name.FIRST.. Tab_name.LAST LOOP
if Tab_type(i) = 'TABLE'
then
sql_str := 'DROP ' || Tab_type(i) || ' ' || Tab_name(i) || ' cascade constraint';
else
sql_str := 'DROP ' || Tab_type(i) || ' ' || Tab_name(i) ;
end if;
dbms_output.put_line(sql_str);
EXECUTE IMMEDIATE sql_str;

END LOOP;
END;

二、清除10G的垃圾回收站。

purge recyclebin;

小胡子 2008-06-27 10:58 发表评论

解决jsf 上传文件过大会没有错误提示

小胡子 — Tue, 10 Jun 2008 13:52:00 GMT

由于上传文件过大会没有错误提示,绕了一大圈，还使用AOP 进行异常捕获，发现还是行不通！最后搜索发现只有修改
org.apache.myfaces.webapp.filter.MultpartRequestWrapper类,添加了对FileUploadBase.SizeLimitExceededException异常处理，这个方法最直接有效
修改部分的MultpartRequestWrapper

try{
            requestParameters = fileUpload.parseRequest(request);
        } catch (FileUploadBase.SizeLimitExceededException e) {

            // TODO: find a way to notify the user about the fact that the uploaded file exceeded size limit

            if(log.isInfoEnabled())
                log.info("user tried to upload a file that exceeded file-size limitations.",e);

            requestParameters = Collections.EMPTY_LIST;
        FacesMessage message = new FacesMessage(
                FacesMessage.SEVERITY_ERROR,
                "文件超出指定大小","文件超出指定大小");
            FacesContext.getCurrentInstance().addMessage(
                null, message);

        }

小胡子 2008-06-10 21:52 发表评论

java5 unix/linux 中文字体配置说明

小胡子 — Mon, 28 Apr 2008 03:04:00 GMT

我们项目经常会发现在Linux下（目前是在AX unix下），java应用程序的中文会变成一个一个的“口”字，这样会给我们的使用带来很多的困扰。但是我们又不愿意放弃Linux和java的便捷。
怎么来解决这个问题呢？

其实，要解决这个问题也挺简单。

咱们首先来说说产生这个问题的原因。java程序启动的时候会去在$JAVA_HOME/jre/lib/fonts目录下寻找相应的字体来显示。由于JDK默认没有中文字体，所以我们需要手工的来设置一下，让java应用程序能够找到相应的中文字体。这样就能够解决问题了

基本步骤如下：
1)cd $JAVA_HOME/jre/lib/fonts
2)mkdir fallback
3)cp xxx.ttf fallback #xxx.ttf代表你想要的中文字体文件

其实，我们可以一条命令解决这个问题。将Linux系统的字体目录作为JDK下面的一个字体目录连接。

ln -s $FONTS_PATH/FONT_DIR $JAVA_HOME/jre/lib/fonts/fallback

你在打开你的java应用程序就会看到久违的中文了。

此解决方案在weblogic重启后发现不行了，再重启也不好用！于是我又去网上找到了其他的解决方案，方案如下：

使用jfreechart显示中文为方框，原因是aix5.3没有truetype字体。
aix平台中文TrueType字体配置
第一步：
进入 /usr/java14/jre/lib 目录，备份现有的 font.properties 文件，然后用
font.properties.zh_CN.Redhat 覆盖 font.properties 文件。
当前的环境设置 LANG=C
第二步：
font.properites 文件的最后一行直接指出了字体文件的位置为

/usr/share/fonts/zh_CN/TrueType/zysong.ttf
现在需要准备这个字体文件。
把redhat 的 /usr/share/fonts/zh_CN/TrueType/ 目录打包为 font.tar.gz

第三步:
把 font.tar.gz 拷贝到aix平台，解压缩到相同的目录。

第四步：
重新启动weblogic，jfreechart显示正常。

小胡子 2008-04-28 11:04 发表评论

持续集成工具cruisecontrol2.7配置

小胡子 — Thu, 24 Apr 2008 02:40:00 GMT

持续集成的概念
      持续集成是“极限编程”提出的理论，持续集成的关键是代码构建的完全自动化，读取源代码、编译、连接、测试，整个创建过程都应该自动完成。对于一次成功的创建，要求在这个自动化过程中的每一个步都不能出错，而最重要的一步是测试，只有最后通过测试的创建才是成功的创建。
      cc（cruisecontrol）我不是第一次接触，在我负责第一个项目中就启用此工具，当时版本比较低，研究了几天就简单配好了，难点在于一般文档都是介绍cvs的，而我们公司用的是SVN，因此研究svn的配置花费了1点时间。我非常感谢掌晨雪编写的《持续集成实践之CruiseControl》文档，对我起了很大的帮助！

      cruisecontrol2.7是最新的版本，这个版本和以前相比，更加方便，并且增加了一个新的功能Dashboard，详情可以参看CruiseControl官方网站http://cruisecontrol.sourceforge.net/。这个版本还提供一个简单的例子，下载cruisecontrol-bin-2.7.2.zip并解压。在里面会找到projects、logs目录，在以前是没有的，这些都是要自己手动创建的，现在这个版本方便多了。在这两个目录下可以发现connectfour范例目录。
      来一下cruisecontrol的实现机制吧，如下图所示：

Build Loop：
      持续集成最重要的特征之一就是自动话，而CC的Build Loop就是为支持自动化而设计的，Build Loop也是CC的核心。

      Build Loop从字面上理解就是循环创建的意思，CC提供了一个daemon进程，该进程根据配置的时间间隔（也可以指定某个具体时间）读取CC配置文件并进行循环创建（build cycle），每次CC都会重新加载配置文件config.xml（修改了配置文件不用重新启动CC）。

      Build Loop过程中所做的工作如下：访问源码控制系统，查看是否有代码被修改，如果有，获取源码的新版本，并根据配置对源代码进行一次Build，创建一个日志文件，最后项开发人员通知build的结果，活动图如下：

因为Build Loop是根据配置文件的内容来进行的，根据上面Build Loop所做的工作，我们大概可以猜出配置信息主要应该包括：定时创建的时间和源码库访问信息，创建任务信息（如指定Ant文件），记录日志（创建结果），通知（通知内容可以订制）。

CC配置文件：
CC配置文件范connectfour范例如下：

Config.xml

根元素是，该元素很简单，没什么需要配置的属性。

目前CC支持多项目（multiproject），因此可以有多个并行的元素。支持的子元素包括：

子元素详情可以参看官方文档的说明。
这里只介绍几个常用的子元素：

在创建之前会运行，相当于一个预处理的作用，下面每个子元素都是独立的，因此可以同时配置多个bootstrappers。
CC提供的bootstrappers包括两种，一种用于向其他插件提供项目当前创建的状态，还有一种是从某个源码控制系统更新本地文件，其中最常用的就是和。
指定了状态文件的位置，主要是用来访问项目当前创建的状态，CC的会将创基爱你的状态写入这个文件。
的作用有点难理解，因为我们每次项目的创建都应该基于最新的代码，因此在创建之前就要获得最新的项目文件，如果使用的是ant来完成这个任务，那么buildfile本身在创建开始之前发生了变化，我们是不是应该先更新这个buildfile，然后才通过buildfile来对项目进行构建呢？就是为从源码控制系统更新buildfile文件而设计的（还有一种替代的使用方法是使用wrapper buildfile，这样就不用使用了，wrapper buildfile也是推荐的方法，部分会进行详细的讨论）。

包括了SourceControl插件的配置信息，用于检查各个源码控制系统中是否发生变化，会用到这里的配置信息，如果检测到变化，会触发创建过程。
的属性quietperiod（单位为秒）定义了一个时间值。如果CC检查到了变化，会自检查到变化的源码控制系统的最后一次check in 的时间开始等待，等待时间由quietperiod决定，等待结束之后才触发创建（build）过程，主要是防止有人在check in的过程当中就触发创建过程（可能check in只做了一半，这个时候触发创建显然是不正确的）。

下面是一个modificationset的例子：

例子：

未完成，待续...

小胡子 2008-04-24 10:40 发表评论