<![CDATA[linux 系统维护及程序管理]]>

<![CDATA[linux 系统维护及程序管理]]> http://www.6curl.com/index.php zh-cn http://www.6curl.com/post/71/ <![CDATA[Mysql Binlog 定期清除脚本]]> 张明辉 <admin@6curl.com> Sun, 05 Sep 2010 05:24:39 +0000 http://www.6curl.com/post/71/
PURGE MASTER LOGS TO ‘mysql-bin.0010′;

该命令将清除 mysql-bin.0010 文件。

3、清除指定日期前的 binlog。

PURGE MASTER LOGS BEFORE ‘2010-08-01 00:00:00′;
#清除2010年8月的binlog

在 contab 中设置：下面语句定期删除7天前的 binlog

0 1 * * * `mysql -uroot -e ‘PURGE MASTER LOGS BEFORE DATE_SUB( NOW( ), INTERVAL 7 DAY);

Tags - mysql , binlog , backup ]]> http://www.6curl.com/post/70/ <![CDATA[Ubuntu 9.1 上配置静态IP地址]]> 张明辉 <admin@6curl.com> Thu, 26 Aug 2010 12:33:06 +0000 http://www.6curl.com/post/70/ 记录如下：

引用

root@zhangmh:~# cat /etc/network/interfaces
auto eth0
iface eth0 inet dhcp

之前是使用DHCP获取IP.现在该为如下：

引用

root@zhangmh:~# cat /etc/network/interfaces
auto eth0
iface eth0 inet static
###add zhangmh####
address 192.168.1.27
netmask 255.255.255.0
gateway 192.168.0.9

最后重启网卡服务
root@zhangmh:~# ifconfig
如下图：

最后配置DNS

引用

root@zhangmh:~# cat /etc/resolv.conf
nameserver 4.2.2.2
nameserver 8.8.8.

8

完毕！

Tags - ubuntu , ifconfig , ip , dns ]]> http://www.6curl.com/lvm-snapshot/ <![CDATA[LVM创建快照出错]]> 张明辉 <admin@6curl.com> Tue, 27 Jul 2010 08:19:38 +0000 http://www.6curl.com/lvm-snapshot/ 怎么可能阿！！！！

登上服务器一看,备份系统创建LVM 快照时出现了错误,提示：

引用

Insufficient Free Extents for a Logical Volume

于是查看问题：
[root@backup /]# vdisplay
  --- Physical volume ---
  PV Name               /dev/sda2
  VG Name               VolGroup01
  PV Size               558.27 GB / not usable 24.40 MB
  ......
  ......
  Free PE               0
  Allocated PE          17864
  PV UUID               vZilnx-xc6i-0zuE-O5Uf-bFYh-Tgnj-HtpVqU

没空间了?

[root@backup /]# vgs -o +vg_free_count,vg_extent_count
  VG         #PV #LV #SN Attr   VSize   VFree Free #Ext
  VolGroup01   1   3   0 wz--n- 558.25G    0     0 17864

郁闷?

注意:我的LVM上是通过建立LVM快照备份的
所以出现上面的错误(Insufficient Free Extents for a Logical Volume)是正常的.

问题点找到了,剩下的就是添加硬盘了
    *  使用一个物理磁盘创建一个分区。建议将分区类型改为 0x8e（Linux LVM）使用 pvcreate 对物理磁盘进行初始化：pvcreate /dev/hda8。
    * 然后，使用 vgextend 将它添加到现有的 VG 中：vgextend VolGroup01 /dev/hda8。

引用

Note:
因为我只想增加VG的大小,以便能使用快照.至于PV的扩充,不再我的考虑范围内.
参考:
扩展PV,可以使用 lvextend 扩展逻辑卷了：lvextend -L 8G /dev/VolGroup01/data。这个命令将 /dev/VolGroup01/data LV 的大小扩展到 8GB。
lvextend 有一些有用的参数：

    * 如果希望让 LV 增加 5GB，那么可以使用 -L +5G。
    * 可以指定扩展部分的位置（也就是，用哪些 PV 提供新的空间）；只需将希望使用的 PV 附加在命令后面。
    * 还可以以 PE 为单位指定绝对/相对扩展大

Tags - insufficient , free , extents , for , a , logical , volume , lvm ]]> http://www.6curl.com/post/67/ <![CDATA[mysql4 通过mysql5认证]]> 张明辉 <admin@6curl.com> Mon, 19 Jul 2010 06:23:43 +0000 http://www.6curl.com/post/67/ 因此需要在mysql5上授权mysql4客户端。

方法如下：

引用

mysql> GRANT SELECT ON somedatabase.sometables TO 'some_user'@'some_hosts' identified by 'password';
mysql> update mysql.user set PassWord = OLD_PASSWORD('newpassword')
-> where Host = 'some_host' and user = 'some_user';
mysql> flush privileges;

Tags - mysql , mysql4 , mysql5 ]]> http://www.6curl.com/post/65/ <![CDATA[linux sort 使用]]> 张明辉 <admin@6curl.com> Fri, 16 Jul 2010 09:54:08 +0000 http://www.6curl.com/post/65/ 简单举例：

1: 删除交集,不同的部分放到一个新文件中。
cat list.txt list.txt.old | sort | uniq -u > list.txt.new

2: 取出两个文件的并集,重复的行只保留一份.
cat file1 file2 | sort | uniq > file3

3: 取出两个文件的交集,只留下同时存在于两个文件中的文件.
cat file1 file2 | sort | uniq -d >file3
Tags - linux , sort , uniq , shell ]]> http://www.6curl.com/post/64/ <![CDATA[mysql 之 prompt 解决登录环境设置]]> 张明辉 <admin@6curl.com> Wed, 07 Jul 2010 05:09:37 +0000 http://www.6curl.com/post/64/ 还好,Mysql中有个prompt可以设置登录环境变量
如下效果:

引用

[root@node2 data]# /opt/app/mysql4/bin/mysql
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1 to server version: 4.0.27-hi4

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

root@localhost:mysql.sock[(none)] 11:55:18>use mysql;
Database changed
root@localhost:mysql.sock[mysql] 11:55:27>\q
Bye

实现上面的效果可以编辑my.cnf文件,添加:

[mysql]
prompt=\\U:\\p[\d] \\R:\\m:\\s>

\u:连接用户

\h:连接主机

\d:连接数据库

\r:\m:\s:显示当前时间

参考:http://www.himysql.com/mysql/mysql-prompt-customize.html#more-65

Tags - prompt , mysql , path ]]> http://www.6curl.com/apache-mod_layout/ <![CDATA[apache-mod_layout的使用 [原创]]]> 张明辉 <admin@6curl.com> Thu, 17 Jun 2010 09:07:46 +0000 http://www.6curl.com/apache-mod_layout/ 什么是SSI ?
SSI是嵌入HTML页面中的指令，在页面被提供时由服务器进行运算，以对现有HTML页面增加动态生成的内容，而无须通过CGI程序提供其整个页面，或者使用其他动态技术。
至于什么时候应当用SSI ，而什么时候应当用某些程序生成整个页面，取决于页面中有多少内容是静态的，又有多少内容需要在每次页面被提供时重新计算。SSI是一种增加小段动态信息的好方法，比如当前时间。如果你的页面大部分内容是在被提供时动态生成的，那就要另找方案了.

以上是apache 官方的解释,而在apache 里面的实现就是通过mod_include模块实现.要使服务器允许SSI,必须在httpd.conf或.htaccess文件中有如下配置：

AddType text/html .shtml
AddOutputFilter INCLUDES .shtml    ####声明那些文件后缀使用ssi
Options +Includes                           ####启用ssi指令

首先我们分析下ssi原理和设置:
     1:全文式的搜索文件内容来寻找源码的Include标签,消耗大量cpu资源
     2:而大量的html文件是不经常更改的,所以无法随意的修改文件后缀(shml),尽管我可以更改如下：
     AddType text/html .shtml html
     AddOutputFilter INCLUDES .shtml html
     但是我其他没有include标签的html似乎很无辜!
     3:通过设置"XBitHack on“似乎能解决一些问题,但也仅仅是杯水车薪。
     当然ssi对系统性能的影响完全大于我们对他的需求
     今天的web不是几年前的web那么简单,不是几个简单的html就能搞定的事,大量内容的发布似拖动了整个页面的更新.往往这些更新只是局部的,这样的开销开销似乎很不合算.SSi就是满足了我们这点.
那有没有更简单的方式实现服务器端包含呢？
答案是有的！

今天我们介绍通过apache的第三方模块实现对现有HTML文档增加动态内容的方法
mod_layout
mod_layout(http://tangent.org/362/mod_layout.html)是一个Apache模块,它支持html网页内容自动插入来自其他URL或者文件输出的内容来子作为指定网页的页眉和页脚。目前支持mod_perl,PHP 和 Apache JServ.和几乎任何类型的处理程序。

据我了解sina就是使用mod_layout！

[root@node2 extra]# curl --head www.sina.com.cn
HTTP/1.0 200 OK
Date: Thu, 17 Jun 2010 08:22:02 GMT
Server: Apache/2.0.54 (Unix)
Last-Modified: Thu, 17 Jun 2010 08:21:00 GMT
Accept-Ranges: bytes
X-Powered-By: mod_xlayout_jh/0.0.1vhs.markIII.remix
Cache-Control: max-age=60
Expires: Thu, 17 Jun 2010 08:23:02 GMT
Vary: Accept-Encoding
X-UA-Compatible: IE=EmulateIE7
Content-Type: text/html
Age: 48
Content-Length: 555586
X-Cache: HIT from sh201-20.sina.com.cn
Connection: close

[root@node2 extra]# curl --head http://sh.house.sina.com.cn/
HTTP/1.1 200 OK
Date: Thu, 17 Jun 2010 08:29:36 GMT
Server: Apache/2.2.6 (Unix)
Last-Modified: Thu, 17 Jun 2010 08:18:35 GMT
Accept-Ranges: bytes
Cache-Control: max-age=1800
Expires: Thu, 17 Jun 2010 08:59:36 GMT
X-Powered-By: ModLayout/5.1
Vary: Accept-Encoding
Connection: close
Content-Type: text/html

INSTALL步骤如下:
Red Hat Enterprise Linux Server release 5.4 (Tikanga)
Server version: Apache/2.2.11 (Unix)
我的apache安装在/opt/app/apache(根据自己的编译环境选择)

软件下载:
wget http://fetus.k-hsu.net/document/webmaster/diary2/binary/20060315_modlayout.tar.gz
apache的安装省略！

引用

[root@node2 httpd-2.2.14]# tar -zxvf 20060315_modlayout.tar.gz
mod_layout/
mod_layout/mod_layout-4.0.1a/
mod_layout/mod_layout-4.0.1a/Makefile
.................
.................
mod_layout/mod_layout-4.0.1a/ChangeLog
mod_layout/mod_layout-4.0.1a/modules.mk
mod_layout/liblayout.so
[root@node2 httpd-2.2.14]# cd mod_layout/
[root@node2 mod_layout]# ls
liblayout.so  mod_layout-4.0.1a
[root@node2 mod_layout]# cd mod_layout-4.0.1a/
[root@node2 mod_layout-4.0.1a]# ls
ChangeLog     layout.c   layout.o      Makefile           mod_layout.h       mod_layout.lo   modules.mk     proto.h    utility.la  utility.slo
directives.h  layout.la  layout.slo    mod_layout.c       mod_layout.h.orig  mod_layout.o    patches        README     utility.lo  version.h
INSTALL       layout.lo  liblayout.la  mod_layout.c.orig  mod_layout.la      mod_layout.slo  protobuild.pl  utility.c  utility.o
[root@node2 mod_layout-4.0.1a]# vi Makefile

修改完成后保存退出
[root@node2 mod_layout-4.0.1a]# make
/opt/app/apache2/bin/apxs -c mod_layout.c
//opt/app/apache2/build/libtool --silent --mode=compile gcc -prefer-pic   -DLINUX=2 -D_REENTRANT -D_GNU_SOURCE -g -O2 -pthread -I//opt/app/apache2/include  -I//opt/app/apache2/include   -I//opt/app/apache2/include   -c -o mod_layout.lo mod_layout.c && touch mod_layout.slo
//opt/app/apache2/build/libtool --silent --mode=link gcc -o mod_layout.la  -rpath //opt/app/apache2/modules -module -avoid-version    mod_layout.lo
/opt/app/apache2/bin/apxs -c utility.c
//opt/app/apache2/build/libtool --silent --mode=compile gcc -prefer-pic   -DLINUX=2 -D_REENTRANT -D_GNU_SOURCE -g -O2 -pthread -I//opt/app/apache2/include  -I//opt/app/apache2/include   -I//opt/app/apache2/include   -c -o utility.lo utility.c && touch utility.slo
//opt/app/apache2/build/libtool --silent --mode=link gcc -o utility.la  -rpath //opt/app/apache2/modules -module -avoid-version    utility.lo
/opt/app/apache2/bin/apxs -c layout.c
//opt/app/apache2/build/libtool --silent --mode=compile gcc -prefer-pic   -DLINUX=2 -D_REENTRANT -D_GNU_SOURCE -g -O2 -pthread -I//opt/app/apache2/include  -I//opt/app/apache2/include   -I//opt/app/apache2/include   -c -o layout.lo layout.c && touch layout.slo
//opt/app/apache2/build/libtool --silent --mode=link gcc -o layout.la  -rpath //opt/app/apache2/modules -module -avoid-version    layout.lo
/opt/app/apache2/bin/apxs -o liblayout.la -c mod_layout.lo utility.lo layout.lo
//opt/app/apache2/build/libtool --silent --mode=link gcc -o liblayout.la  -rpath //opt/app/apache2/modules -module -avoid-version    mod_layout.lo utility.lo layout.lo
#/opt/app/apache2/bin/apxs -c -o liblayout mod_layout.lo utility.lo layout.lo
#/opt/app/apache2/bin/apxs -i -a mod_layout.la
[root@node2 mod_layout-4.0.1a]# make install
make[1]: Entering directory `/opt/app/mod_layout/mod_layout-4.0.1a'
//opt/app/apache2/build/libtool --silent --mode=install cp mod_layout.la //opt/app/apache2/modules/
make[1]: Leaving directory `/opt/app/mod_layout/mod_layout-4.0.1a'
..............
...........
.......
chmod 755 //opt/app/apache2/modules/liblayout.so
+--------------------------------------------------------+
| All done.                                              |
|                                                        |
| You will need to add the directive:                    |
| LoadModule layout_module modules/liblayout.so          |
|                                                        |
| So that you can begin to use mod_layout.               |
|                                                        |
| Thanks for installing mod_layout.                      |
+--------------------------------------------------------+

出现以上,证明安装没有问题
确保http.conf 配置文件里面有这行:

LoadModule layout_module modules/liblayout.so

#############################################################
建立一个虚拟主机测试:

###############################################################
[root@node2 mod_layout-4.0.1a] echo "header" >　/var/www/html/header.html
[root@node2 mod_layout-4.0.1a] echo "footer" >　/var/www/html/footer.html

完成！
Tags - apache , ssi , mod layout ]]> http://www.6curl.com/post/61/ <![CDATA[squid 3.0 文件数导致当机]]> 张明辉 <admin@6curl.com> Mon, 07 Jun 2010 11:31:01 +0000 http://www.6curl.com/post/61/ 查看cache.log

client_side.cc(2843) WARNING! Your cache is running out of filedescriptors

根据经验可能是文件描述符的数量使用完了
郁闷!
echo “132096″ > /proc/sys/fs/file-max"
调整后,重启Squid ,OK！
系统默认的设置一般是如下：

cat /proc/sys/fs/file-nr
7125 0 767196

引用

7125：总共打开的文件描述符的数量（从系统开机开始算, 所有打开的文件描述符的数量）
0：总共的空闲的文件描述符的数量
767196：最大能打开的文件描述符的数量

PS1:尤其是针对大并发大连接数Web,squid等应用服务器,还是调大的保险!!

Tags - squid , web , apache ]]> http://www.6curl.com/post/60/ <![CDATA[普通用户编译RPM包]]> 张明辉 <admin@6curl.com> Tue, 01 Jun 2010 06:57:12 +0000 http://www.6curl.com/post/60/
      # useradd -m -s /bin/bash zhangmh
      # passwd zhangmh

   2. 切换到该用户：

      # su - zhangmh

   3. 创建必须的目录，并设置变量：

引用

      $ mkdir $HOME/rpm
      $ mkdir $HOME/rpm/SOURCES
      $ mkdir $HOME/rpm/SPECS
      $ mkdir $HOME/rpm/BUILD
      $ mkdir $HOME/rpm/SRPMS
      $ mkdir $HOME/rpm/RPMS
      $ mkdir $HOME/rpm/RPMS/i386

      $ echo "%_topdir $HOME/rpm" >> $HOME/.rpmmacros

Tags - rpm , bulid , linux , redhat ]]> http://www.6curl.com/lighttpd-modcache/ <![CDATA[lighttpd+modcache VS Nginx+proxy_store]]> 张明辉 <admin@6curl.com> Fri, 28 May 2010 04:06:41 +0000 http://www.6curl.com/lighttpd-modcache/ 目前Nginx 做缓存服务器也不是什么新鲜事了,起初nginx 支持缓存的时候也是为了缓解后端服务器的压力,当有请求时,Nginx才会把相应的文件保存在本地磁盘上，以备下次处理相同请求时使用。这样的配置可以当作简单的cache server来用，实现与Lighttpd mod_cache基本相同的功能。(也是我们今天搭建的服务)
Lighttpd和Nginx都有很好的性能，Lighttpd mod_cache具备简单的缓存过期功能并支持PURGE方法，Nginx的proxy_store则不具备这样的功能，所以Nginx的proxy_store适合缓存永远不需要更新的对象。

而目前Nginx 的优势就是它支持更对的模块,尤其是Rewrite 比Lighttpd 更好实现.
下面就是Nginx 简单通过proxy_store 方式实现的缓存配置

引用

upstream backend {
server 192.168.0.1:80;
}
server {
listen 80;
server_name www.example.com;
location / {
root /data/www;
error_page 404 = /fetch$uri;
}
location /fetch {
internal;
proxy_pass http://backend;
proxy_store on;
proxy_store_access user:rw group:rw all:r;
proxy_temp_path /data/temp;
alias /data/www;
}
}

今天我们尝试使用Lighttpd mod_cache 实现小图片的缓存。
安装环境如下:
操作系统: CentOS release 5.2 (Final)
Kernel: 2.6.18-92.el5PAE

软件列表
ftp://oss.sgi.com/projects/fam/download/fam-latest.tar.gz
http://www.gnome.org/~veillard/gamin/sources/gamin-0.1.10.tar.gz
ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-7.9.tar.gz
http://www.linux.com.cn/modcache/lighttpd-1.4.23.modcache.v.1.8.0.tar.gz

软件存放位置
/data/software

安装过程

引用

#cd /data/software/pkg
安装依赖插件pcre, fam, gamin
关于FAM http://oss.sgi.com/projects/fam/faq.html
关于gamin http://www.gnome.org/~veillard/gamin/overview.html
See also: http://trac.lighttpd.net/trac/wiki/server.stat-cache-engineDetails
#tar zxvf ../pcre-7.9.tar.gz
#cd pcre-7.9
#./configure
#make && make install
#cd ..
#tar zxvf ../fam-latest.tar.gz
#cd fam-2.7.0/
#./configure
#make && make install
#cd ..
#tar zxvf ../gamin-0.1.10.tar.gz
#cd gamin-0.1.10
#./configure
#make && make install

安装lighttpd with modcache

引用

#cd /data/software/pkg
#tar zxvf ../lighttpd-1.4.23.modcache.v.1.8.0.tar.gz
#cd lighttpd-1.4.23
#./configure --with-fam --prefix=/usr/local/lighttpd
#make && make install

编辑lighttpd配置文件

#cp doc/lighttpd.conf /etc/
#vi /etc/lighttpd.conf

#启用的modules
server.modules              = (
                                "mod_redirect",
                                "mod_access",
                                "mod_status",
                                "mod_cache",
                                "mod_proxy",
                                "mod_compress",
                                "mod_expire",
                                "mod_accesslog" )
server.pid-file            = "/var/run/lighttpd.pid"
server.max-keep-alive-requests = 16
server.max-keep-alive-idle = 4
server.max-read-idle = 60
server.max-write-idle = 360
server.event-handler = "linux-sysepoll" #使用epoll作为事件处理
server.network-backend = "linux-sendfile"#使用sendfile
server.max-fds = 65535 #修改最大file descriptions，跟squid相同
server.stat-cache-engine = "fam"#启用fam作为stat处理方法
cache.support-queries = "enable"#此项打开以后缓存文件时将忽略?，即a.jpg?xxx和a.jpg?xyz都等同于a.jpg
cache.bases = ("/srv/lcache")#指定本地缓存存放路径
#定义刷新
cache.refresh-pattern = (
        "\.(?i)(flv)$" => "0 fetchall-for-range-request flv-streaming", # to work with mod_flv_streaming for flv files
        "\.(?i)(js|css|xml)$" => "10080", # update js/css/xml every 7 days and on refresh requests
        "\.(?i)(htm|html|shtml)$" => "10080", # update html/htm/shtml every 7 days and on refresh requests
        "\.(?i)(jpg|bmp|jpeg|gif|png)$" => "60", # update graphics files every 2 hours
        "\.(?i)(rar|zip|wmv|avi|mp3|ape|rm|mpeg|mpg|wma|asf|rmvb|flv)$" => "0 fetchall-for-range-request", # cache media file forever
        "." => "60 update-on-refresh" # default to update every hour and on refresh requests
)
cache.purge-host = "^(192\.168\.)"#允许purge的ip
#保存缓存时忽略站点主机名（需要多个站点缓存不同文件的不要启用）
cache.ignore-hostname = "enable"
#后端服务器（源站）
proxy.server               = ( "/" =>
                               ( "localhost" =>
                                 (
                                   "host" => "192.168.1.15",
                                   "port" => 80
                                 )
                               )
                             )
proxy.worked-with-mod-cache = "enable"#这项一定要启用
#设置指定IP允许查看服务器状态和缓存命中率
$HTTP["remoteip"] =~ "192\.168\.1\.*" {
  status.status-url          = "/server-status"
  status.stastics-url        = "/cache-status"
}
#防盗链
$HTTP["referer"] !~ "^($|<a href="http://." target="_blank">http://.</a>*\.(baidu\.com|google\.com|google\.cn))" {
    url.redirect = ( ".*" => "http://img1.6curl.com/a.jpg" )
}

启动lighttpd
#/usr/local/lighttpd/sbin/lighttpd -f /etc/lighttpd.conf

参考文档
http://redmine.lighttpd.net/projects/1/wiki/Docs:Performance
http://blog.fosketts.net/2009/06/29/tuning-lighttpd-linux/
http://trac.lighttpd.net/trac/wiki/server.stat-cache-engineDetails

关于日志rotate和启动脚本
http://www.cyberciti.biz/tips/lighttpd-rotating-logs-with-logrotate.html
http://www.cyberciti.biz/tips/redhat-enterprise-linux-lighttpd-fastcgi-php.html
Tags - lighttpd , modcache , squid , cache ]]>