JoeCen's 小猫窝

改来又改去

joecen — Thu, 29 Jul 2010 07:26:32 +0000

google同天朝闹翻了以后，feedburner又被墙了。

测试了一下，用feedburner的mybrand功能，设置了feeds.joecen.com子域名作为我的feed的域名。结果是cname过去的ip也已经被封掉了。

无招，只好用回自己的feed：

如果你是使用google reader的话，也可以继续用feedburner的域名：

折腾呀，BS gfw again~

类似文章：修改了feed的地址

记录一个svn诡异的错误

joecen — Thu, 22 Jul 2010 06:41:40 +0000

我的laptop使用ubuntu，另外上面原来自带的win7也没有删除，两个系统共享着一个fat32的分区，popo呀什么需要共享的东西都放在里面。

今天在ubutu下svn update的时候出现下面的诡异错误：

中文：
svn: 无法创建符号连接 “script/xxxx/xxxx.tmp”: 不允许的操作

英文:
svn: Can't create symbolic link 'script/xxxx/xxxx.tmp': Operation not permitted

查找了很久，才恍然大悟：我是在fat32的分区下面进行svn操作的，而svn上面的symbolic link是在ext3分区下面创建的，fat32是不可能支持这种符号链接的。
遂改在ext3分区下面重新checkout，顺利完成。

使用lvm备份快照mysql数据库

joecen — Fri, 25 Jun 2010 06:38:00 +0000

环境

Debian lenny 32位
Dell 1950 Raid 1
LVM2

安装LVM

恢常简单，内核原生支持，只需要用apt安装即可：

apt-get install lvm2

使用LVM

基本的使用方法:

建立PV

为把一个磁盘或分区作为PV，首先应使用 pvcreate 对其初始化，如对IDE硬盘/dev/hdb， “使用整个磁盘，

# pvcreate /dev/sda

这会删除sda上所有的数据，并初始化为lvm的格式

建立vg（卷组）

vgcreate test_vg /dev/sda

然后可用vgdisplay 查看／验证卷组的信息：

# vgdisplay

创建lv（逻辑卷）

lvcreate -L100G –niotest test_vg

该命令就在卷组test_vg上创建名字为iotest，大小为100G的逻辑卷，并且设备入口为/dev/test_vg /iotest（test_vg 为卷组名，iotest为逻辑卷名）。

然后就可以像普通的分区一样，对iotest进行初始化和挂载：

mkfs.ext3 /dev/test_vg/iotest
mount /dev/test_vg/iotest /home/mysql

建立mysql

直接将mysql的数据目录设置为/home/mysql即可。

snapshot的原理

我们知道，LVM snapshot的原理是当一个snapshot创建的时候，仅拷贝原始卷里数据的元数据(meta-data)。
创建的时候，并不会有数据的物理拷贝，因此snapshot的创建几乎是实时的，当原始卷上有写操作执行时，
snapshot跟踪原始卷块的改变，这个时候原始卷上将要改变的数据在改变之前被拷贝到snapshot预留的空间里，
因此这个原理的实现叫做写时复制(copy-on-write)。
在写操作写入块之前，CoW讲原始数据移动到 snapshot空间里，这样就保证了所有的数据在snapshot创建时保持一致。
而对于snapshot的读操作，如果是读取数据块是没有修改过的，那么会将读操作直接重定向到原始卷上，
如果是要读取已经修改过的块，那么就读取拷贝到snapshot中的块。

这样，通常的文件I/0流程有一个改变，那就是在文件系统和设备驱动之间增加了一个cow层，变成了下面这个样子：

file I/0 —> filesystem — >CoW –> block I /O

（上述文字引自 http://blog.wgzhao.com/2008/06/20/LVM-snapshot-on.html）

创建snapshot的命令

lvcreate --size 20G --snapshot --name snap /dev/newvg/iotest

上述命令为iotest创建了一个名为snap的，大小为20G的快照。

使用lvm snapshot备份mysql数据库的过程

FLUSH TABLES
FLUSH TABLES WITH READ LOCK
Create the snapshop (lvcreate -s)
(SHOW MASTER/SLAVE STATUS)
UNLOCK TABLES
Mount snapshot, perform backup
Unmount and discard the snapshot (lvremove)

简单的说，就是先把所有表锁了，然后对逻辑卷建立一个快照（1 秒左右），必要的话show master/slave status把当前的posision记录下来，然后就可以unlock 表，恢复服务了。用脚本来进行上述操作的话，只需要2、3秒即可完成。恢复服务后，可以把snapshot挂载到某个目录下，然后对其进行备份（tar+zip之类）。

与ibbackup相比，使用LVM备份的灵活性更高，比如可以自己选择备份的工具（gzip、7zip甚至不进行压缩直接进行远程拷贝）；做了 snapshot之后也可以不开始进行备份，比如对数据库进行了不确定的操作，这时候就可以先做个snapshot，然后进行观察，如果没有问题的话直接把snapshot删除就可以了，无需要备份。

MYLVMBACKUP

已经有开源的工具实现LVM备份的功能,那就是MyLVMBackup 项目地址是： http://lenzg.net/mylvmbackup/

安装

debian需要提前安装的包包括

libconfig-inifiles-perl, libtimedate-perl, libdbi-perl, libdbd-mysql-perl

解压 mylvmbackup包，进入其目录，运行：

make install

即可完成安装其实安装的只是一个 perl写的脚本和配置文件；

配置

配置文件在

/etc/mylvmbackup.conf

在里面配置好mysql和LVM的基本信息，比如mysql的用户、密码、端口等，LVM的vgname、lvname等；然后是备份的信息，mount在哪里、备份目录等；

最后是gzip 参数–best修改为–fast，当然你也可以用–best，但是备份时间会增加几倍。另外也可以选择其他的压缩工具和参数，具体查看该配置文件。

测试结果

测试数据大小：26G
存储引擎：innodb
备份时间：

ibbackup 16分钟
mylvmbackup (gzip –fast) 12分钟

（ibbackup使用默认参数）

MYLVMBACKUP的问题

从结果上看，mylvmbackup的效果比较好。
不过我们不能用它来进行数据库备份，因为它却有其他的问题:

在我的测试环境中（Dell 1950 RAID1）LVM做了snapshot之后的写入性能非常差，甚至比没有做snapshot之前要慢5-10倍。测试数据如下：

postmark

未做snapshot前的测试:

PostMark v1.51 : 8/14/01
pm>set number 10000
pm>set size 300000
pm>set transactions 10000
pm>run
Creating files...Done
Performing transactions..........Done
Deleting files...Done
Time:
   157 seconds total
   67 seconds of transactions (149 per second)

Files:
   14866 created (94 per second)
   Creation alone: 10000 files (113 per second)
   Mixed with transactions: 4866 files (72 per second)
   4991 read (74 per second)
   0 appended (0 per second)
   14866 deleted (94 per second)
   Deletion alone: 9732 files (4866 per second)
   Mixed with transactions: 5134 files (76 per second)

Data:
   1428.03 megabytes read (9.10 megabytes per second)
   4253.60 megabytes written (27.09 megabytes per second)

做了snapshot之后的结果

pm>set number 10000
pm>set size 300000
pm>set transactions 10000
pm>run
Creating files...
Done
Performing transactions..........Done
Deleting files...Done
Time:
   725 seconds total
   145 seconds of transactions (68 per second)

Files:
   14866 created (20 per second)
   Creation alone: 10000 files (17 per second)
   Mixed with transactions: 4866 files (33 per second)
   4991 read (34 per second)
   0 appended (0 per second)
   14866 deleted (20 per second)
   Deletion alone: 9732 files (9732 per second)
   Mixed with transactions: 5134 files (35 per second)

Data:
   1428.03 megabytes read (1.97 megabytes per second)
   4253.60 megabytes written (5.87 megabytes per second)

dd顺序写

未做snapshot前的测试结果:

time dd if=/dev/zero of=file.l bs=4k count=1000000
1000000+0 records in
1000000+0 records out
4096000000 bytes (4.1 GB) copied, 47.5652 s, 86.1 MB/s

real 0m47.567s
user 0m0.308s
sys 0m12.073s

做了snapshot之后的测试结果:

time dd if=/dev/zero of=file.l bs=4k count=1000000
1000000+0 records in
1000000+0 records out
4096000000 bytes (4.1 GB) copied, 722.703 s, 5.7 MB/s

real 12m2.705s
user 0m0.252s
sys 0m14.653s

按理说，建立snapshot之后，中间是多了一层，但是也没有双重写入，为什么性能会相差几倍甚至十几倍呢？这是我百思不得其解的。询问了一些朋友，也没有发现有这样的情况，不过其他人却是没有使用RAID1这种IO性能比较低的架构。另外在我使用EMC的存储作为磁盘来做LVM的情况下，有无 snapshot的IO性能只相差了20%左右。所以我断定，可能是因为磁盘和RAID1的性能太差导致做了LVM snapshot之后，在低性能的情况下过早出现IO的瓶颈导致的。

firefox下使用ssl访问google的设置

joecen — Mon, 31 May 2010 04:20:25 +0000

自从google匿了之后，search的时候经常被reset，知道google实验室推出了ssl search，不过因为懒的关系，一直都没有怎么去试用过。

今天看到张宴的blog上面的文章快速跳转到Google SSL 中文版的网址：ggssl.com，勾起了我的兴趣。

下面是引用：

国内用户访问 https://www.google.com 默认情况下会跳转到谷歌香港 http://www.google.com.hk，解决方法为先点击“Google.com in English“访问 http://www.google.com/ncr （仅需要点击一次），该网址会种一个Cookie，防止跳转，再设置搜索语言为中文，再输入 https://www.google.com 即可。

的确是很不错的方法，不过我希望在firefox的搜索也默认使用ssl怎么办？
我们需要修改一些地方：

第一是firefox 导航工具栏右侧的搜索引擎的修改

ubuntu下请找到

/usr/lib/firefox-3.6.3/searchplugins/zh-CN/google.xml

版本不同可能位置不一样,比较简单的方法是可以

locate searchplugins

搜索一下。

windows下面应该是这个文件（未验证）：

C:\Program Files\firefox\searchplugins/google.xml

然后修改里面的两段文字：

修改为：

将

http://www.google.com/firefox

修改为

https://www.google.com/

第二，修改默认的搜索引擎（在URL输入框中输入文字进行搜索的引擎），在URL输入框中输入about:config,找到 keyword.URL,修改为:

https://www.google.com/search?q=

重启firefox即可畅快访问google了。^O^

被跨国罚款

joecen — Thu, 22 Apr 2010 10:33:40 +0000

近日收到一封澳洲来信，居然是交通罚款通知单千里迢迢的追来了。
原来我在刚到Hobart的那天晚上，通过哪条Tasman Hwy的跨海桥的时候被拍照了。罚款单上写着限速是70km/H，我的速度是82km/H。
查了一下，澳洲的交通罚款一向是很严厉的，我的罚款金额是$110澳元，对比网上的某些人600多澳元的罚款额，感觉已经是有点幸运。
另外我在澳洲的时候，由于时间很紧，所以在高速公路和某些无车的乡村公路也经常超速，不过没有被发现，现在想起来实在是有点后怕。
罚款是在网上交的，澳洲这方面弄得比较人性化，不过交了钱以后就没有什么反馈，这个比较恶心。

发烧

joecen — Thu, 08 Apr 2010 09:32:55 +0000

昨天下午就觉得很不舒服，像是有点发烧的样子。由于快要羽毛球比赛了，晚上还是去与队友合练了一下，回到家就觉得不行了。一量体温，居然发烧到了39.2度! 吃了些家里的退烧药，睡了两个小时，发现体温升到39.5度了。赶快让lp带去看以医生。打了支针，吃了药，今天才好了点，不过也不能上班了。
记忆中已经没有试过发这么高的烧了，可能是在北京的时候比较辛苦，回来也没有好好休息导致的不吧。
越来越老咯，今后要注意自己的身体。

北京归来

joecen — Wed, 07 Apr 2010 06:25:25 +0000

上周去北京参加了数据库技术大会，发现北京真的很大（废话？）。

从建筑密度上讲，广州与其相比简直就是个大的城中村，密密麻麻的看不到天空。

说回这次数据库大会，几乎变成了阿里巴巴的讲解会，我所听的会场，除了那几个广告外，有一半是阿里集团的人。

新的内容和技术也不多，大家都在讲怎么去scale up、scale out，还有NOSQL、key-value等东西，加上一些自己的经验吧。

这次刚好遇到了清明节，于是就多留了两天，顺便去了八达岭和故宫。感想就是“大”和“多”：
建筑真大，人真多！长城都堵人了！

修改了feed的地址

joecen — Tue, 23 Feb 2010 07:13:35 +0000

这两天和daniel讨论他的feed的问题的时候，发现我自己的blog也有部分图片不能在greader上面显示，估计是feed burner没有更新我之前修改过的图片链接而导致的。
之前一直是用feedsky来作feed burner的，也没有留意有什么问题。今天登录feedsky的时候才发现已经不知道是用哪个帐号进行登录的了，由于feedsky是国内公司的产品，不利于我个人的博客的生存（谁知道哪天聚合的日志也会被命令过滤关键字的呀！），于是干脆搬到feedburner。

下面是我的feed的新地址，要订阅的话可以用新的地址重新订阅（blog自身的feed也已更新)。
http://feeds.feedburner.com/joecen

UPDATE：转用feedburner后，要在feedburner后台禁用了item link clicks统计功能，否则在google reader上面不能直接点击进入网页(feedproxy.google.com已经被墙了)。

将blog的图片转移到photobucket

joecen — Mon, 08 Feb 2010 10:07:52 +0000

在等待了几个月后，看来picasa是已经不可能回到我们身边了。特别是现在google传说要退出中国，给了贵国政府好看的时候。

贵国的网络监管越来越严厉，看来前两年一直在积储力量。现在我们这些蚁民都知道了，老大哥不是没有能力封杀光你们，手段还多得很呢。只是之前发生了太多的事情，又地震又开奥运，等这些都完了，社会稳定了，就给你们好看！

好啦，好像有点离题了，这篇blog主要是要说我将之前blog使用的，在picasa的图片转移到了photobucket上面。也有考虑过flickr,不过从filckr被封的历史和当前的访问速度看，不太适合。photobucket没有flickr那么2.0、那么炫，但是单从存储图片进行外链上来说，无论是速度还是性能方面都是非常不错的。

至于国内的那些相册就别提了，别人有别人的商业选择，我们有我们的脚。

在google reader查看外链图片的方法

joecen — Tue, 02 Feb 2010 09:30:18 +0000

在google reader上面不可避免的订阅了新浪、sohu、163等大门户的blog，一直有个问题困扰我的是，这些门户没有对google reader开放图片的外链（难道google reader不重要？），导致在reader上面看到的图片都是那可恶的广告图。

以前也做过防盗链图片的工作，这些防盗链的技术基本上就是匹配一下http header的referer字段，看看是否符合自己的规则，然后决定返回什么给客户端。

那么我们只要修改referer字段，就可以轻松解决不能查看外链图片的问题了。

是的，还是在firefox上面有插件可以实现这个功能。它就是Mason,国人开发的插件。难能可贵的是，里面已经内置了很多规则，比如sina、sohu和163的外链图片规则，根本不需要我去写就可以用了。

除了外链图片以外，mason还能修改其他的Content-Type，对于辅助web的管理和开发很有帮助。不过由于我没有这个需求，所有就没有一一去尝试了。

当然，firefox上面也有其他修改http header的插件，比如有人介绍的"refcontrol",是专门修改referer的。不过它的规则添加居然不支持正则表达式，实在是令人失望。

在ps3上安装ubuntu 9.10 (karmic)

joecen — Fri, 29 Jan 2010 10:16:00 +0000

原来买ps3的时候，就打算将其作为一个家庭的媒体中心。但是ps3本身的播放功能对格式和字幕的支持不好，每次看电影的时候需要自己先将字幕亚到avi文件里面，实在是麻烦。于是产生了在ps3上面安装linux进行媒体播放的念头。之前在网上看到，其实是可以安装utunbu，但是由于并没有ps3的显卡驱动，所以其实安装了linux以后，并不能做什么事情。
ubuntu karmic出来以后，据说加入了对显卡的支持，于是我决定尝试一下。

一、安装

安装其实不难，就三步:
1. Setting up your PS3 to run Linux
2. Installing your Ubuntu version of choice.
3. Setting up your PSUbuntu installation.

按照这个链接的方法来一步步做就可以了。

需要注意的是要下载ps3版本的ubuntu.

二、设置和优化

1、屏幕
首先电视机要设置为全屏。

安装fbset

sudo apt-get install fbset

使用ctl+alt+f1切换到字符界面

停止X server

sudo /etc/init.d/gdm stop

设置屏幕输出

如果要设置720p的话用如下命令

sudo ps3-video-mode -v 131 等同于 ps3-video-mode -v 3 -f

1080i的话可以用

sudo ps3-video-mode -v 132

其余可以查help

使用fbset设置屏幕大小

命令

sudo fbset -a -xres 1276 -yres 716

sudo fbset -a -xres 1272 -yres 712

sudo fbset -a -xres 1268 -yres 708

不断调整，直到完全合适你的电视机屏幕。

我的宽屏电视最后的数据是：

sudo fbset -a -xres 1215 -yres 680

调整到上下左右都合适。

最后根据该数据设置虚拟位置：

sudo fbset -a -xres 1215 -yres 680 -vxres 1215 -vyres 680

为了重启的时候生效

编辑/etc/kboot.conf

video=ps3fb:mode:131'

然后自己制作一个启动运行的文件:

sudo vi /etc/init.d/fbset.sh

内容如下：

#!/bin/sh
fbset -a -xres 1215 -yres 680 -vxres 1215 -vyres 680
exit 0

使用"wq"保存关闭

赋予可执行权限：

sudo chmod 755 /etc/init.d/fbset.sh

最后将其链接到rc2.d中，让X启动的时候执行该脚本:

sudo ln -s /etc/init.d/fbset.sh /etc/rc2.d/S26fbset

2、使用PS3 GPU作为SWAP
ps3最不好的一点就是内存太少了，只有200来兆，而GPU的显存也已经有200多兆了，那么我们可以使用GPU的显存作为内存来使用。
注意，只支持2.6.28+的内核，9.04的ubuntu版本就可以。

使用命令：

sudo mkswap /dev/ps3vram
sudo swapon -p1 /dev/ps3vram

-p 1的意思是将其优先级调到最前面。

使用

swapon -s

查看当前swap的情况

Filename Type Size UsedPriority
/dev/ps3da5 partition 489940 97140 -1 <-- Hard drive swap
/dev/ps3vram partition 250872 12241 <-- Vram swap

让其开机时也生效：
sudo vi /etc/modules

在最后一行加入 "ps3vram"，使用"wq"保存退出。

sudo vi /etc/rc.local
在
exit 0 前面加入：

mkswap /dev/ps3vram
swapon -p 1 /dev/ps3vram

即可

完成后就可以正常的使用ubuntu了。
不过从我的测试效果看，播放比较大的avi还是比较卡，而且有时候全屏时会有绿色的带。没找到办法解决。

清理了系统无用的包

joecen — Fri, 29 Jan 2010 06:36:16 +0000

升级到了karmic以后，root分区一直只剩下200MB左右的空间可用。今天终于抽空看了一下，发现是系统里面的内核太多了，导致相关的modules、image和header之类的也占用了很多空间。
于是决定删除所有2.6.24的东西,一个命令搞定:

aptitude remove $(aptitude search 2.6.24 |awk '/^i/{print $2}')

一下子腾出了2G空间出来。

2009不再回头

joecen — Wed, 27 Jan 2010 09:57:30 +0000

对于我来说，2009年是很艰苦的一年。
这一年里面发生了很多事情，让我觉得非常的疲惫。
或者这是人生必定要经历的阶段，人总不可能总一帆风顺的。

2009年几乎什么事情都没有做，至少我觉得是这样。
浪费了重要的一年，所以,2010年要加油了！

某些时候需要用到热插拔硬盘命令

joecen — Thu, 21 Jan 2010 08:21:30 +0000

首先内核需要支持
　　然后运行

　　echo "scsi add-single-device 0 0 1 0" > /proc/scsi/scsi

不需要重启就可以认到热插拔的硬盘

　　w 是主机适配器标识，第一个适配器为零（0）第几个scsi控制器
　　x 是主机适配器上的 SCSI 通道，第一个通道为零（0）
　　y 是设备的 SCSI 标识
　　z 是 LUN 号，第一个 LUN 为零（0）

　　然后fdisk -l查看

laptop升级到karmic (9.10)

joecen — Tue, 01 Dec 2009 02:31:11 +0000

使用网易的源 ,apt update， upgrade, dist-upgrade了n次，fix了n个错误以后，升级成功了。
用了两个星期，感觉很好，很稳定。
virtualbox升级到了3.10，之前virtualbox关机导致ubuntu挂死的问题也解决了。

picasa被封，了无生趣

joecen — Thu, 10 Sep 2009 07:18:33 +0000

picasa一直很安全，没有被封过，所以就用它来做本站图片的储存服务。想不到也中招了。
最近google的服务被有关方面搞得很惨，不知道是否和李博士的辞职有没有必然的关系。

找个时间迁移图片吧。

有没有其他安全的、稳定的图片存放地点介绍一下？

You Are Not Alone, Michael!

joecen — Fri, 26 Jun 2009 05:58:53 +0000

You Are Not Alone, Michael!

旧街场白咖啡，家乐福有卖

joecen — Wed, 24 Jun 2009 06:41:42 +0000

上个月在吉隆坡机场old street买的白咖啡还没有喝完，昨晚居然在楼下的家乐福看到有卖，而且只卖~~20元~~人民币。
晕s，一样的包装，价格基本上比吉隆坡还便宜。
推荐买来喝，雀巢之类的国产咖啡其实就是垃圾。

update: 昨天已经升价到38.5元人民币了。吉隆坡买是9.8马币，这个价格划不来。

换了台22寸显示器

joecen — Mon, 22 Jun 2009 04:22:50 +0000

很好，很强大。

从左到右:
HP compaq nc4400 + VirtualBox + winxp
Dell E2209W + Ubuntu8.0.4 + AWN
logitech laser 光电鼠

找到小时候很喜欢吃的无花果

joecen — Thu, 02 Apr 2009 06:13:17 +0000

昨天打算去天河城的春之花买一种马来西亚饼干，但是却找不到，却在万宁里面看到了这种无花果。
是的，就是这种了。小时候卖几毛钱一小包的无花果，我二话不说就拿下了一瓶。
的确是那个久违的味道，比起佳宝之类的模仿者，这原装的味道浓多了。
记住它，马来西亚的张志明。