• 作者: Laruence( )
• 本文地址: http://www.laruence.com/2011/10/05/2192.html
• 转载请注明出处

从PHP5.3开始, MySQL team专为PHP开发的MySQL连接库mysqlnd(MySQL native driver for PHP)终于和PHP一起发布了. mysqlnd的主要目的是为了解决长久以来mysql和php的license的问题. 它将作为PHP的源代码的一部分和PHP一起发布.

今天, 我要为大家介绍一个mysqlnd的插件:mysqlnd_ms, 这个插件是由mysqlnd的开发者Andrey Hristov,Ulf Wendel和johannes一起开发的, 目前发布在PECL: mysqlnd_ms

在这个扩展的介绍页面我们可以看到它的功能描述:

The replication and load balancing plugin is a plugin for the mysqlnd library. It can be used with PHP MySQL extensions (ext/mysql, ext/mysqli, PDO_MySQL). if they are compiled to use mysqlnd. The plugin inspects queries to do read-write splitting. Read-only queries are send to configured MySQL replication slave servers all other queries are redirected to the MySQL replication master server. Very little, if any, application changes required, dependent on the usage scenario required.

这个扩展, 主要实现了, 连接保持和切换, 负载均衡和读写分离等, 也就是说, 这个扩展会去分别PHP发给MySQL的query, 如果是”读”的query, 就会把query发送给从库(配置中指明), 并且支持负载均衡; 而如果是”写”的query, 就会把query发送给主库.

不过这个扩展需要搭配mysqlnd一起使用(从PHP5.4 beta1开始, 我们已经把mysqlnd作为mysql, mysqli, pdo的默认链接目标, 当然, 你也可以通过–with-mysql=***来制定你想要链接到libmysql).

这个扩展使用的方法也很简单, 首先在php.ini中定义配置:

mysqlnd_ms.enable=1
mysqlnd_ms.ini_file=/path/to/mysqlnd_ms_plugin.ini

之后, 在你指明的mysqlnd_ms_plugin.ini中配置好MySQL的主从库就好了:

[myapp]
master[]=localhost:/tmp/mysql.sock
slave[]=192.168.2.27:3306

博文发出以后, Ulf提醒我, 从1.1.0开始, 配置文件改为JSON格式:

Ulf_Wendel: @laruence >Thx for the blog. Please note, mysqlnd_ms config format was changed in 1.1.0. Now JSON based

所以新的配置应该类似于如下格式:

{
    "myapp": {
        "master": {
            "master_0": {
                "host": "localhost",
                "socket": "\/tmp\/mysql.sock"
            }
        },
        "slave": {
            "slave_0": {
                "host": "192.168.2.27",
                "port": "3306"
            }
        }
    }
}

链接方式修改如下:

<?php
/* Load balanced following "myapp" section rules from the plugins config file */
$mysqli = new mysqli("myapp", "username", "password", "database");
$pdo = new PDO('mysql:host=myapp;dbname=database', 'username', 'password');
$mysql = mysql_connect("myapp", "username", "password");
?>

然后就和你之前一样的来开发了.

如果希望获得更多信息, 可以参看: http://php.net/mysqlnd_ms

Comments

• 2011/10/06, 风起 writes: 不错, 读写分离这点很需要
• 2011/10/07, mysqlnd插件mysqlnd_ms的介绍 | 风雪之隅 - 候鸟的博客 writes: [...] 通过mysqlnd插件mysqlnd_ms的介绍 | 风雪之隅. wordpress 源码解读 (1) [...]
• 2011/10/09, Robin writes: 请问鸟哥有在生产环境使用么？ 一直在关注mysqlnd_ms，不过发现从统计数据来看（iva http://url.cn/0DdMJr）下载的人并不多，不太敢贸然使用。 另外也关注mysql proxy，但是问题好像也不少(via http://url.cn/1r9DR5)
• 2011/10/10, 中山网站建设 writes: 不错哟，学习一下
• 2011/11/19, 深空 writes: 不知道能否很好识别事务
• 2011/11/25, php5.3.8中编译pdo_mysql的艰难历程 | CNXCT小组的博客 writes: [...] 这里是将pdo_mysql作为一个拓展引入使用的。在php5.3中，PHP开发组把mysqlnd作为默认的连接MYSQL的数据库驱动来使用，据官方描述，节省内存40%，速度更快，当然或许是为了解决许可协议的问题。详情见：mysqlnd插件mysqlnd_ms的介绍。 两种方法都可以，运维同事都尝试了，由于时间关系，他们没做过多的尝试研究，就转向更紧急的项目了。 [...]

Related posts:

• PHP5.3 α2初体验

Related Posts:

• PHP-5.3.9远程执行任意代码漏洞(CVE-2012-0830)
• 我们什么时候应该使用异常?
• 使用exit(-1)为什么得到255退出码?
• PHP的历史
• 如何设置一个严格30分钟过期的Session
• 2012年1月全球www网站技术报告
• PHP5.2.*防止Hash冲突拒绝服务攻击的Patch
• PHP数组的Hash冲突实例
• 通过构造Hash冲突实现各种语言的拒绝服务攻击
• 更简单的重现PHP Core的调用栈

• 作者: Laruence( )
• 本文地址: http://www.laruence.com/2011/04/27/1995.html
• 转载请注明出处

昨天有人在群里问, MySQL是否可以设置读写超时(非连接超时), 如果可以就可以避免一条SQL执行过慢, 导致PHP超时错误. 这个, 其实可以有. 只不过稍微要麻烦点.

首先, 在libmysql中, 是提供了MYSQL_OPT_READ_TIMEOUT设置项的, 并且libmysql中提供了设置相关设置项的API, mysql_options:

int STDCALL
mysql_options(MYSQL *mysql,enum mysql_option option, const void *arg)
{
  DBUG_ENTER("mysql_option");
  DBUG_PRINT("enter",("option: %d",(int) option));
  switch (option) {
  case MYSQL_OPT_CONNECT_TIMEOUT:
    mysql->options.connect_timeout= *(uint*) arg;
    break;
  /** 读超时时间 */
  case MYSQL_OPT_READ_TIMEOUT:
    mysql->options.read_timeout= *(uint*) arg;
    break;
  case MYSQL_OPT_WRITE_TIMEOUT:
    mysql->options.write_timeout= *(uint*) arg;
    break;
  case MYSQL_OPT_COMPRESS:
    mysql->options.compress= 1; 

   /* 以下省略 */

但是, 可惜的是, 目前只有mysqli扩展, 把mysql_options完全暴露给了PHP:

PHP_FUNCTION(mysqli_options)
{
 /** 有省略 */
     switch (Z_TYPE_PP(mysql_value)) {
        /** 没有任何限制, 直接传递给mysql_options */
        case IS_STRING:
            ret = mysql_options(mysql->mysql, mysql_option, Z_STRVAL_PP(mysql_value));
            break;
        default:
            convert_to_long_ex(mysql_value);
            l_value = Z_LVAL_PP(mysql_value);
            ret = mysql_options(mysql->mysql, mysql_option, (char *)&l_value);
            break;
    }

    RETURN_BOOL(!ret);
}

但是因为Mysqli并没有导出这个常量, 所以我们需要通过查看MySQL的代码, 得到MYSQL_OPT_READ_TIMEOUT的实际值, 然后直接调用mysql_options:

enum mysql_option
{
  MYSQL_OPT_CONNECT_TIMEOUT, MYSQL_OPT_COMPRESS, MYSQL_OPT_NAMED_PIPE,
  MYSQL_INIT_COMMAND, MYSQL_READ_DEFAULT_FILE, MYSQL_READ_DEFAULT_GROUP,
  MYSQL_SET_CHARSET_DIR, MYSQL_SET_CHARSET_NAME, MYSQL_OPT_LOCAL_INFILE,
  MYSQL_OPT_PROTOCOL, MYSQL_SHARED_MEMORY_BASE_NAME, MYSQL_OPT_READ_TIMEOUT,
  MYSQL_OPT_WRITE_TIMEOUT, MYSQL_OPT_USE_RESULT,
  MYSQL_OPT_USE_REMOTE_CONNECTION, MYSQL_OPT_USE_EMBEDDED_CONNECTION,
  MYSQL_OPT_GUESS_CONNECTION, MYSQL_SET_CLIENT_IP, MYSQL_SECURE_AUTH,
  MYSQL_REPORT_DATA_TRUNCATION, MYSQL_OPT_RECONNECT,
  MYSQL_OPT_SSL_VERIFY_SERVER_CERT
};

可以看到, MYSQL_OPT_READ_TIMEOUT为11.

现在, 我们就可以设置查询超时了:

<?php
$mysqli = mysqli_init();
$mysqli->options(11 /*MYSQL_OPT_READ_TIMEOUT*/, 1);
$mysql->real_connect(***);

不过, 因为在libmysql中有重试机制(尝试一次, 重试俩次), 所以, 最终我们设置的超时阈值都会三倍于我们设置的值.

也就是说, 如果我们设置了MYSQL_OPT_READ_TIMEOUT为1, 最终会在3s以后超时结束. 也就是说, 我们目前能设置的最短超时时, 就是3秒…

虽说大了点,, 不过总比没有好, 呵呵

PS: 写了一半的时候, 就发现小黑已经写过一篇了, 所以大家也可以参看这篇PHP访问MySQL查询超时处理

Comments

• 2011/04/27, 半醒 writes: 求QQ群号啊
• 2011/04/28, rwl writes: 好东西.
• 2011/08/24, tsgx writes: 设置下mysql数据库的session变量就可以了。
• 2011/10/11, Rocky writes: hi,请假一个问题： zend dubugger的调试问题，从浏览器启动调试后大约50秒如果这次调试没有完成，apache就会报错，0x007cxxx 不能为read，请问大致是什么原因？
• 2011/10/13, 为MySQL设置查询超时 | 岭南六少 - 一朵在LAMP架构下挣扎的云 writes: [...] 本文地址: http://www.laruence.com/2011/04/27/1995.html [...]
• 2011/11/01, gan writes: 哎，一直期待PHP有这个功能，这个功能应该引用到PDO里面去，我现在的办法是通过后台进程定时5秒去杀超时的进程，希望鸟儿能给PHP核心组反映，3KS

Related Posts:

• 深入理解SET NAMES和mysql(i)_set_charset的区别
• 统一信息存储平台(ISP)
• 深入Mysql字符集设置

• 作者: Laruence( )
• 本文地址: http://www.laruence.com/2010/04/12/1396.html
• 转载请注明出处

最近公司组织了个PHP安全编程的培训, 其中涉及到一部分关于Mysql的”SET NAMES”和mysql_set_charset (mysqli_set_charset)的内容:

说到, 尽量使用mysqli_set_charset(mysqli:set_charset)而不是”SET NAMES”, 当然, 这个内容在PHP手册中也有叙及, 但是却没有解释为什么.

最近有好几个朋友问我这个问题, 到底为什么?

问的人多了, 我也就觉得可以写篇blog, 专门介绍下这部分的内容了.

首先, 很多人都不知道”SET NAMES”到底是做了什么,

我之前的文章深入MySQL字符集设置中, 曾经介绍过character_set_client/character_set_connection/character_set_results这三个MySQL的”环境变量”, 这里再简单介绍下,

这三个变量, 分别告诉MySQL服务器, 客户端的编码集, 在传输给MySQL服务器的时候的编码集, 以及期望MySQL返回的结果的编码集.

比如, 通过使用”SET NAMES utf8″, 就告诉服务器, 我用的是utf-8编码, 我希望你也给我返回utf-8编码的查询结果.

一般情况下, 使用”SET NAMES”就足够了, 也是可以保证正确的. 那么为什么手册又要说推荐使用mysqli_set_charset(PHP>=5.0.5)呢?

首先, 我们看看mysqli_set_charset到底做了什么(注意星号注释处, mysql_set_charset类似):

//php-5.2.11-SRC/ext/mysqli/mysqli_nonapi.c line 342
PHP_FUNCTION(mysqli_set_charset)
{
    MY_MYSQL            *mysql;
    zval                *mysql_link;
    char                *cs_name = NULL;
    unsigned int        len;

    if (zend_parse_method_parameters(ZEND_NUM_ARGS() TSRMLS_CC, getThis()
		, "Os", &mysql_link, mysqli_link_class_entry, &cs_name, &len) == FAILURE) {
        return;
    }
    MYSQLI_FETCH_RESOURCE(mysql, MY_MYSQL*, &mysql_link, "mysqli_link"
        , MYSQLI_STATUS_VALID);

    if (mysql_set_character_set(mysql->mysql, cs_name)) {
		//** 调用libmysql的对应函数
        RETURN_FALSE;
    }
    RETURN_TRUE;
}

那mysql_set_character_set又做了什么呢?

//mysql-5.1.30-SRC/libmysql/client.c, line 3166:
int STDCALL mysql_set_character_set(MYSQL *mysql, const char *cs_name)
{
  struct charset_info_st *cs;
  const char *save_csdir= charsets_dir;

  if (mysql->options.charset_dir)
    charsets_dir= mysql->options.charset_dir;

  if (strlen(cs_name) < MY_CS_NAME_SIZE &&
     (cs= get_charset_by_csname(cs_name, MY_CS_PRIMARY, MYF(0))))
  {
    char buff[MY_CS_NAME_SIZE + 10];
    charsets_dir= save_csdir;
    /* Skip execution of "SET NAMES" for pre-4.1 servers */
    if (mysql_get_server_version(mysql) < 40100)
      return 0;
    sprintf(buff, "SET NAMES %s", cs_name);
    if (!mysql_real_query(mysql, buff, strlen(buff)))
    {
      mysql->charset= cs;
    }
  }
  //以下省略

我们可以看到, mysqli_set_charset除了做了”SET NAMES”以外, 还多做了一步:

sprintf(buff, "SET NAMES %s", cs_name);
if (!mysql_real_query(mysql, buff, strlen(buff)))
{
  mysql->charset= cs;
}

而对于mysql这个核心结构的成员charset又有什么作用呢?

这就要说说mysql_real_escape_string()了, 这个函数和mysql_escape_string的区别就是, 它会考虑”当前”字符集. 那么这个当前字符集从哪里来呢?

对了, 你猜的没错, 就是mysql->charset.

mysql_real_string在判断宽字符集的字符的时候, 就根据这个成员变量来分别采用不同的策略, 比如如果是utf-8, 那么就会采用libmysql/ctype-utf8.c.

看个实例, 默认mysql连接字符集是latin-1, (经典的5c问题):

<?php
    $db = mysql_connect('localhost:3737', 'root' ,'123456');
    mysql_select_db("test");
    $a = "\x91\x5c";//"慭"的gbk编码, 低字节为5c, 也就是ascii中的"\"

    var_dump(addslashes($a));
    var_dump(mysql_real_escape_string($a, $db));

    mysql_query("set names gbk");
    var_dump(mysql_real_escape_string($a, $db));

    mysql_set_charset("gbk");
    var_dump(mysql_real_escape_string($a, $db));
?>

因为, “慭”的gbk编码低字节为5c, 也就是ascii中的”\”, 而因为除了mysql(i)_set_charset影响mysql->charset以外, 其他时刻mysql->charset都为默认值, 所以, 结果就是:

$ php -f 5c.php
string(3) "慭\"
string(3) "慭\"
string(3) "慭\"
string(2) "慭"

大家现在很清楚了吧?

Comments

• 2010/04/12, qywyh writes: 看贴不回木jj，学习了,顶！
• 2010/04/12, felix021 writes: 1L真狠。。。
• 2010/04/13, Tweets that mention 深入理解SET NAMES和mysql(i)_set_charset的区别 | 风雪之隅 -- Topsy.com writes: [...] This post was mentioned on Twitter by 高春辉, Angus Li. Angus Li said: 深入理解SET NAMES和mysql(i)_set_charset的区别 http://ff.im/-iUWcK [...]
• 2010/04/13, kevin writes: addslashes(), str_replace()等等基于ascii编码的函数都会遇到这种问题。mysql_*系列有解决方案，别的有什么好的解决方案么？
• 2010/04/13, [转]深入理解SET NAMES和mysql(i)_set_charset的区别 - coder辉的it生涯 writes: [...] 本文地址: http://www.laruence.com/2010/04/12/1396.html [...]
• 2010/04/13, Anders writes: 之前
• 2010/04/13, Anders writes: 之前遇到这个问题，但是 使用的是PDO, 不知道如何解决。
• 2010/04/13, 雪候鸟 writes: @Anders pdo找不到类似的方法,,,,,
• 2010/04/13, cz writes: 所以这两年我一看到SET NAMES的代码就要破口大骂，虽然utf-8编码里不存在5c问题 另外对于PDO，可以用prepared statement来解决。这也是一个比字符串过滤更好的防止注入的方法
• 2010/04/13, 好黑啊 writes: 非常good的文章，我very like
• 2010/04/13, aleafs writes: 太清楚了
• 2010/04/17, 網站製作學習誌 » [Web] 連結分享 writes: [...] 深入理解SET NAMES和mysql(i)_set_charset的区别 [...]
• 2010/04/18, Yufeng writes: 学习了，呵呵。
• 2010/05/14, kazaff writes: thx
• 2010/07/03, OllieNoel writes: Have no enough cash to buy a car? Worry no more, just because that is achievable to get the credit loans to solve such problems. Thus get a small business loan to buy everything you need.
• 2010/09/03, blues writes: 新手参上 竟然深入到C中了,C语言没怎么学会,看了个不大懂,自学的时候也没注意到这些问题,见识了,你的博客都很有深度啊,会经常来看的.目前还只能做做应用,无法深入到C,你这篇文章改变了我对php的理解,本以为可以不学C了,现在发现要深入学习还是需要知其根源,希望2年后毕业的时候也能有这样的深度.
• 2010/12/29, [PHP]SET NAMES和mysql(i)_set_charset的区别 » 半瓶子醋 writes: [...] 转自[风雪之隅] [...]
• 2011/03/07, 寻仙人 writes: 高手啊，膜拜
• 2011/03/15, 关于宽字节（宽字符）注入。 - whoami's blog writes: [...] 参考 ： http://www.laruence.com/2010/04/12/1396.html http://www.mirecle.com/2010/04/13/php-in-the-set-names-and-mysql_set_charset.html [...]
• 2011/03/20, 深入理解SET NAMES和mysql(i)_set_charset的区别 | 万维网黑客联盟 writes: [...] 本文地址: http://www.laruence.com/2010/04/12/1396.html [...]
• 2011/04/17, asdf1234 writes: 大牛，你是在什么公司啊，百度？
• 2011/06/01, 深入理解SET NAMES和mysql(i)_set_charset的区别 | 麦克 Magic Coder writes: [...] 本文地址: http://www.laruence.com/2010/04/12/1396.html [...]
• 2011/07/30, iEasyi » Blog Archive » 宽字节（宽字符）注入 writes: [...] 参考 ： http://www.laruence.com/2010/04/12/1396.html http://www.mirecle.com/2010/04/13/php-in-the-set-names-and-mysql_set_charset.html [...]
• 2011/11/06, 荒野无灯 writes: 嗯，关于gbk编码与\的一个漏洞以前在某老外的blog上看到过。

Related posts:

• HTTP1.0下HTTP_HOST为空
• 深入理解PHP原理之变量生命期(一)
• Opcodes list
• 深入理解PHP原理之扩展载入过程

Related Posts:

• PHP-5.3.9远程执行任意代码漏洞(CVE-2012-0830)
• 我们什么时候应该使用异常?
• 使用exit(-1)为什么得到255退出码?
• PHP的历史
• 如何设置一个严格30分钟过期的Session
• 2012年1月全球www网站技术报告
• PHP5.2.*防止Hash冲突拒绝服务攻击的Patch
• PHP数组的Hash冲突实例
• 通过构造Hash冲突实现各种语言的拒绝服务攻击
• 更简单的重现PHP Core的调用栈

• 作者: Laruence( )
• 本文地址: http://www.laruence.com/2009/06/09/912.html
• 转载请注明出处

不知道”拉”一天开始, 好像大家都开始谈论PgSQL了, 呵呵, 最近尝试在项目中使用Pgsql, 现在就将使用Slony-I配置PostgreSQL同步的过程拿来与大家分享.

话说Pgsql虽然很流行,但是国内的文档真的是很少,尤其配置同步这块,基本上都是互相转贴, 写的也很笼统,在我自己配置过程中, 遇到了很多问题. 本文将努力将各种概念解释清楚, 尽量避免大家再遇到我遇到的疑难问题.

Slony-I是一个BSD授权的开源项目, 致力于解决Pgsql的同步.

它通过在配置中指明的数据库中的特定表上增加trigger(触发器), 从而在主库有变更的时候, 通过trigger函数连接到各个要同步的从库上同步从库.

正因为如此, 所以我们需要首先创建在每个数据库上的用户, 并且为超级用户, 并且需要配置pg_hab.conf使得主库和从库之间可以互联.

创建用户可以简单的使用pgsql的createuser, 以下我们假设创建的超级用户为repl,密码也为repl

		$ pgsql_dir/bin/createuser -p repl
	

另外, 由于Slony的触发器函数是PLPGSQL语言写的, 所以我们也要给相应的数据库安装相应的语言包.

		$ pgsql_dir/bin/createlang -d dbname plpgsql
	

接下来, 必须在主服务器和从服务器上都下载编译安装 slony-i(我的配置中, slony安装在/home/work/local/slony下, 请根据情况调整相关参数).

首先我们配置主服务器上:
1. 在主服务器上, 我们编辑一个shell脚本:configMaster.

#!/bin/sh
SLONIK=/home/work/local/slony/bin/slonik #slonik可执行文件位置

CLUSTER=Laruence                                                     #自定定义你的集群(Cluster)的名称

MASTER_ID=1                                                             #主库ID
MASTER_HOST=db1.laruence.com   #主库IP或主机名
MASTER_DBNAME=ams                                               #需要复制的数据库名字
MASTER_USER=repl                                                #主库数据库超级用户名
MASTER_PASSWORD=repl                                    #主库数据库超级用户密码

SLAVER_ID=2                                                             #从库ID
SLAVER_HOST=db2.laruence.com   #从库IP或主机名
SLAVER_DBNAME=ams                                               #需要同步的数据库名字(可以和主库数据库的名字不同)
SLAVER_USER=repl                                                #从库数据库超级用户名
SLAVER_PASSWORD=repl                                    #从库数据库超级用户密码

$SLONIK<<_EOF_
cluster name = $CLUSTER; #指明要定义的Cluster名

node $MASTER_ID admin conninfo = 'dbname=$MASTER_DBNAME host=$MASTER_HOST user=$MASTER_USER password=$MASTER_PASSWORD';

node $SLAVER_ID admin conninfo = 'dbname=$SLAVER_DBNAME host=$SLAVER_HOST user=$SLAVER_USER password=$SLAVER_PASSWORD';

init cluster(id = 1, comment = 'Primary Cluster'); #初始化Cluster,ID从1开始

create set ( id = 1, origin = $MASTER_ID, comment = 'Data Provider' ); #定义复制集, origin指明主库

set add table ( set id = 1, origin = $MASTER_ID, id = 1, fully qualified name = 'public.repl', comment='Repl Table' );
#为复制集合中增加表, fully qualified name 指明了要复制的表名.

store node ( id = $SLAVER_ID, comment = 'Slave Node', event node=$MASTER_ID); #定义从库节点

#定义路由路径
store path ( server=1, client=2, conninfo = 'dbname=$MASTER_DBNAME host=$MASTER_HOST user=$MASTER_USER password=$MASTER_PASSWORD');

#添加事件监听
store listen ( origin = $MASTER_ID, provider = $MASTER_ID, receiver = $SLAVER_ID );
_EOF_
 	

然后赋予这个脚本可执行权限, 并在主库服务器上执行这个脚本.

如果执行成功, 我们在$MASTER_DBNAME的数据库中, 查看响应的表的话, 会发现, 这个表被增加了俩个触发器函数:

ams=# \d repl
                                  Table "public.repl"
  Column  |          Type          |                     Modifiers
----------+------------------------+---------------------------------------------------
 id       | integer                | not null default nextval('repl_id_seq'::regclass)
 username | character varying(100) |
Indexes:
    "repl_pkey" PRIMARY KEY, btree (id)
Triggers:
    "_Laruence_logtrigger" AFTER INSERT OR DELETE OR UPDATE ON repl FOR EACH ROW EXECUTE PROCEDURE "_Laruence".logtrigger('_Laruence', '1', 'k')
Disabled triggers:
    "_Laruence_denyaccess" BEFORE INSERT OR DELETE OR UPDATE ON repl FOR EACH ROW EXECUTE PROCEDURE "_Laruence".denyaccess('_Laruence')
	

详细信息, 大家也可以在pg_proc, pg_namespace寻找到更多信息.

2. 然后分别在主库服务器和从库服务器上启动slon进程, 开始监听.

	主库服务器上:
	 ./slon Laruence "dbname=ams host=slaver_host user=repl password=repl port=5432" & //其中Laruence为你定义的Cluster名
	

	从库服务器上:
	 ./slon Laruence "dbname=ams host=slaver_host user=repl password=repl port=5432"& //其中Laruence为你定义的Cluster名
	

3. 接下来,在主库服务器上提交同步集, 同样的建立一个shell脚本

#!/bin/bash
SLONIK=/home/work/local/slony/bin/slonik #slonik可执行文件位置

CLUSTER=Laruence                                                     #自定定义你的集群(Cluster)的名称

MASTER_ID=1                                                             #主库ID
MASTER_HOST=db1.laruence.com   #主库IP或主机名
MASTER_DBNAME=ams                                               #需要复制的数据库名字
MASTER_USER=repl                                                #主库数据库超级用户名
MASTER_PASSWORD=repl                                    #主库数据库超级用户密码

SLAVER_ID=2                                                             #从库ID
SLAVER_HOST=db2.laruence.com   #从库IP或主机名
SLAVER_DBNAME=ams                                               #需要同步的数据库名字(可以和主库数据库的名字不同)
SLAVER_USER=repl                                                #从库数据库超级用户名
SLAVER_PASSWORD=repl                                    #从库数据库超级用户密码

$SLONIK<<_EOF_
cluster name = $CLUSTER; #指明要定义的Cluster名
node $MASTER_ID admin conninfo = 'dbname=$MASTER_DBNAME host=$MASTER_HOST user=$MASTER_USER password=$MASTER_PASSWORD';
node $SLAVER_ID admin conninfo = 'dbname=$SLAVER_DBNAME host=$SLAVER_HOST user=$SLAVER_USER password=$SLAVER_PASSWORD';
# 提交订阅复制集
subscribe set ( id=1, provider=$MASTER_ID, receiver=$SLAVER_ID, forward=no);
_EOF_

同样,赋予这个脚本执行权限, 执行既可.
现在看看是否已经开始同步了呢?

Q&A:

1. 提示db_getLocalNodeId() wrong database?
检查store path是否设置正确, 主从是否指向正确.

2. 提示duplicate key sl_nodelock-pkey and duplicate …?
检查主机和从机上的slon进程都是连接向对方, 不要重复.

3. 运行configmain的时候, 提示REQUIRE EVENT NODE?
在定义store node 的时候, 需要指明事件源节点, 在本例中是主机节点($MASTER_ID)

4. 提示cannot connect to local database – fe_sendauth: no password supplied:
这是因为slony使用的c pgsql lib需要你在用户根目录下建立一个.pgpass文件, 文件的属性必须为0600, 文件的内容格式为: hostname:port:database:username:passwor, 前4个字段,都可以使用”*”通配.

5. 能否实现主从互相同步呢?
可以, 只要指明反向的store path, 在订阅集中指明对映的复制条目, 既可.

6. 能否实现多个从机呢?
可以, 添加多个node, store path, set条目既可.

7. 还有其他问题,怎么办?
访问我的blog留言交流.

参考文档: SLONY-I

Comments

• 2009/06/11, How to Make Thousands of Dollars Posting Links on Google writes: Thanks for posting, I'll definitely be subscribing to your blog.
• 2009/07/14, sky writes: 同步周期或某一DB网络中断怎么处理的？
• 2009/07/14, 雪候鸟 writes: 如果这样,需要重新做一遍整个工作. 貌似也没什么更好的办法.
• 2009/07/22, cc0cc writes: 哈哈 兄弟也开始搞pgsql啦，来看看我的小原创两篇 使用postgreSQL+bamboo搭建比lucene方便N倍的全文搜索 分两部分 http://www.54chen.com/c/601 http://www.54chen.com/c/634 欢迎指点哈
• 2009/07/23, 雪候鸟 writes: @cc0cc 把你当成SPAM了...^_^
• 2010/06/15, DonaldsonMuriel26 writes: I propose not to wait until you get enough cash to buy all you need! You can just get the credit loans or short term loan and feel comfortable
• 2011/02/12, smallfish writes: 首先感谢博主写的这篇文章，请教一下，您这篇文章是完整的吗？我怎么在执行第一个脚本configMaster的时候就出错： ./master.sh: line 15: cluster: command not found ./master.sh: line 16: node: command not found ./master.sh: line 17: node: command not found ./master.sh: line 19: syntax error near unexpected token `(' ./master.sh: line 19: `init cluster (id = 1, comment = 'Primary Cluster');' 是不是别的地方还要设置？
• 2011/02/12, laruence writes: @smallfish /home/work/local/slony/bin/slonik 路径对么?
• 2011/02/12, smallfish writes: 路径是对的： # whereis slonik slonik: /usr/bin/slonik 我的脚本是： #!/bin/sh SLONIK=/usr/bin/slonik CLUSTER=slony_test MASTER_ID=1 MASTER_HOST=10.155.50.51 MASTER_DBNAME=hhm MASTER_USER=repl MASTER_PASSWORD=repl SLAVER_ID=2 SLAVER_HOST=10.155.50.52 SLAVER_DBNAME=hhm SLAVER_USER=repl SLAVER_PASSWORD=repl #SLONIK<<_EOF_ cluster name = $CLUSTER node $MASTER_ID admin conninfo = 'dbname=$MASTER_DBNAME host=$MASTER_HOST user=$MA STER_USER password=$MASTER_PASSWORD'; node $SLAVER_ID admin conninfo = 'dbname=$SLAVER_DBNAME host=$SLAVER_HOST user=$ SLAVER_USER password=$SLAVER_PASSWORD'; init cluster (id = 1, comment = 'Primary Cluster'); create set (id = 1, origin = $MASTER_ID, comment = 'Data Provider'); set add table ( set id = 1,origin = $MASTER_ID, id = 1, fully qualified name = 'pu blic.repl', comment='Repl Table'); store node ( id = $SLAVER_ID, comment = 'Slave Node', event node=$MASTER_ID); store path ( server=1, client=2, conninfo = 'dbname=$MASTER_DBNAME host=$MASTER_HO ST USER=$MASTER_USER password=$MASTER_PASSWORD'); store listen ( origin = $MASTER_ID, provider = $MASTER_ID, receiver = $SLAVER_ID); _EOF_
• 2011/02/13, smallfish writes: 原来是将$SLONIK写成#SLONIK了，现在脚本可以执行，但是提示： :7: PGRES_FATAL_ERROR select "_Laruence".determineIdxnameUnique('public.repl', NULL); - ERROR: Slony-I: table "public"."repl" not found

Random Posts:

• 大家新年好~
• 如何调试PHP的Core之获取基本信息
• 深入理解PHP原理之变量作用域(Scope in PHP)
• 定制自己的PHP语法-在PHP中实现unless
• 如何设置一个严格30分钟过期的Session
• PHP 源代码分析 V0.0.2
• 让人无语的139邮箱
• PHP调试技术手册发布(1.0.0 pdf)
• 个人主页开张
• Zend Engine幻想

• 作者: Laruence( )
• 本文地址: http://www.laruence.com/2008/11/11/610.html
• 转载请注明出处

是否因为需求经常变动，而导致你需要频繁修改数据库结构呢？ 是否经常的数据库结构的调整，导致你的数据库性能极度下降呢？ 基于这样的考虑， 我设计了ISP， 我的出发点就是， 将数据库的数据逻辑剥离出来，数据库单纯就是存储数据，而数据之间的逻辑关系，提出来交由脚本逻辑完成。 并且在设计数据库的时候， 本着适应多种数据存储要求，而设计出可定制的表结构，和适应定制化的接口。

现在来说，还只是一个最简单的版本加一个应用，之后有时间了，我会将这个外部逻辑包装，包装成一个c library,并加入连接池管理， 最后再通过PHP扩展，提供接口给PHP方便使用。

数据库设计图：

ISP数据库设计

Project Home:http://code.google.com/p/infosstoreplatform/
Codes : http://code.google.com/p/infosstoreplatform/source/browse/#svn/trunk

Comments

• 2008/11/11, blankyao writes: 先down下来再说
• 2008/11/11, 雪候鸟 writes: ^_^,恐怕让你失望了
• 2008/11/12, IcyRiver writes: .....
• 2008/11/12, 雪候鸟 writes: I no why you so ....
• 2008/11/12, ryan writes: 又看到新东西，支持...
• 2008/11/12, zvaly writes: 不错不错，需要合伙人不？
• 2008/11/12, Commen writes: Commen
• 2008/11/13, timothy_huo writes: 有点熟悉的影子，拍一下。期待下文...
• 2008/11/14, blankyao writes: 期待你加入c library ，哈哈
• 2008/11/21, Rodin writes: 莫非……莫非…… 为什么不用bdb呢？ 用bdb的bt模式，连索引都有了~不够的话，还有oracle的扩展项目： Bdb XML，支持XQuery
• 2008/12/31, 守护 writes: 期待

Related Posts:

• 为MySQL设置查询超时
• 深入理解SET NAMES和mysql(i)_set_charset的区别
• 深入Mysql字符集设置

• 作者: Laruence( )
• 本文地址: http://www.laruence.com/2008/07/16/227.html
• 转载请注明出处

在MySQL4.1中子查询是不能使用LIMIT的，手册中也明确指明 “This version of MySQL doesn’t yet support ‘LIMIT & IN/ALL/ANY/SOME subquery’ ”

也就是说，这样的语句是不能正确执行的。
select * from table where id in (select id from table limit 10);

但是，，但是，，，只要你再来一层就行。。如：
select * from table where id in (select t.id from (select * from table limit 10)as t)

你说说，MySQL是不是很让人无语？？

Comments

• 2008/09/13, zwws writes: ...无语
• 2008/12/27, RainChen writes: 更感兴趣的，你怎么发现的，一般都很少用到2层子查询了
• 2009/01/14, ilsanbao[小宝] writes: 无语的有点BT
• 2009/05/11, LungZeno writes: 測試了一下，又是自然人類語言的歧義性使人誤解…… "This version of MySQL doesn't yet support 'LIMIT & IN/ALL/ANY/SOME subquery'" 的意思是，這版本的 MySQL 不支持使用 LIMIT 子句的 IN/ALL/ANY/SOME 子查詢，即是支持非 IN/ALL/ANY/SOME 子查詢的 LIMIT 子查詢。 歧義點在於各生字的 apply 和組合順序，這句子的正確結合順序是 "This version of MySQL doesn't yet support ((LIMIT-(IN/ALL/ANY/SOME)) subquery)" （"-"符號為 hyphen ），有可能的錯誤理解是 "This version of MySQL doesn't yet support ((LIMIT subquery) & ((IN/ALL/ANY/SOME) subquery))" 。
• 2011/02/22, 5idev writes: 谢谢楼主，因为这次在子查询用到了limit，mysql不支持，用楼主的方法解决了！
• 2011/07/13, pan writes: 额，这都被你发现了，神人

Related posts:

• 为MySQL设置查询超时
• mysqlnd插件mysqlnd_ms的介绍
• 深入理解SET NAMES和mysql(i)_set_charset的区别
• 思考能力何其重要..
• 保证PHP扩展的依赖关系

Random Posts:

• PHP正则之递归匹配
• Yaf已提交到PECL
• HTTP1.0下HTTP_HOST为空
• 数组非数字键名引号的必要性
• PHP的老式语法
• 使用PHP Embed SAPI实现Opcodes查看器
• Js处理Json的”invalid label”错
• PHP字符串比较
• 图解aclocal、autoconf、automake、autoheader、configure
• 关于JavaScript的执行域,标识符解析,闭包的研究

• 作者: Laruence( )
• 本文地址: http://www.laruence.com/2008/01/05/12.html
• 转载请注明出处

Comments

• 2008/11/04, jimmy writes: 这篇文字我来回看了好几回,讲解的确实很精细.使我对编码的理解多了份帮助,其实做为一个小鸟,我由衷的期望laruence能在闲暇之际,写些对于初学者如何学习php相关的一些有帮助资料,教程.我知道你会很忙，所以总结出东西就显得尤为宝贵.
• 2008/12/03, blankyao writes: 如果可以的话，把ppt放出来看下吧，嘿嘿
• 2008/12/03, 深入Mysql字符集设置 | Planet of CODE writes: [...] 作者:laruence(http://www.laruence.com/) · 本文地址: http://www.laruence.com/2008/01/05/12.html · [...]
• 2008/12/04, 雪候鸟 writes: @blankyao, 早没了，，，，，
• 2008/12/04, blankyao writes: @雪候鸟,这么好的资料竟然不保存 :(
• 2008/12/04, [转]深入Mysql字符集设置 at Deep Sea Bug writes: [...] · 本文地址: http://www.laruence.com/2008/01/05/12.html · [...]
• 2009/05/11, LungZeno writes: 題外話，語文中的最小表義單位為語素（morpheme），而非字元（character）。
• 2010/04/12, 深入理解SET NAMES和mysql(i)_set_charset的区别 | 风雪之隅 writes: [...] 我之前的文章深入MySQL字符集设置中, 曾经介绍过character_set_client/character_set_connection/character_set_results这三个MySQL的”环境变量”, 这里再简单介绍下, [...]
• 2010/04/12, qywyh writes: re！
• 2010/06/21, Anonymous writes: 写得很详细,真是浅显易懂嗯
• 2010/06/22, volew writes: • 向默认字符集为utf8的数据表插入utf8编码的数据前没有设置连接字符集，查询时设置连接字符集为utf8 这个情况下关于“结果将经过utf8=>utf8的字符集转换.”我有个疑惑想请教一下. 查询结果MYSQL不会按照 COLUMN CHARSET=》CONNECT CHARSET=》 RESULTS CHARSET 的方式进行转化 即 utf8=> latin1 => latin1的转换么？
• 2010/08/06, [PHP]SET NAMES和mysql(i)_set_charset的区别 writes: [...] 首先, 很多人都不知道”SET NAMES”到底是做了什么, 我之前的文章深入MySQL字符集设置中, [...]
• 2010/08/12, 4 ～ 胖 » 深入理解SET NAMES和mysql(i)_set_charset的区别 writes: [...] 我之前的文章深入MySQL字符集设置中, 曾经介绍过character_set_client/character_set_connection/character_set_results这三个MySQL的”环境变量”, 这里再简单介绍下, [...]
• 2010/09/29, Mesothelioma Cancer writes: 我想太多复杂的编码我想你应该上传视频教程。
• 2010/11/25, 深入Mysql字符集设置 [转] » vkebb 随笔 writes: [...] 本文地址: http://www.laruence.com/2008/01/05/12.html [...]
• 2010/12/10, 深入理解SET NAMES和mysql(i)_set_charset的区别 | CNlaoKe's Blog writes: [...] 我之前的文章深入MySQL字符集设置中, 曾经介绍过character_set_client/character_set_connection/character_set_results这三个MySQL的”环境变量”, 这里再简单介绍下, [...]
• 2011/02/19, maker writes: 今天从早上到现在一直都在看您的博文,获益匪浅,期待您更多的分享.
• 2011/03/20, 深入Mysql字符集设置 | 万维网黑客联盟 writes: [...] 本文地址: http://www.laruence.com/2008/01/05/12.html [...]
• 2011/04/23, Kyli writes: 偶像级别呵呵， 向你学习
• 2011/07/06, 深入理解SET NAMES和mysql(i)_set_charset的区别 | 麦克 Magic Coder writes: [...] 很多人都不知道”SET NAMES”到底是做了什么, 我之前的文章深入MySQL字符集设置中, [...]

Related Posts:

• 为MySQL设置查询超时
• 深入理解SET NAMES和mysql(i)_set_charset的区别
• 统一信息存储平台(ISP)
• 引用外部JS文件的编码问题
• 页面乱码问题根源浅析