meituan-dianping / dbproxy

###一、简介

DBProxy是由美团点评公司技术工程部DBA团队（北京）开发维护的一个基于MySQL协议的数据中间层。它在奇虎360公司开源的Atlas基础上，修改了部分bug，并且添加了很多特性。目前DBProxy在美团点评广泛应用，包括美团支付、酒店旅游、外卖、团购等产品线，公司内部对DBProxy的开发全面转到github上，开源和内部使用保持一致。目前只支持MySQL（Percona）5.5和5.6。

主要功能：

1. 读写分离
2. 从库负载均衡
3. IP过滤
4. 分表
5. DBA可平滑上下线DB
6. 自动摘除宕机的DB
7. 监控信息完备
8. SQL过滤
9. 从库流量配置

###二、DBProxy相对于奇虎360公司开源Atlas的改进

1. 修改了部分bug并且新增了一些feature，详见release notes
2. 提供了丰富的监控信息，大量参数可配置化并且支持动态修改
3. 对原有的诸如日志等模块进行了优化，性能提升明显
4. 开源版本即为目前美团点评内部使用版本，并将一直对源码及其文档进行维护

###三、DBProxy详细说明

1. DBProxy快速入门教程
2. DBProxy用户使用手册
3. DBProxy开发手册
4. DBProxy架构和实践
5. DBProxy release notes
6. DBProxy 测试手册
7. FAQ
8. DBProxy开发规范

###四、DBProxy的需求及Bug反馈方式

如果用户在实际的应用场景中对DBProxy有新的功能需求，或者在使用DBProxy的过程中发现了bug，在github上进行交流或是PullRequest，后续将会建立DBProxy的公众号以及讨论组/群方便大家的使用和版本的维护。

注意：QQ群1已经满员，请加入QQ群2(550320610)。

dbproxy's Issues

Autocommit为0时，后台连接不应放回连接池

Autocommit为0时，放回连接池后，后续的rollback语句可能会发向其他后台连接。

添加hosts时1会覆盖1.%

目前安装支持Percona包，使用MySQL包会报错，需要支持

DBProxy未处理的客户端连接堆积情况统计

统计未处理的客户端连接数，用于反映atlas处理能力与客户端请求的对比

更新文档注明glib的版本

使用centos:6.6默认yum源的glib2.x86_64的版本是2.28.8-4.el6，版本过低，导致DBProxy编译不通过。
make报错：

field has incomplete type

目前支持Percona5.6，需要支持MySQL（Percona）5.7

git 没有读取权限

vagrant@vagrant-ubuntu-trusty:~$ git clone [email protected]:Meituan-Dianping/DBProxy.git
Cloning into 'DBProxy'...
Permission denied (publickey).
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

threadrunning限流时逻辑优化

1.threadrunning过高时，事务中的连接应该不受影响，可以继续执行
2.如果发现backend不可用并且事务没有开始，则重选backend

动态修改weight失效

master节点不做threadrunning限流，master的可用性靠MHA保证；只在slave节点做threadrunning限流处理

由于master做threadrunning限流，会导致的问题可能会比较多。

删除编译中间文件并在git中将这些文件ignore掉

add user hosts中如果之前存在了小范围的IP，添加大范围IP时候不会将之前小范围的IP覆盖

日志增强，方便RD日志快速排查问题

last_insert_id()不支持ignore 不支持事务

新建如何使用docker在mac上编译DBProxy

读写请求状态没有区分

完善sql 日志中有关SQL流转的各个时间点

比如： 接收到SQL的时间点，开始发送给Mysql时间点, 发送mysql完成时间点，开始接收结果时间点，接收完成时间点，结果发送开始时间点，结果发送完成时间点。

QUICK_START.md里面的安装依赖

需要添加libevent-devel openssl-devel, 不然会找不到这些库

增加DBProxy安全防护能力

DBproxy支持配置文件动态加载

可以对配置进行统一管理，形成配置中心

连接池优化

前端连接断开，后端连接放回连接池；针对PHP短连接的场景

配置文件的错误提示信息不太好定位。

https://github.com/Meituan-Dianping/DBProxy/blob/master/doc/USER_GUIDE.md

这个里面：

 #日志缓冲大小（日志条数），默认500
 sql-log-buffer-size=

应该把 500 写进去。

否则：

Program received signal SIGSEGV, Segmentation fault.
0x000000000041093d in main_cmdline (argc=1, argv=0x7fffffffe478) at mysql-proxy-cli.c:866
866			g_critical("%s: %s", G_STRLOC, gerr->message);
(gdb) bt
#0  0x000000000041093d in main_cmdline (argc=1, argv=0x7fffffffe478) at mysql-proxy-cli.c:866
#1  0x00007ffff67b9f45 in __libc_start_main (main=0x40ec90 <main>, argc=2, argv=0x7fffffffe478, init=<optimized out>, fini=<optimized out>, rtld_fini=<optimized out>, stack_end=0x7fffffffe468) at libc-start.c:287
#2  0x000000000040ecbe in _start ()
(gdb) p argc_p
No symbol "argc_p" in current context.
(gdb) p argv
$1 = (char **) 0x7fffffffe478
(gdb) p *argv
$2 = 0x7fffffffe6db "/usr/local/mysql-proxy/bin/mysql-proxy"
(gdb) quit
A debugging session is active.

    Inferior 1 [process 26534] will be killed.

不好定位是那一个初始化失败。

set blacklist-file在select * from help中显示支持，但是实际不支持

并且在配置文件中blacklist-file不是一个强制需要设置的变量，如果用户没有设置，则用户执行save的时候不知道会出现什么情况

save config逻辑修改，removing状态的backend不应该被save config

运行bootstrap.sh时提示--with-mysql=/path/to/mysql_config

configure: error: mysql_config not exists or not executable, use $ ./configure --with-mysql=/path/to/mysql_config

请教下mysql_config是指那个配置文件，/etc/my.cnf ，还是其他配置文件！

分库分表支持Group BY/Order By的操作

sql 执行时 remove backend 导致程序挂掉

remove backend 和 执行sql 间代码间协定部分代码存在bug

DBproxy连接预分配

请问有没有处理Zabbix数据库的案例

请问有没有处理Zabbix数据库的案例

DBProxy平滑下线时，事务中的连接客户端control-c结束连接，DBProxy仍旧等待timeout后才下线

SQL处理模块增强

1. 简单SQL校验，如IN的后面数组过大检查
2. 做一些SQL解析，对诸如IN、子查询、JOIN操作做一定的识别，高风险的预警甚至拒绝操作，保护server端
3. 慢SQL黑名单，防止同一条慢SQL多次执行。同一条慢SQL第二次提交过来时，自动丢弃
4. 返回结果集太大报警
   ...

发现俩个地方有点问题

1. set names utf8 collate utf8_unicode_ci; 设置该字符集报错
2. Exception 'Illuminate\Database\QueryException' with message 'SQLSTATE[07000]: <>: 1105 Proxy Warning - Syntax Forbidden Prepare:select * from pt_client where pt_client.id = ? limit 1 (SQL: select * from pt_client where pt_client.id = 8005 limit 1)' 在执行语句时候出错

代码重构

1. 某块之间解耦
2. 提高性能和资源利用率（性能、内存、CPU等）

为user添加host时候，没有做IP合法性检查

支持windows平台吗

如题，或者怎么在windows上编译

DBProxy在ubuntu安装失败

ubuntu版本为16.04.
在make编译的时候编译出错，不知道是否支持ubuntu现阶段！

self_connect连接MySQL的socket应该设置成非阻塞

希望支持set session transaction read write

希望能支持在读写分离场景（无分库分表），测试atlas的时候没有这个问题

希望提供debian系的安装方法啊

目前debian系 在国内服务器端 还是挺广泛的，建议整个debian系的安装方法，谢谢~！

安装脚本中的路径有问题

RT

glib2-2.42.0-1.el6从哪里下载哇？

centos6自带的glib2-2.28.8不能用。

DBProxy支持IP透传

管理端操作的所有命令需要返回一个明确的状态值

save config、save blacklists权限问题失败问题

DBProxy以非root用户启动时，如果没有 配置文件和blacklists文件的写权限，保存会失败。

set character 出错

hi， dbproxy是很优秀的，公司在使用过程中，发现 set character 报错， 公司php框架是自带设置字符集的， 建议支持下 设置字符集，谢谢

check_state()中重试逻辑修正

1. master的可用性靠MHA保证

2. 不做threadrunning限流

3. https://dev.mysql.com/doc/refman/5.7/en/error-messages-client.html

        /* what about mointor_user/pwd is NULL ? */
        m = j = k = 0;
        while (m < config->check_state_retry_times) {
        mysql_real_connect(&mysql, ip, monitor_user, monitor_pwd, NULL, port, NULL, 0);
            if (mysql_errno(&mysql) == 0) {
                break;
            } else if (mysql_errno(&mysql) == CR_SERVER_LOST) {
                m++;
                g_warning("%s(%s): due to %s, retry %dth times to connect backend %s",
                                      G_STRLOC, __func__, mysql_error(&mysql),
                                      m, backend->addr->name->str);
                sleep(config->check_state_sleep_delay);
            } else {
                break;
            }
        }
   

用户管理查询优化

select * from pwds修改成select * from users
monitor 信息放在select * from pwds中展示

管理日志中 完善 have no server backend 的原因

比如： 日志中详细输出：have no server backend case by backend state is DOWN/PENDING or have no server backend case by create new connection failed.

log-trace-modules 没有限制取值范围

密码中有特殊字符导致连接mysql-server失败