mysql大数据分库和分表 php解决方案
发布:smiling 来源: PHP粉丝网 添加日期:2015-04-18 14:42:04 浏览: 评论:0
当Mysql数据量过大时,就会面临压力分解,这时分库分表是一个不错的解决方案,现在我们就来谈谈Mysql如何分库分表比较理想,然后再用php如何调用.
1,主从复制,读写分离
对主库修改数据,查询使用从库,一主多从,来降低数据库读取压力.
2,分库分表
根据实体业务来分库,分表,如,根据数据的活跃性,根据用户uid等.
3,mysql 不同存储引擎区别
InnoDB 用于数据完整性/写性能要求比较高的应用. MyISAM 适合查询应用.
分表是分散数据库压力的好方法.
分表,最直白的意思,就是将一个表结构分为多个表,然后,可以再同一个库里,也可以放到不同的库.
当然,首先要知道什么情况下,才需要分表,个人觉得单表记录条数达到百万到千万级别时就要使用分表了.
1,分表的分类
1>纵向分表
将本来可以在同一个表的内容,人为划分为多个表,所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同一个表的.
分表理由:根据数据的活跃度进行分离,因为不同活跃的数据,处理方式是不同的.
案例:对于一个博客系统,文章标题,作者,分类,创建时间等,是变化频率慢,查询次数多,而且最好有很好的实时性的数据,我们把它叫做冷数据。而博客的浏览量,回复数等,类似的统计信息,或者别的变化频率比较高的数据,我们把它叫做活跃数据。所以,在进行数据库结构设计的时候,就应该考虑分表,首先是纵向分表的处理。
这样纵向分表后:
首先存储引擎的使用不同,冷数据使用MyIsam 可以有更好的查询数据。活跃数据,可以使用Innodb ,可以有更好的更新速度。
其次,对冷数据进行更多的从库配置,因为更多的操作时查询,这样来加快查询速度。对热数据,可以相对有更多的主库的横向分表处理。
其实,对于一些特殊的活跃数据,也可以考虑使用memcache ,redis
之类的缓存,等累计到一定量再去更新数据库。或者mongodb 一类的nosql 数据库,这里只是举例,就先不说这个。
2>横向分表
字面意思,就可以看出来,是把大的表结构,横向切割为同样结构的不同表,如,用户信息表,user_1,user_2 等。表结构是完全一样,但是,根据某些特定的规则来划分的表,如根据用户ID来取模划分。
分表理由:根据数据量的规模来划分,保证单表的容量不会太大,从而来保证单表的查询等处理能力。
案例:同上面的例子,博客系统。当博客的量达到很大时候,就应该采取横向分割来降低每个单表的压力,来提升性能。例如博客的冷数据表,假如分为100个表,当同时有100万个用户在浏览时,如果是单表的话,会进行100万次请求,而现在分表后,就可能是每个表进行1万个数据的请求(因为,不可能绝对的平均,只是假设),这样压力就降低了很多很多。
1,背景:一个地址薄的应用程序,设计的用户量为2亿,统计出每个用户的地址薄为30个左右,整个数据量为60亿,使用mysql数据库(亿级数据库设计)
计划分为:1000个表,100个库
2,分库分表代码
- private function getDbNo($email)
- {
- $m = md5($email);
- $n = hexdec(substr($m, 0, 16));
- $tableNo = fmod($n, 1000);
- $dbNo = $tableNo % 100;
- return array($dbNo, $tableNo);
- }
3,配合的连接访问代码
- require_once ‘Db/Config.php’;
- class Db_Adapter
- {
- const MASTER = 0;
- const SLAVE = 1;
- private static $instances = array();
- private $conf = array();
- private $conns = array();
- private $conn = NULL;
- private $stmt = NULL;
- public function __construct($conf)
- {
- $this->conf = $conf;
- }
- public function execute($sql, $params)
- {
- $cmd = substr(strtolower(trim($sql)), 0, 6);
- if ($cmd == ‘select’) {
- $conn = $this->getConn(self::SLAVE);
- } else {
- $conn = $this->getConn(self::MASTER);
- }
- $conn->prepare($sql);
- $stmt = $conn->execute($params);
- $this->conn = $conn;
- $this->stmt = $stmt;
- }
- public function fetch()
- {
- return $this->stmt->fetch();
- }
- public function fetchAll()
- {
- return $this->stmt->fetchAll();
- }
- public function lastInsertId($name = NULL)
- {
- return $this->conn->lastInsertId($name);
- }
- public function rowCount()
- {
- return $this->stmt->rowCount();
- }
- private function getConn($type)
- {
- if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) {
- $id = 0;
- } else {
- $id = 1;
- }
- if (!isset($this->conns[$id])) {
- $conf = $this->conf[$id];
- $this->conns[$id] = new PDO(
- $conf['dsn'], $conf['user'], $conf['pass'],
- self::dbOptions);
- }
- return $this->conns[$id];
- } //phpfensi.com
- public static function getInstance($dbName, $dbNo = 0)
- {
- $key = $dbName . ‘_’ . $dbNo;
- if (!isset(self::$instances[$key])) {
- $conf = Db_Config::getConfig($dbName, $dbNo); //连接配置参数
- self::$instances[$key] = new self($conf);
- }
- return self::$instances[$key];
- }
- }
4,潜在问题
如果某个表中的那些用户的地址薄联系人超多,如每个人1000个,则可能出现该表超大,需要把该表区分为子表,暂时没有配置中心来处理该情况.
若真的出现该情况,在连接参数这个地方继续作一次hash.
Tags: mysql分表 mysql分库
推荐文章
热门文章
最新评论文章
- 写给考虑创业的年轻程序员(10)
- PHP新手上路(一)(7)
- 惹恼程序员的十件事(5)
- PHP邮件发送例子,已测试成功(5)
- 致初学者:PHP比ASP优秀的七个理由(4)
- PHP会被淘汰吗?(4)
- PHP新手上路(四)(4)
- 如何去学习PHP?(2)
- 简单入门级php分页代码(2)
- php中邮箱email 电话等格式的验证(2)