MySQL 分割策略：因地制宜，打造专属数据蓝图 (mysql分库分表方案)

随着数据量的不断增长，MySQL 单机存储和计算能力的局限性日益凸显，分库分表成为了应对大数据场景的必然选择。本文将深入剖析 MySQL 分割策略，从概念、类型、设计原则到具体实施方案，为读者提供一份全面的指南，助力打造专属的数据蓝图。

分库分表的概念

分库分表是一种对大型数据库进行拆分和分布的技术，其目的是将数据分散存储到多个数据库或表中，以提高数据库的性能、可扩展性和可用性。分库分表通常涉及两个维度：

• 水平分库：将数据按行拆分，分散存储到多个数据库中，每个数据库存储不同部分的数据。
• 垂直分表：将数据按列拆分，分散存储到多个表中，每个表存储不同类型的字段。

分库分表类型

MySQL 分库分表方案主要分为两种类型：

1. 物理分库分表：将数据实际存储在不同的物理服务器上，实现数据库的物理隔离。
2. 逻辑分库分表：将数据逻辑上划分为多个库或表，由中间件负责路由和合并数据，而物理上仍存储在同一台服务器上。

物理分库分表适用于大数据量、高并发场景，但会带来更高的运维成本。逻辑分库分表适用于中小型数据量、低并发场景，但存在一定的性能瓶颈。

分库分表设计原则

在设计分库分：一款开源的分布式数据库代理，负责数据路由、负载均衡和故障转移等功能。

常见问题

Q：分库分表对性能有什么影响？A：分库分表可以提高读写性能，特别是对于大数据量场景。通过将数据分散存储，减少了单台数据库的负载。但是，跨分库分表或跨表查询可能会影响性能，需要谨慎优化。Q：分库分表后如何维护数据一致性？A：在物理分库分表方案中，需要保证跨库事务的一致性，可以使用两阶段提交或分布式锁等机制。在逻辑分库分表方案中，中间件负责保证数据一致性，通过数据同步和分布式事务管理机制。Q：分库分表后如何进行数据备份？A：对于物理分库分表方案，需要对每个分库进行独立备份。对于逻辑分库分表方案，可以使用中间件提供的备份功能，或通过逻辑复制将数据备份到其他数据库。

结论

分库分表是应对大数据场景的有效解决方案，通过因地制宜地选择分库分表策略，可以有效提高数据库的性能、可扩展性和可用性。在设计和实施分库分表方案时，需要充分考虑数据特性、业务需求和技术限制，以打造专属的数据蓝图，满足企业不断增长的数据管理需求。

---

MySQL数据库中如何把一个表中的某几个字段拆分几条记录，并存到一个子表当中去

1、维护数据

2、行转列

mysql数据库要放1亿条信息怎样分表?

mysql数据库对1亿条数据的分表方法设计：

目前针对海量数据的优化有两种方法：

（1）垂直分割

优势：降低高并发情况下，对于表的锁定。

不足：对于单表来说，随着数据库的记录增多，读写压力将进一步增大。

（2）水平分割

如果单表的IO压力大，可以考虑用水平分割，其原理就是通过hash算法，将一张表分为N多页，并通过一个新的表（总表），记录着每个页的的位置。

假如一个门户网站，它的数据库表已经达到了1亿条记录，那么此时如果通过select去查询，必定会效率低下（不做索引的前提下）。为了降低单表的读写IO压力，通过水平分割，将这个表分成10个页，同时生成一个总表，记录各个页的信息，那么假如我查询一条id=100的记录，它不再需要全表扫描，而是通过总表找到该记录在哪个对应的页上，然后再去相应的页做检索，这样就降低了IO压力。

分库分表技术及技术方案

一、分库分表的必要性

分库分表技术的使用，主要是数据库产生了瓶颈，如单库的并发访问或单表的查询都超出了阈值。对系统使用造成一定的影响，不得已而产生的技术。

通过分库分表技术来解决此类问题，但正因为使用此技术，会产生ACID一系列的问题，各类中间件解决此类问题各有各的优势。

提示：如场景无必要，千万不要使用分库分表。

二、分库分表的思路

1、垂直区分

垂直分库：从业务角度，一个库分成多个库，如把订单和用户信息分成两个库来存储。这样的好处就是可以微服务了。每块的业务单独部署，互不影响，通过接口去调用。

垂直分表：把大表分成多个小表，如热点数据和非热点数据分开，提高查询速度。

2、水平区分

水平分表：同一业务如数据量大了以后，根据一定的规则分为不同的表进行存储。

水平分库：如订单分成多个库存储，分解服务器压力。

以上一般来说，垂直分库和水平分表用的会多些。

三、分库分表的原理分析

分库分表常用的方案：Hash取模方案和range范围方案；

路由算法为最主要的算法，指得是把路由的Key按照指定的算法进行存放；

1、Hash取模方案

根据取余分配到不同的表里。要根据实际情况确认模的大小。此方案由于平均分配，不存在热点问题，但数据迁移很复杂。

2、Range范围方案

四、分库分表的技术选型

1、技术选型

解决方案主要分为4种：MySQL的分区技术、NoSql、NewSQL、MySQL的分库分表。

（1）mysql分区技术：把一张表存放在不同存储文件。由于无法负载，使用较少。

（2）NoSQL（如MongoDB）：如是订单等比较重要数据，强关联关系，需约束一致性，不太适应。

（3）NewSql(具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性):如TiDB可满足需求。

（4）MySQL的分库分表：如使用mysql,此种方案为主流方式。

2、中间件

解决此类问题的中间件主要为：Proxy模式、Client模式。

（1）Proxy模式

（2）Client模式

把分库分表相关逻辑存放在客户端，一版客户端的应用会引用一个jar，然后再jar中处理SQL组合、数据库路由、执行结果合并等相关功能。

（3）中间件的比较

由于Client模式少了一层，运维方便，相对来说容易些。

五、分库分表的实践

根据容量（当前容量和增长量）评估分库或分表个数 -> 选key（均匀）-> 分表规则（hash或range等）-> 执行（一般双写）-> 扩容问题（尽量减少数据的移动）。

在这里我们选用中间件share-jdbc。

1、引入maven依赖

2、spring boot规则配置

行表达式标识符可以使用${...}或$->{...}，但前者与Spring本身的属性文件占位符冲突，因此在Spring环境中使用行表达式标识符建议使用$->{...}。

3、创建DataSource

通过ShardingDataSourceFactory工厂和规则配置对象获取ShardingDataSource，ShardingDataSource实现自JDBC的标准接口DataSource。然后即可通过DataSource选择使用原生JDBC开发，或者使用JPA, MyBatis等ORM工具。

若对本页面资源感兴趣，请点击下方或右方图片，注册登录后

搜索本页相关的【资源名】【软件名】【功能词】或有关的关键词，即可找到您想要的资源

如有其他疑问，请咨询右下角【在线客服】，谢谢支持！