加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

分分钟解决 MySQL 查询速度慢与性能差

发布时间:2019-11-07 01:46:39 所属栏目:编程 来源:Java技术架构
导读:一、什么影响了数据库查询速度 1.1 影响数据库查询速度的四个因素 1.2 风险分析 QPS: QueriesPerSecond意思是每秒查询率,是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。 TPS: 是 TransactionsPe
副标题[/!--empirenews.page--]

分分钟解决 MySQL 查询速度慢与性能差

一、什么影响了数据库查询速度

1.1 影响数据库查询速度的四个因素

分分钟解决 MySQL 查询速度慢与性能差

1.2 风险分析

QPS: QueriesPerSecond意思是“每秒查询率”,是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。

TPS: 是 TransactionsPerSecond的缩写,也就是事务数/秒。它是软件测试结果的测量单位。客户机在发送请求时开始计时,收到服务器响应后结束计时,以此来计算使用的时间和完成的事务个数。

Tips: 最好不要在主库上数据库备份,大型活动前取消这样的计划。

  • 效率低下的 sql:超高的 QPS与 TPS。
  • 大量的并发:数据连接数被占满( max_connection默认 100,一般把连接数设置得大一些)。 并发量:同一时刻数据库服务器处理的请求数量
  • 超高的 CPU使用率: CPU资源耗尽出现宕机。
  • 磁盘 IO:磁盘 IO性能突然下降、大量消耗磁盘性能的计划任务。解决:更快磁盘设备、调整计划任务、做好磁盘维护。

1.3 网卡流量:如何避免无法连接数据库的情况

  • 减少从服务器的数量(从服务器会从主服务器复制日志)
  • 进行分级缓存(避免前端大量缓存失效)
  • 避免使用 select* 进行查询
  • 分离业务网络和服务器网络

1.4 大表带来的问题( 重要)

1.4.1 大表的特点

  • 记录行数巨大,单表超千万
  • 表数据文件巨大,超过 10个 G

1.4.2 大表的危害

1.慢查询:很难在短时间内过滤出需要的数据 查询字区分度低 -> 要在大数据量的表中筛选出来其中一部分数据会产生大量的磁盘 io -> 降低磁盘效率

2.对 DDL影响:

建立索引需要很长时间:

  • MySQL-v<5.5 建立索引会锁表
  • MySQL-v>=5.5 建立索引会造成主从延迟( mysql建立索引,先在组上执行,再在库上执行)

修改表结构需要长时间的锁表:会造成长时间的主从延迟('480秒延迟')

1.4.3 如何处理数据库上的大表

分库分表把一张大表分成多个小表

难点:

  • 分表主键的选择
  • 分表后跨分区数据的查询和统计

1.5 大事务带来的问题( 重要*)*

1.5.1 什么是事务

分分钟解决 MySQL 查询速度慢与性能差

1.5.2事务的 ACID属性

1、原子性( atomicity):全部成功,全部回滚失败。银行存取款。

2、一致性(consistent):银行转账的总金额不变。

3、隔离性(isolation):

隔离性等级:

  • 未提交读( READ UNCOMMITED) 脏读,两个事务之间互相可见;
  • 已提交读( READ COMMITED)符合隔离性的基本概念,一个事务进行时,其它已提交的事物对于该事务是可见的,即可以获取其它事务提交的数据。
  • 可重复读( REPEATABLE READ) InnoDB的默认隔离等级。事务进行时,其它所有事务对其不可见,即多次执行读,得到的结果是一样的!
  • 可串行化( SERIALIZABLE) 在读取的每一行数据上都加锁,会造成大量的锁超时和锁征用,严格数据一致性且没有并发是可使用。

查看系统的事务隔离级别: show variables like'%iso%';

开启一个新事务: begin;

提交一个事务: commit;

修改事物的隔离级别: setsession tx_isolation='read-committed';

4、持久性( DURABILITY):从数据库的角度的持久性,磁盘损坏就不行了

分分钟解决 MySQL 查询速度慢与性能差

redolog机制保证事务更新的一致性和持久性

1.5.3 大事务

运行时间长,操作数据比较多的事务;

风险:锁定数据太多,回滚时间长,执行时间长。

  • 锁定太多数据,造成大量阻塞和锁超时;
  • 回滚时所需时间比较长,且数据仍然会处于锁定;
  • 如果执行时间长,将造成主从延迟,因为只有当主服务器全部执行完写入日志时,从服务器才会开始进行同步,造成延迟。

解决思路:

  • 避免一次处理太多数据,可以分批次处理;
  • 移出不必要的 SELECT操作,保证事务中只有必要的写操作。

二、什么影响了MySQL性能( 非常重要)

2.1 影响性能的几个方面

  • 服务器硬件。
  • 服务器系统(系统参数优化)。
  • 存储引擎。 MyISAM: 不支持事务,表级锁。 InnoDB: 支持事务,支持行级锁,事务 ACID。
  • 数据库参数配置。
  • 数据库结构设计和SQL语句。(重点优化)

2.2 MySQL体系结构

分三层:客户端->服务层->存储引擎

分分钟解决 MySQL 查询速度慢与性能差
  • MySQL是 插件式的存储引擎,其中存储引擎分很多种。只要实现符合mysql存储引擎的接口,可以开发自己的存储引擎!
  • 所有跨存储引擎的功能都是在服务层实现的。
  • MySQL的存储引擎是针对表的,不是针对库的。也就是说在一个数据库中可以使用不同的存储引擎。但是不建议这样做。

2.3 InnoDB存储引擎

MySQL5.5及之后版本默认的存储引擎: InnoDB。

2.3.1 InnoDB使用表空间进行数据存储。

show variables like'innodb_file_per_table

如果innodbfileper_table 为 ON 将建立独立的表空间,文件为tablename.ibd;

如果innodbfileper_table 为 OFF 将数据存储到系统的共享表空间,文件为ibdataX(X为从1开始的整数);

.frm :是服务器层面产生的文件,类似服务器层的数据字典,记录表结构。

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读