RDS实例CPU一直被打满

1、问题描述

版本：阿里云专有云V2版本

客户反馈，通过drds执行SQL比较慢，之前很快就能执行完的SQL，需要三四秒才可以执行成功。

2、问题排查

首先排查drds的状况，通过drds manager发现该drds下面有两个docker节点，并且都是正常的。

检查drds下面挂的rds的实例状态，一共有四个rds，其中一个rds的CPU一直被打满，并且卡顿时间跟客户描述的一致。问题已经基本定位到时其中一个RDS实例的CPU被打满，导致查询缓慢，拖慢了整个drds实例。*

实例的cpu被打满，一般是由两种情况：

1、慢SQL，全表扫描等。此时qps不高，但是查询占用了大量的逻辑IO，需要扫描大量的数据行，导致CPU资源被大量消耗2、qps高，业务量高峰。此时慢SQL不是问题所在。那就需要考虑从实际的规格和架构方面入手，可以提高rds的规格配置，增加只读实例等。

*

回到问题，登录到该rds。show processlit发现有很多慢查询，如图：

可以明显看到这种SQL执行时间特别长，达到了21秒，并且占用的逻辑读也特别高。问题还是在慢SQL方面。那它的备库现在什么情况呢，通过show slave status发现。主备已经停止同步。此时已经不能登录到备库，查看mysql进程，已经挂掉。手动拉起mysql进程。后可以登录了。可以看到刚拉起主备延迟很高

3、问题解决

慢SQL已经反馈给客户进行处理，并且通知研发注意这种SQL，应用设计和开发过程中，要考虑查询的优化，遵守 MySQL 优化的一般优化原则，降低查询的逻辑 IO，提高应用可扩展性。

客户将SQL kill处理后，该rds的cpu恢复正常，并且从drds查询速度也恢复正常，问题解决。