常见的稳定性问题

一、内存

1. 数据库返回内容过多

特别注意那些未限制返回条数的sql, 是否存在某天突然返回大批量数据的可能性,建议加防御性的分页或者limit限制,返回条数建议不要大于1000条。在实际的场景中,一般都会进行limit的配置化,如配置在阿波罗中,这样方便动态调节。

2. 上传的文件过大过多

上传的某个文件是否有变大的可能性, 是否存在很多人同时上传文件的可能性, 大文件,不要一次性全部读入内存后再逐一处理。建议一条条或一批批读取,处理完一批再读一批,最好采用异步任务处理。

3. 导出的文件过大过多

导出的文件是否存在数据量过大的可能性,是否存在很多人同时导出的可能性,大文件建议分批从数据库读取分批append到文件,不要把所有数据缓冲到内存中,最好采用异步任务处理。

4.ThreadLocal局部变量未释放、连接未在用完关闭等

大部分容器采用线程池的方式来实例化和管理线程,线程会被反复重用, 所以保存到线程局部变量里的内容在使用完后一定要释放,否则很容易导致内存溢出, 如logback的MDC。

5. 本地缓存

本地缓存是否有限制缓存总量或者有驱逐策略,否则未预料情况下容易导致内存溢出,存在较大数据量时建议优先考虑redis缓存。

二、线程

1.无限制的创建线程

特别注意程序中是否存在每次请求都新建一个线程的情况,并发量大的情况可能导致创建大量线程,拖慢整体应用,建议使用线程池,限制最大线程数,最大线程数建议不要超过500。

2.线程queue队列过大

注意不要设置过大的线程等待队列,或者无界的队列,当线程任务执行过慢时,这可能导致内存的溢出,系统强制重启时队列任务也会丢失。建议最大不要超过5000,线程池拒绝策略可适当考虑CallerRunsPolicy策略,该策略可将请求的接收速率慢慢降下来。

3.线程池被过度复用