Scheduling Tablets 异常升高，数据入库延迟

[ziya05]

当前使用的Doris 2.1版本，使用spark doris connector 从kafka每5-10秒接入大量数据，并且每隔几秒有几个计算任务，集群整体cpu使用率在50-60%左右，大部分时间都正常， 但是在几天时间内出现了两次集群问题，在出现问题的时候，cpu和内存没有出现明显变化，但是scheduling tablets 出现异常升高，从0到50，BE的IO Util达到90%多，导致数据入库大量延迟，在grafana上看到对应时间有几个be出现了dead状态， 但是实际没有宕机或者重启：

现在不确定几个问题：
1、为什么有几个be会出现dead状态？
2、产生scheduling tablets较多的原因是什么（compaction score在出问题的时间段，没有很高）？
3、如何避免这种情况（是否可以限制tablet修复的线程或者速度，doris文档中没有找到相关配置）？

附上compaction score的图（发生问题的时间是17:00-18:00）：

附上CPU和 内存的图：

[ixzc]

中文问题推荐在中文论坛提问哈
https://doris-forum.org.cn/questions