LinuxCPU上下文切换的故障排查

关注+星标公众号，不错过精彩内容

译者 | 子沐爱扫地 

检查 CPU 的上下文切换

vmstat

• cs（context switch）：每秒上下文切换的次数。
• in（interrupt）：每秒的中断数。
• r（running | runnable）：就绪队列的长度，即正在运行和等待 CPU 的进程数。
• b（blocked）：处于不间断睡眠状态的进程数。

pidstat

# Output interval is 5
$ pidstat -w 5
Linux 4.15.0 (ubuntu)  09/23/18  _x86_64_  (2 CPU)
08:18:26      UID       PID   cswch/s nvcswch/s  Command
08:18:31        0         1      0.20      0.00  systemd
08:18:31        0         8      5.40      0.00  rcu_sched
...

• 自愿上下文切换：指进程无法获得所需资源而导致的上下文切换。例如，当 I/O 和内存等系统资源不足时，就会发生自愿上下文切换。
• 非自愿上下文切换：指进程因时间片已过期而被系统强制重新调度时发生的上下文切换。例如，当大量进程竞争 CPU 时，很容易发生非自愿的上下文切换。

案例分析

$ sysbench --threads=10 --max-time=300 threads run

• r：就绪队列的长度已达到 8
• us 和 sy：us 和 sy 的 CPU 使用率加起来是 100%，系统 CPU 使用率是 84%，说明 CPU 主要被内核占用。
• in：中断数也上升到了 10000，说明中断处理也是一个潜在的问题。

# 1 means output interval is 1 second
# -w: output process switching index，
# -u: output CPU usage index
$ pidstat -w -u 1
08:06:33      UID       PID    %usr %system  %guest   %wait    %CPU   CPU  Command
08:06:34        0     10488   30.00  100.00    0.00    0.00  100.00     0  sysbench
08:06:34        0     26326    0.00    1.00    0.00    0.00    1.00     0  kworker/u4:2
08:06:33      UID       PID   cswch/s nvcswch/s  Command
08:06:34        0         8     11.00      0.00  rcu_sched
08:06:34        0        16      1.00      0.00  ksoftirqd/1
08:06:34        0       471      1.00      0.00  hv_balloon
08:06:34        0      1230      1.00      0.00  iscsid
08:06:34        0      4089      1.00      0.00  kworker/1:5
08:06:34        0      4333      1.00      0.00  kworker/0:3
08:06:34        0     10499      1.00    224.00  pidstat
08:06:34        0     26326    236.00      0.00  kworker/u4:2
08:06:34     1000     26784    223.00      0.00  sshd

注意：默认情况下 pidstat 只显示进程的上下文切换，如果要查看实际线程的上下文切换，请添加 -t 选项。

中断

# -d: Highlight the change area
$ watch -d cat /proc/interrupts
           CPU0       CPU1
...
RES:    2450431    5279697   Rescheduling interrupts
...

结论

• 自愿上下文切换较多，说明进程在等待资源，可能会出现 I/O 饱和等其他问题。
• 非自愿上下文切换较多，说明进程正在被强制调度，也就是都在争抢 CPU，说明 CPU 确实产生了瓶颈。
• 中断次数增多，说明 CPU 被中断处理程序占用，需要通过查看 /proc/interrupts 文件来分析具体的中断类型。

声明：本文素材来源网络，版权归原作者所有。如涉及作品版权问题，请与我联系删除。

------------ END ------------

●专栏《嵌入式工具》

●专栏《嵌入式开发》

●专栏《Keil教程》

●嵌入式专栏精选教程

关注公众号回复“加群”按规则加入技术交流群，回复“1024”查看更多内容。

点击“阅读原文”查看更多分享。