面包芯语

内核trace三板斧-surtrace-cmd

Linux阅码场 2022-03-25 08:00
【50份好礼】首发直播： 解密Keysight最新模拟信号源 【有奖直播】提升毫米波信号测试精度

以下文章来源于Linux内核之旅 ，作者liaozhaoyan


1、引子：从三板斧开始

 说起三板斧，我们首先想到的就是隋唐英雄程咬金，他手持宣花大斧，遇到对手先抡三招（严格意义来说，是两招半）过去，大部分情况下都能将对手撂倒，大不了不行就拖斧跑路。

 今天登场的surftrace，就是一款类似于三板斧的工具，使用者只需掌握相关的内核知识，就可以快速上手使用。先看一个现实的案例。

1.1、谁唤醒了罗伯特

 在定位调度问题时，Robert进程总是被意外唤醒，因此需要知道都有哪些进程把Robert进程（pid为1234）给唤醒了。

 解决方案：内核采用try_to_wake_up函数来唤醒一个线程，函数原型：


static int try_to_wake_up(struct task_struct *p, unsigned int state, int wake_flags)


 该函数第一个入参struct task_struct 包含任务pid信息，通过过滤pid以及获取current信息，就可以找到是谁唤醒了。

 上面的问题非常容易通过ko、systemtap、bcc、bpftrace等方案实现。只是上述方案都存在一个共同的需求：没有现成的命令可以使用，均需要编码实现，调试费时费力，问题定位了，可能就丢一边了。

1.2、surftrace登场

 先放码出来：


pip install surftracesurftrace 'p try_to_wake_up pid=%0->pid comm=$comm f:pid==1234'


 输出结果


surftrace 'p try_to_wake_up pid=%0->pid comm=$comm f:pid==1234'echo 'p:f0 try_to_wake_up pid=+0x948(%di):u32 comm=$comm' >> /sys/kernel/debug/tracing/kprobe_eventsecho 'pid==1234' > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/filterecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on -0     [011] d.h. 11766726.224113: f0: (try_to_wake_up+0x0/0x580) pid=1234 comm="swapper/11" <...>-2166943 [011] d.h. 11766727.225113: f0: (try_to_wake_up+0x0/0x580) pid=1234 comm="python3" -0     [008] d.h. 11766728.226114: f0: (try_to_wake_up+0x0/0x580) pid=1234 comm="swapper/8" -0     [008] d.h. 11766729.227114: f0: (try_to_wake_up+0x0/0x580) pid=1234 comm="swapper/8" <...>-3391432 [008] d.h. 11766730.228131: f0: (try_to_wake_up+0x0/0x580) pid=1234 comm="docker-proxy-cu"^Cecho 0 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho -:f0 >> /sys/kernel/debug/tracing/kprobe_eventsecho 0 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on


 有没有一种上三板斧即收效的感觉？

2、surftrace简介

 surftrace是在ftrace和libbpf基础上封装的一系列工具集，用于trace内核信息。

 项目链接：https://github.com/aliyun/surftrace.git

我们接下来要介绍的surftrace-cmd基于ftrace封装实现，首先就需要从ftrace开始说起

2.1、ftrace原理与不足

 关于ftrace的介绍，可以参考其davaddi的文章：问题排查利器：Linux 原生跟踪工具 Ftrace 必知必会，这篇文章介绍的比较详细。概括的说：ftrace是一个内核中的追踪器，用于帮助系统开发者或设计者查看内核运行情况，它可以被用来调试或者分析延迟/性能等常见问题。如今ftrace已经成为一个开发框架，从2.6内核开始引入，是一套公认安全、可靠、高效的内核数据获取方式。

 但是ftrace对使用者的要求比较高，以对内核符号 wake_up_new_task 进行trace，同时要获取入参(struct task_struct *)->comm 成员信息为例，启动配置需要经历三个步骤：


echo 'p:f0 wake_up_new_task comm=+0x678(%di):string' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on


 要想停止需要继续配置如下：


echo 0 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho -:f0 >> /sys/kernel/debug/tracing/kprobe_eventsecho 0 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on


 一共需要六个步骤。其中，最困难的是第一个参数解析步骤。通常情况下，需要使用gdb 加载对应内核vmlinux， 对 struct task_struct 结构体中 comm成员进行偏移计算。上述方法如果不经常使用，重新手工操作的时间成本非常高，导致真正直接采用ftrace对内核信息进行采集的案例非常少，相关资料文献也匮乏。

2.2、surftrace目标

 surftrace的主要目标是为了降低内核trace难度，以达到快速高效获取内核信息目标。综合来说要达到以下效果：

  • 一键trace内核符号，并获取指定内核数据；

  • 除了C和linux 操作系统内核，用户无需新增学习掌握其它知识点（需要获取数据进行二次处理除外）；

  • 覆盖大部分主流发行版内核；

  • 类似bcc开发模式，达到libbpf最佳资源消耗；

3、surftrace 命令使用

 使用surftrace，需要满足以下条件：

  • 公开发行版linux内核，支持目录参考：http://pylcc.openanolis.cn/version/ （持续更新）

  • 内核支持ftrace，已配置了debugfs，root权限；

  • Python2 >= 2.7; Python3 >= 3.5，已安装pip；

surftrace支持 remote（默认），local和gdb三种表达式解析器，要求分别如下：

  • remote mode：可以访问pylcc.openanolis.cn

  • local mode：从http://pylcc.openanolis.cn/db/ 下载对应arch和内核的下载到本地

  • gdb mode：gdb version > 8.0，存放有对应内核的vmlinux；对于gdb模式而言，不受公开发行版内核限制

3.1、安装

 我们以龙蜥 4.19.91-24.8.an8.x86_64内核为例，需要root用户，执行以下命令进行安装：


pip3 install surftraceCollecting surftrace  Downloading http://mirrors.cloud.aliyuncs.com/pypi/packages/b9/a2/f7e04bb8ebb12e6517162a70886e3ffe8d466437b15624590c9301fdcc52/surftrace-0.2.tar.gzBuilding wheels for collected packages: surftrace  Running setup.py bdist_wheel for surftrace ... done  Stored in directory: /root/.cache/pip/wheels/cf/28/93/187f359be189bf0bf4a70197c53519c6ca54ffb957bcbebf5aSuccessfully built surftraceInstalling collected packages: surftraceSuccessfully installed surftrace-0.2


 检查安装是否成功


surftrace --helpusage: surftrace [-h] [-v VMLINUX] [-m MODE] [-d DB] [-r RIP] [-f FILE]                 [-g GDB] [-F FUNC] [-o OUTPUT] [-l LINE] [-a ARCH] [-s] [-S]                 [traces [traces ...]]
Trace ftrace kprobe events.
positional arguments:  traces                set trace args.
optional arguments:  -h, --help            show this help message and exit  -v VMLINUX, --vmlinux VMLINUX                        set vmlinux path.  -m MODE, --mode MODE  set arg parser, fro  -d DB, --db DB        set local db path.  -r RIP, --rip RIP     set remote server ip, remote mode only.  -f FILE, --file FILE  set input args path.  -g GDB, --gdb GDB     set gdb exe file path.  -F FUNC, --func FUNC  disasassemble function.  -o OUTPUT, --output OUTPUT                        set output bash file  -l LINE, --line LINE  get file disasemble info  -a ARCH, --arch ARCH  set architecture.  -s, --stack           show call stacks.  -S, --show            only show expressions.
examples:


3.2、常规函数入口trace

 接下来我们以 以下两个常用内核符号为例，它的原型定义如下：


void wake_up_new_task(struct task_struct *p);struct file *do_filp_open(int dfd, struct filename *pathname, const struct open_flags *op);


3.2.1、追踪符号入口和返回点

命令：surftrace 'p wake_up_new_task' 'r wake_up_new_task'


surftrace 'p wake_up_new_task' 'r wake_up_new_task'echo 'p:f0 wake_up_new_task' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 'r:f1 wake_up_new_task' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f1/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on surftrace-2336  [001] ....  1447.877666: f0: (wake_up_new_task+0x0/0x280) surftrace-2336  [001] d...  1447.877670: f1: (_do_fork+0x153/0x3d0 <- wake_up_new_task)


 示例中入参有两个表达式，所有表达式要用单引号括起来。

  • 'p wake_up_new_task'：p表示表示probe函数入口；

  • 'r wake_up_new_task'：r表示probe函数返回位置；

 后面的wake_up_new_task是要trace的函数符号，这个符号必须要在tracing/available_filter_functions 中可以找到的。

3.2.2、获取函数入参

 要获取 do_filp_open 函数 第一个入参dfd，它的数据类型是：int。

命令：surftrace 'p do_filp_open dfd=%0'


surftrace 'p do_filp_open dfd=%0'echo 'p:f0 do_filp_open dfd=%di:u32' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on surftrace-2435  [001] ....  2717.606277: f0: (do_filp_open+0x0/0x100) dfd=4294967196 AliYunDun-1812  [000] ....  2717.655955: f0: (do_filp_open+0x0/0x100) dfd=4294967196 AliYunDun-1812  [000] ....  2717.856227: f0: (do_filp_open+0x0/0x100) dfd=4294967196


  • dfd是自定义变量，可以自行定义，名字不冲突即可

  • %0表示第一个入参，%1表示第二个……

 前面打印中，dfd是按照十进制显示的，可能没有十六进制那么直观，指定十六进制的方法：

 命令：surftrace 'p do_filp_open dfd=X%0'


surftrace 'p do_filp_open dfd=X%0'echo 'p:f0 do_filp_open dfd=%di:x32' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on surftrace-2459  [000] ....  3137.167885: f0: (do_filp_open+0x0/0x100) dfd=0xffffff9c AliYunDun-1812  [001] ....  3137.171997: f0: (do_filp_open+0x0/0x100) dfd=0xffffff9c AliYunDun-1826  [001] ....  3137.201401: f0: (do_filp_open+0x0/0x100) dfd=0xffffff9c


 传参编号%前面使用了X进制类型标识符，共有SUX三种类型，分别对应有符号十进制、无符号十进制和十六进制，不指定默认为U类型。

3.2.3、解析入参结构体

 wake_up_new_task入参类型为struct task_struct *，如果要获取入参中comm成员，即任务名，

命令：surftrace 'p wake_up_new_task comm=%0->comm'


surftrace 'p wake_up_new_task comm=%0->comm'echo 'p:f0 wake_up_new_task comm=+0xae0(%di):string' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on surftrace-2421  [000] ....  2368.261019: f0: (wake_up_new_task+0x0/0x280) comm="surftrace" bash-2392  [001] ....  2375.809655: f0: (wake_up_new_task+0x0/0x280) comm="bash" bash-2392  [001] ....  2379.038534: f0: (wake_up_new_task+0x0/0x280) comm="bash" bash-2392  [000] ....  2381.237443: f0: (wake_up_new_task+0x0/0x280) comm="bash"


 方法和C语言获取结构体成员方法一样。

 结构体类型可以级联访问：


 surftrace 'p wake_up_new_task uesrs=S%0->mm->mm_users'echo 'p:f0 wake_up_new_task uesrs=+0x58(+0x850(%di)):s32' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on surftrace-2471  [001] ....  3965.234680: f0: (wake_up_new_task+0x0/0x280) uesrs=2 bash-2392  [000] ....  3970.094475: f0: (wake_up_new_task+0x0/0x280) uesrs=1 bash-2392  [000] ....  3971.954463: f0: (wake_up_new_task+0x0/0x280) uesrs=1surftrace 'p wake_up_new_task node=%0->se.run_node.rb_left'echo 'p:f0 wake_up_new_task node=+0xa8(%di):u64' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on surftrace-2543  [001] ....  5926.605145: f0: (wake_up_new_task+0x0/0x280) node=0 bash-2392  [001] ....  5940.292293: f0: (wake_up_new_task+0x0/0x280) node=0 bash-2392  [001] ....  5945.207106: f0: (wake_up_new_task+0x0/0x280) node=0 systemd-journal-553   [000] ....  5953.211998: f0: (wake_up_new_task+0x0/0x280) node=0


3.2.4、设置过过滤器

 过滤器需要放在表达式最后，以f:开头，可以使用括号和&& ||逻辑表达式进行组合，具体写法可以参考ftrace文档说明

 命令行 surftrace 'p wake_up_new_task comm=%0->comm f:comm=="python3"'


surftrace 'p wake_up_new_task comm=%0->comm f:comm=="python3"'echo 'p:f0 wake_up_new_task comm=+0xb28(%di):string' >> /sys/kernel/debug/tracing/kprobe_eventsecho 'comm=="python3"' > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/filterecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on <...>-2640781 [002] .... 6305734.444913: f0: (wake_up_new_task+0x0/0x250) comm="python3" <...>-2640781 [002] .... 6305734.447806: f0: (wake_up_new_task+0x0/0x250) comm="python3" <...>-2640781 [002] .... 6305734.450897: f0: (wake_up_new_task+0x0/0x250) comm="python3"


 系统会默认提供 'common_pid', 'common_preempt_count', 'common_flags', 'common_type' 这5个变量作为过滤器，该变量由系统提供，无需额外定义。

3.2.5、函数内部追踪

 函数内部追踪需要结合函数内部汇编代码进行推导，该方法并不通用，该内容操作进供参考。反汇编do_filp_open函数


3699  in fs/namei.c   0xffffffff812adb65 <+85>:  mov    %r13d,%edx   0xffffffff812adb70 <+96>:  or     $0x40,%edx   0xffffffff812adb73 <+99>:  mov    %r12,%rsi   0xffffffff812adb76 <+102>:  mov    %rsp,%rdi   0xffffffff812adb89 <+121>:  callq  0xffffffff812ac760    0xffffffff812adb92 <+130>:  mov    %rax,%rbx
3700  in fs/namei.c   0xffffffff812adb8e <+126>:  cmp    $0xfffffffffffffff6,%rax   0xffffffff812adb95 <+133>:  je     0xffffffff812adbb4 164>
3701  in fs/namei.c   0xffffffff812adbb4 <+164>:  mov    %r13d,%edx   0xffffffff812adbb7 <+167>:  mov    %r12,%rsi   0xffffffff812adbba <+170>:  mov    %rsp,%rdi   0xffffffff812adbbd <+173>:  callq  0xffffffff812ac760    0xffffffff812adbc2 <+178>:  mov    %rax,%rbx   0xffffffff812adbc5 <+181>:  jmp    0xffffffff812adb97 135>
3702  in fs/namei.c   0xffffffff812adb97 <+135>:  cmp    $0xffffffffffffff8c,%rbx   0xffffffff812adb9b <+139>:  je     0xffffffff812adbc7 183>  


 对应源码


struct file *do_filp_open(int dfd, struct filename *pathname,      const struct open_flags *op){    struct nameidata nd;    int flags = op->lookup_flags;    struct file *filp;      set_nameidata(&nd, dfd, pathname);    filp = path_openat(&nd, op, flags | LOOKUP_RCU);    if (unlikely(filp == ERR_PTR(-ECHILD)))      filp = path_openat(&nd, op, flags);    if (unlikely(filp == ERR_PTR(-ESTALE)))      filp = path_openat(&nd, op, flags | LOOKUP_REVAL);    restore_nameidata();    return filp;}


要获取 3699行 filp = path_openat(&nd, op, flags | LOOKUP_RCU) 对应的filp的值


surftrace 'p do_filp_open+121 filp=X!(u64)%ax'echo 'p:f0 do_filp_open+121 filp=%ax:x64' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on <...>-1315799 [006] d.Z. 6314249.201847: f0: (do_filp_open+0x79/0xd0) filp=0xffff929db2819840 <...>-4006158 [014] d.Z. 6314249.326736: f0: (do_filp_open+0x79/0xd0) filp=0xffff929daeac48c0


 变量表达式：filp=X!(u64)%ax 中，使用!对寄存器类型进行数据类型强制转换，括号当中的是是数据类型定义。

 展开 struct file 结构体定义：


struct file {    union {        struct llist_node fu_llist;        struct callback_head fu_rcuhead;    } f_u;    struct path f_path;    struct inode *f_inode;    const struct file_operations *f_op;    spinlock_t f_lock;    enum rw_hint f_write_hint;    atomic_long_t f_count;    unsigned int f_flags;    fmode_t f_mode;    struct mutex f_pos_lock;    loff_t f_pos;    struct fown_struct f_owner;    const struct cred *f_cred;    struct file_ra_state f_ra;    u64 f_version;    void *f_security;    void *private_data;    struct list_head f_ep_links;    struct list_head f_tfile_llink;    struct address_space *f_mapping;    errseq_t f_wb_err;}


如果要获取此时的f_pos值，可以这样获取

  • 命令行：surftrace 'p do_filp_open+121 pos=X!(struct file*)%ax->f_pos'


surftrace 'p do_filp_open+121 pos=X!(struct file*)%ax->f_pos'echo 'p:f0 do_filp_open+121 pos=+0x68(%ax):x64' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on <...>-1334277 [010] d.Z. 6314645.646230: f0: (do_filp_open+0x79/0xd0) pos=0x0 <...>-2916553 [002] d.Z. 6314645.653164: f0: (do_filp_open+0x79/0xd0) pos=0x0 <...>-2916553 [002] d.Z. 6314645.653253: f0: (do_filp_open+0x79/0xd0) pos=0x0


 获取方法和前面保持一致。

3.3、获取返回值

 前文已经描述采用r 对事件类型进行标识，返回寄存器统一用$retval标识，与ftrace保持一致，以获取do_filp_open函数返回值为例：

  • 命令行：surftrace 'r do_filp_open filp=$retval'


surftrace 'r do_filp_open filp=$retval'echo 'r:f0 do_filp_open filp=$retval:u64' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on <...>-1362926 [010] d... 6315264.198718: f0: (do_sys_openat2+0x1b6/0x260 <- do_filp_open) filp=18446623804769722880 <...>-4006154 [008] d... 6315264.256749: f0: (do_sys_openat2+0x1b6/0x260 <- do_filp_open) filp=18446623804770426624 <...>-4006154 [008] d... 6315264.256776: f0: (do_sys_openat2+0x1b6/0x260 <- do_filp_open) filp=18446623804770425344


获取 struct file 中f_pos成员

  • 命令行：surftrace 'r do_filp_open pos=$retval->f_pos'


surftrace 'r do_filp_open pos=$retval->f_pos'echo 'r:f0 do_filp_open pos=+0x68($retval):u64' >> /sys/kernel/debug/tracing/kprobe_eventsecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on <...>-1371049 [008] d... 6315439.568814: f0: (do_sys_openat2+0x1b6/0x260 <- do_filp_open) pos=0 systemd-journal-3665  [012] d... 6315439.568962: f0: (do_sys_openat2+0x1b6/0x260 <- do_filp_open) pos=0 systemd-journal-3665  [012] d... 6315439.571519: f0: (do_sys_openat2+0x1b6/0x260 <- do_filp_open) pos=0


3.4、skb处理

 sk_buff 是linux网络协议栈重要的结构体，通过前面的方法，并不能直接解析到我们关注的报文内容，需要进行特殊处理。以追踪icmp接收ping报文为例，我们在__netif_receive_skb_core 函数中进行probe和过滤:

  • 命令行 surftrace 'p __netif_receive_skb_core proto=@(struct iphdr *)l3%0->protocol ip_src=@(struct iphdr *)%0->saddr ip_dst=@(struct iphdr *)l3%0->daddr data=X@(struct iphdr *)l3%0->sdata[1] f:proto==1&&ip_src==127.0.0.1'

  • 同时可能需要 执行 ping127.0.0.1


surftrace 'p __netif_receive_skb_core proto=@(struct iphdr *)l3%0->protocol ip_src=@(struct iphdr *)%0->saddr ip_dst=@(struct iphdr *)l3%0->daddr data=X@(struct iphdr *)l3%0->sdata[1] f:proto==1&&ip_src==127.0.0.1'echo 'p:f0 __netif_receive_skb_core proto=+0x9(+0xe8(%di)):u8 ip_src=+0xc(+0xe8(%di)):u32 ip_dst=+0x10(+0xe8(%di)):u32 data=+0x16(+0xe8(%di)):x16' >> /sys/kernel/debug/tracing/kprobe_eventsecho 'proto==1&&ip_src==0x100007f' > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/filterecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/kprobes/f0/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on <...>-1420827 [013] ..s1 6316511.011244: f0: (__netif_receive_skb_core+0x0/0xc10) proto=1 ip_src=127.0.0.1 ip_dst=127.0.0.1 data=0x4a0d <...>-1420827 [013] ..s1 6316511.011264: f0: (__netif_receive_skb_core+0x0/0xc10) proto=1 ip_src=127.0.0.1 ip_dst=127.0.0.1 data=0x4a1


 协议的获取表达式为 @(struct iphdr *)l3%0->protocol，和之前不一样的是，寄存器的结构体名左括号加了@符号进行特殊标记，表示需要用该结构体来解析skb->data指针数据，结构体名和右括号后加了l3标记（命名为右标记），表示当前skb->data指向了TCP/IP 层3位置。

  • 右标记有l2、l3、l4三个选项，也可以不标记，默认为l3，如 ip_src=@(struct iphdr *)%0->saddr，没有右标记。

  • 报文结构体有 'struct ethhdr', 'struct iphdr', 'struct icmphdr', 'struct tcphdr', 'struct udphdr'五类，如果协议栈层级和报文结构体对应不上，解析器会报参数错误，如右标记为l3，但是报文结构体是 struct ethhdr类型；

  • 'struct icmphdr', 'struct tcphdr', 'struct udphdr'这三个4层结构体增加了xdata成员，用于获取协议对应报文内容。xdata有 cdata. sdata, ldata, qdata, Sdata 五种类型，位宽对应 1 2 4 8 和字符串. 数组下标是按照位宽进行对齐的，如实例表达式中的 data=%0~$(struct icmphdr)l3->sdata[1],sdata[1]表示要提取icmp报文中的2~3字节内容

  • surftrace 会对以 ip_xx开头的变量进行ipv4<->u32 ，如 ip_src=@(struct iphdr *)%0->saddr，会转成对应的IP格式。对B16、B32、B64、b16、b32、b64开头的变量也会进行大小端转换，B开头按照16进制输出，b以10进制输出。

3.5、event

 trace event 信息参考 /sys/kernel/debug/tracing/events目录下的事件 描述，以追踪wakeup等待超过10ms任务为例

 命令行 surftrace 'e sched/sched_stat_wait f:delay>1000000'


surftrace 'e sched/sched_stat_wait f:delay>1000000'echo 'delay>1000000' > /sys/kernel/debug/tracing/instances/surftrace/events/sched/sched_stat_wait/filterecho 1 > /sys/kernel/debug/tracing/instances/surftrace/events/sched/sched_stat_wait/enableecho 0 > /sys/kernel/debug/tracing/instances/surftrace/options/stacktraceecho 1 > /sys/kernel/debug/tracing/instances/surftrace/tracing_on-0     [001] dN.. 11868700.419049: sched_stat_wait: comm=h2o pid=3046552 delay=87023763 [ns] -0     [005] dN.. 11868700.419049: sched_stat_wait: comm=h2o pid=3046617 delay=87360020 [ns]


4、总结

 通过前面的举例，我们可以汇总出surftrace-cmd是一款类似三板斧一样的简洁易用的内核trace工具。特别是在以下应用场景中具有明显的方案优势：

  • 内核符号快速追踪、传参解析、数据过滤，可以做到一键追踪；

  • 函数内部汇编级别的追踪和数据解析，类似的情况libbpf和bcc等方案无法实现；

  • skb报文解析，已经做了大小端和ip格式转换等人性化处理，方便对网络报文在内核每一个环节进行有效追踪。

 同时，surftrace-cmd没有内置像libbpf中的hashmap等数据类型，如果要在内核态做复杂的逻辑运算和存储等场景，还是推荐采用libbpf等方案。

 后面我们将从实际案例角度出发，为你展示surftrace-cmd在网络、IO等内核问题的典型应用


登录阅读全文
免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系：  nick.zong@aspencore.com！
Linux阅码场 专业的Linux技术社区和Linux操作系统学习平台，内容涉及Linux内核,Linux内存管理,Linux进程管理,Linux文件系统和IO,Linux性能调优,Linux设备驱动以及Linux虚拟化和云计算等各方各面.
评论
  • 豹8出圈，比亚迪高端化稳了？
    最近几年，新能源汽车愈发受到消费者的青睐，其销量也是一路走高。据中汽协公布的数据显示，2024年10月，新能源汽车产销分别完成146.3万辆和143万辆，同比分别增长48%和49.6%。而结合各家新能源车企所公布的销量数据来看，比亚迪再度夺得了销冠宝座，其10月新能源汽车销量达到了502657辆，同比增长66.53%。众所周知，比亚迪是新能源汽车领域的重要参与者，其一举一动向来为外界所关注。日前，比亚迪汽车旗下品牌方程豹汽车推出了新车方程豹豹8，该款车型一上市就迅速吸引了消费者的目光，成为SUV
    刘旷 2024-12-02 09:32 140浏览
  • 工控板方案中，哪些功能可以通过USB扩展出来？
    作为优秀工程师的你，已身经百战、阅板无数！请先醒醒，新的项目来了，这是一个既要、又要、还要的产品需求，ARM核心板中一个处理器怎么能实现这么丰富的外围接口？踌躇之际，你偶阅此文。于是，“潘多拉”的魔盒打开了！没错，USB资源就是你打开新世界得钥匙，它能做哪些扩展呢？1.1  USB扩网口通用ARM处理器大多带两路网口，如果项目中有多路网路接口的需求，一般会选择在主板外部加交换机/路由器。当然，出于成本考虑，也可以将Switch芯片集成到ARM核心板或底板上，如KSZ9897、
    万象奥科 2024-12-03 10:24 96浏览
  • 比较器检测模拟脉冲说明（四）
    概述 说明（三）探讨的是比较器一般带有滞回（Hysteresis）功能，为了解决输入信号转换速率不够的问题。前文还提到，即便使能滞回（Hysteresis）功能，还是无法解决SiPM读出测试系统需要解决的问题。本文在说明（三）的基础上，继续探讨为SiPM读出测试系统寻求合适的模拟脉冲检出方案。前四代SiPM使用的高速比较器指标缺陷 由于前端模拟信号属于典型的指数脉冲，所以下降沿转换速率（Slew Rate）过慢，导致比较器检出出现不必要的问题。尽管比较器可以使能滞回（Hysteresis）模块功
    coyoo 2024-12-03 12:20 170浏览
  • 瑞芯微方案主板Linux修改系统串口波特率教程，触觉智能RK3562开发板演示
    遇到部分串口工具不支持1500000波特率，这时候就需要进行修改，本文以触觉智能RK3562开发板修改系统波特率为115200为例，介绍瑞芯微方案主板Linux修改系统串口波特率教程。温馨提示：瑞芯微方案主板/开发板串口波特率只支持115200或1500000。修改Loader打印波特率查看对应芯片的MINIALL.ini确定要修改的bin文件#查看对应芯片的MINIALL.ini cat rkbin/RKBOOT/RK3562MINIALL.ini修改uart baudrate参数修改以下目
    Industio_触觉智能 2024-12-03 11:28 112浏览
  • 简析光耦的基本原理和其在光伏逆变器产品中的重要作用
    光伏逆变器是一种高效的能量转换设备，它能够将光伏太阳能板（PV）产生的不稳定的直流电压转换成与市电频率同步的交流电。这种转换后的电能不仅可以回馈至商用输电网络，还能供独立电网系统使用。光伏逆变器在商业光伏储能电站和家庭独立储能系统等应用领域中得到了广泛的应用。光耦合器，以其高速信号传输、出色的共模抑制比以及单向信号传输和光电隔离的特性，在光伏逆变器中扮演着至关重要的角色。它确保了系统的安全隔离、干扰的有效隔离以及通信信号的精准传输。光耦合器的使用不仅提高了系统的稳定性和安全性，而且由于其低功耗的
    晶台光耦 2024-12-02 10:40 144浏览
  • 紫光展锐联合上汽海外发布量产车型，赋能汽车智能化
    当前，智能汽车产业迎来重大变局，随着人工智能、5G、大数据等新一代信息技术的迅猛发展，智能网联汽车正呈现强劲发展势头。11月26日，在2024紫光展锐全球合作伙伴大会汽车电子生态论坛上，紫光展锐与上汽海外出行联合发布搭载紫光展锐A7870的上汽海外MG量产车型，并发布A7710系列UWB数字钥匙解决方案平台，可应用于数字钥匙、活体检测、脚踢雷达、自动泊车等多种智能汽车场景。 联合发布量产车型，推动汽车智能化出海紫光展锐与上汽海外出行达成战略合作，联合发布搭载紫光展锐A7870的量产车型
    紫光展锐 2024-12-03 11:38 126浏览
  • RDDI-DAP错误
    RDDI-DAP错误通常与调试接口相关，特别是在使用CMSIS-DAP协议进行嵌入式系统开发时。以下是一些可能的原因和解决方法： 1. 硬件连接问题：     检查调试器（如ST-Link）与目标板之间的连接是否牢固。     确保所有必要的引脚都已正确连接，没有松动或短路。 2. 电源问题：     确保目标板和调试器都有足够的电源供应。     检查电源电压是否符合目标板的规格要求。 3. 固件问题： &n
    丙丁先生 2024-12-01 17:37 114浏览
  • 基于TOF微型多区激光传感器在MCU上的AI手势识别
    TOF多区传感器： ND06   ND06是一款微型多区高集成度ToF测距传感器，其支持24个区域（6 x 4）同步测距，测距范围远达5m，具有测距范围广、精度高、测距稳定等特点。适用于投影仪的无感自动对焦和梯形校正、AIoT、手势识别、智能面板和智能灯具等多种场景。                 如果用ND06进行手势识别，只需要经过三个步骤： 第一步&
    esad0 2024-12-04 11:20 109浏览
  • 温度传感器精度的影响因素
            温度传感器的精度受哪些因素影响，要先看所用的温度传感器输出哪种信号，不同信号输出的温度传感器影响精度的因素也不同。        现在常用的温度传感器输出信号有以下几种：电阻信号、电流信号、电压信号、数字信号等。以输出电阻信号的温度传感器为例，还细分为正温度系数温度传感器和负温度系数温度传感器，常用的铂电阻PT100/1000温度传感器就是正温度系数，就是说随着温度的升高，输出的电阻值会增大。对于输出
    锦正茂科技 2024-12-03 11:50 143浏览
  • 12-2学习笔记
    11-29学习笔记11-29学习笔记习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-02 23:58 94浏览
我要评论
0
点击右上角，分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦