XMODEM是一个简单的文件传输协议,由于其实现简单,所以在嵌入式领域用的很广泛,尤其是在升级等应用场景上,你会发现很多SOC的bootrom就支持通过xmodem升级程序。该协议最初由Ward Christensen在1977年开发。
XMODEM将原始数据分解成一系列发送给接收者的“数据包”来完成传输。包后添加校验信息,接收方可以校验包是否正确, 如果接收方校验错误，则可请求发送方重新发送数据包。
本文先介绍XMODEM协议,然后完成一个高可移植的，可靠的，高效的，非阻塞的C实现。
很多人可能使用的是github上一个比较常用的开源实现,但是那个版本存在诸多缺点,后面总结部分会对比,所以这里我们重新实现一个。
注:该协议采用一来一回的通讯方式,所以效率并不高,后面我们会分享实现自己更高效的传输协议。
前面介绍了XMODEM是将数据拆解成包发送的,所以先来介绍包格式.
最开始XMODEM一个包只传输128字节有效数据,为了提高效率,扩展格式将一个包传输的有效数据提高到1024字节。同时开始也只使用累加和的方式校验，可靠性比较低,于是扩展了支持CRC16的校验方式。所以不同校验方式组合不同包厂,共有4种传输组合。
XMODEM定义了一些符号用于代表不同包的作用,基本都是ASCII的定义。
符号 | 值 | 含义 |
SOH | 0x01 | 包头,128字节有效数据 |
STX | 0x02 | 包头,1024字节有效数据 |
EOT | 0x04 | 结束传输 |
ACK | 0x06 | 正常响应 |
NAK | 0x15 | 错误响应，或者累加和方式校验时的启动包 |
CAN | 0x18 | 取消传输 |
CTRLZ | 0x1A | 填充值 |
‘C’ | CRC校验方式的启动包 |
启动包由接收方发送,只有一个字节。如果是NAK:0x15则表示后面使用累加和校验,如果是字符’C’则表示后面使用CRC16校验。
位段 | 符号 |
大小(B) | 1 |
内容 | NAK:0x15 使用累加和校验 ‘C’:使用CRC16校验 |
数据包由发送方发送,根据第一个字节的包头确定后面有效数据长度,第一个字节是SOH则有效数据是128字节,第一个字节是STX则有效数据是1024字节.
根据启动包不同校验方式不同。
位段 | 符号 | 包序号 | 包序号的补码 | 包有效数据 | 校验 |
大小(B) | 1 | 1 | 1 | 128/1024 | 1/2 |
内容 | SOH/STX | 从1开始,成功发送一包则递增1,递增到255后绕回到0 | 该值和前面包序号的值加起来是255 | 包头符号是SOH则是128字节 STX则是1024字节 | 启动包是NAK则1字节校验和， 启动包是’C’则是2字节的CRC16。 包有效数据(128/1024B)的累加和结果取低8位，或者CRC16值。 |
接收到发送,NAK表示要求重传,ACK表示传输成功准备继续接收,CAN表示主动取消传输。
位段 | 符号 |
大小(B) | 1 |
内容 | NAK:0x15 ACK:0x06 CAN:0x18 |
发送端发送,表示整个传输完成
位段 | 符号 |
大小(B) | 1 |
内容 | EOT:0x04
|
传输是接收方发起的(这点需要注意)。
1.接收方发送启动包,NAK或’C’字符分别代表后面使用累加和或者CRC16校验的方式,表示接收方准备开始发送。 发送方则等待接收NAK或’C’,如果长时间没有收到NAK或’C’则超时。
这个超时时间可以按照实际设置,比如可能需要等待发送端一个比较长的准备时间(比如要进行菜单操作选择文件等)则可以设置长一点,我们后面的实现这个时间可配置.
2.发送方收到启动包NAK或’C’后, 记录校验方式, 开始发送第一包数据包。 根据要发送的有效长度是128还是1024字节设置包头为SOH或STX。
接收方收到第一包数据头后根据SOH和STX确认有效数据长度size=128或者1024，然后根据校验方式校验字段是1或者2字节,加上两字节ID则是3或者4字节, 除了SOH和STX外总共需要接收size+3/4字节。收到指定长度数据后,校验包序号，和包序号的补码是否正确,如果不正确则发送CAN字节取消传输。如果正确则继续检查校验值,计算包有效数据的校验值和包最后的校验值比对,如果相等则发送ACK字节,准备接收下一包,否则发送NAK要求发送方重新发送。
3.如果接收方等待数据时,在指定时间内没有收到有效的数据包(我们的实现该时间可配置)，同时也没有收到结束字符EOT,则会发送NAK, 超时退出。
4.如果传输完,则发送方发送EOT字节,接收方发送ACK响应，传输完成。
5.接收方可以随时通过发送CAN字节来取消传输，而发送方只能在包传输之间来发送CAN来取消传输。
6.最后不足128/1024字节的有效数据,需要填充CTRLZ字符0x1A。所以对于需要精确知道实际传输字节数的需要额外的方式告知。
7.使用什么校验方式由接收方决定,一次包发送多少字节由发送方决定。
接收方发送NAK启动传输,表示后面使用累加和校验。
发送方发送第一包数据包,包头SOH，表示包有效数据128字节，包序号从1开始，根据启动包的校验方式添加校验。接收方正确接收到数据发送ACK。
发送后续包,最后一包不足128字节,填充0x1A到128字节。
最后发送方发送EOT表示结束，接收方响应ACK。
SENDER RECEIVER
<-- NAK
SOH 01 FE Data[128] CSUM -->
<-- ACK
SOH 02 FD Data[128] CSUM -->
<-- ACK
SOH 03 FC Data[128] CSUM -->
<-- ACK
SOH 04 FB Data[128] CSUM -->
<-- ACK
SOH 05 FA Data[100] CPMEOF[28] CSUM -->
<-- ACK
EOT -->
<-- ACK
接收方发送’C’启动传输,表示后面使用CRC16校验。
发送方发送第一包数据包,包头STX，表示包有效数据1024字节，包序号从1开始，根据启动包的校验方式添加校验。接收方正确接收到数据发送ACK。
发送后续包,最后一包不足1024字节,填充0x1A到1024字节。
最后发送方发送EOT表示结束，接收方响应ACK。
SENDER RECEIVER
<-- C
STX 01 FE Data[1024] CRC CRC -->
<-- ACK
STX 02 FD Data[1024] CRC CRC -->
<-- ACK
STX 03 FC Data[1000] CPMEOF[24] CRC CRC -->
<-- ACK
EOT -->
<-- ACK
接收方发送’C’启动传输,表示后面使用CRC16校验。
发送方发送第一包数据包,包头STX，表示包有效数据1024字节，包序号从1开始，根据启动包的校验方式添加校验。接收方正确接收到数据发送ACK。
发送方发送数据包,包头SOH，表示包有效数据128字节，根据启动包的校验方式添加校验。接收方正确接收到数据发送ACK。
发送后续包,最后一包不足则填充0x1A。
最后发送方发送EOT表示结束，接收方响应ACK。
SENDER RECEIVER
<-- C
STX 01 FE Data[1024] CRC CRC -->
<-- ACK
STX 02 FD Data[1024] CRC CRC -->
<-- ACK
SOH 03 FC Data[128] CRC CRC -->
<-- ACK
SOH 04 FB Data[100] CPMEOF[28] CRC CRC -->
<-- ACK
EOT -->
<-- ACK
XMODEM优点就是实现很简单,但是也有一些明显的缺点。
1. 包长固定,没有长度字段指定有效数据长度,最后可能有填充而无法知道精确的总有效数据长度，需要额外方式提供总有效长度信息。 不加长度字段的好处就是提高了负载率。
2. 交互效率低, 必须等待响应之后才能发下一包,一来一回,实际相当于半双工, 整个交互过程需要准备足够的等待确认时间,所以效率低。
3. 仅仅实现RAW数据的发送,无法提供额外的文件信息,比如文件的总长度,总的校验信息等。
以下实现了可移植的C版本,采用状态机设计思想，提高健壮性和可阅读性。并且充分抽象接口实现高可移植性，考虑应用方便实现为非阻塞方式。逻辑不再赘述，这里仅仅贴出状态机图示，直接看代码注释即可。如果需要源码可以留言。
接收
发送
Xmodem.c实现大概500行
Xmodem.h接口
extern "C" {typedef uint32_t (*xmodem_io_read_pf)(uint8_t* buffer, uint32_t len); /**< 通讯接收接口 */typedef uint32_t (*xmodem_io_write_pf)(uint8_t* buffer, uint32_t len);/**< 通讯发送接口 */typedef void (*xmodem_read_flush_pf)(void); /**< 通讯接收flush接口 */typedef void (*xmodem_write_flush_pf)(void); /**< 通讯发送flush接口 */typedef uint32_t (*xmodem_mem_read_pf)(uint32_t addr, uint8_t* buffer, uint32_t len); /**< 读存储接口 */typedef uint32_t (*xmodem_mem_write_pf)(uint32_t addr, uint8_t* buffer, uint32_t len); /**< 写存储接口 */typedef uint32_t (*xmodem_getms_pf)(void); /**< 获取mS时间戳 *//*** \struct xmodem_cfg_st* 接口,参数配置结构体*/typedef struct{xmodem_io_read_pf io_read; /**< 通讯接收接口 */xmodem_io_read_pf io_write; /**< 通讯发送接口 */xmodem_read_flush_pf io_read_flush; /**< 通讯接收flush接口 */xmodem_write_flush_pf io_write_flush; /**< 通讯发送flush接口 */xmodem_mem_read_pf mem_read; /**< 读存储接口 */xmodem_mem_write_pf mem_write; /**< 写存储接口 */xmodem_getms_pf getms; /**< 获取mS时间戳接口 */uint32_t start_timeout; /**< 等待启动超时次数,单位每次超时为ack_timeout */uint32_t packet_timeout; /**< 等待数据包超时时间mS */uint32_t ack_timeout; /**< 等待响应(头)超时时间mS*/uint8_t crccheck; /**< 对于接收时有效1使用CRC校验 0使用累加和校验 */uint16_t plen; /**< 对于发送时有效指定包长时128还是1024 */uint8_t* buffer; /**< 包缓冲区,用户提供,1024字节包需要1024+5 */uint32_t addr; /**< 存储地址 */uint32_t totallen; /**< 传输长度 */uint32_t xferlen; /**< 已经传输长度 */} xmodem_cfg_st;/*** \fn xmodem_rx* 接收处理, 在此之前必须要先调用xmodem_init_rx初始化* \retval 0 正在处理,需要循环继续调用xmodem_rx处理* \retval 1 接收正常完成* \retval -1 参数错误,未初始化对应的接口* \retval -2 未初始化,处于空闲状态* \retval -3 发送方提前结束* \retval -4 启动后超时未收到包头* \retval -5 传输过程中,等待包头超时* \retval -6 传输过程中,包ID错误,取消传输* \retval -7 传输过程中,等到数据超时* \retval -8 传输过程中,发送方取消*/int xmodem_rx(void);/*** \fn xmodem_init_rx* 接收初始化* 以下成员必须初始化* \param[in] cfg \ref xmodem_cfg_st 配置信息*/void xmodem_init_rx(xmodem_cfg_st* cfg);/*** \fn xmodem_tx* 接收处理, 在此之前必须要先调用xmodem_init_tx初始化* \retval 0 正在处理,需要循环继续调用xmodem_rx处理* \retval 1 接收正常完成* \retval -1 参数错误,未初始化对应的接口* \retval -2 未初始化,处于空闲状态* \retval -3 接收方提前取消* \retval -4 启动阶段超时未收到响应* \retval -5 数据阶段超时未收到响应*/int xmodem_tx(void);/*** \fn xmodem_init_tx* 发送初始化* 以下成员必须初始化* \param[in] cfg \ref xmodem_cfg_st 配置信息*/void xmodem_init_tx(xmodem_cfg_st* cfg);}
测试代码如下
static uint32_t mem_read(uint32_t addr, uint8_t* buffer, uint32_t len){memcpy(buffer, (uint8_t*)addr, len);return len;}static uint32_t mem_write(uint32_t addr, uint8_t* buffer, uint32_t len){memcpy((uint8_t*)addr, buffer, len);return len;}static uint32_t flash_read(uint32_t addr, uint8_t* buffer, uint32_t len){iot_flash_read(IOT_FLASH_SFC_PORT_0, addr, buffer, len);return len;}static uint32_t flash_write(uint32_t addr, uint8_t* buffer, uint32_t len){iot_flash_write(IOT_FLASH_SFC_PORT_0, addr, buffer, len);return len;}void rxmemfunc(uint8_t* param){uint32_t addr;uint32_t len;uint8_t* p = param;int res = 0;//if(3 == sscanf((const char*)param, "%*s %s %d %d", type, &addr, &len))while(1){if((*p > 'z') || (*p < 'a')){break;}else{p++;}}while(1){if(*p != ' '){break;}else{p++;}}addr = atoi((const char*)p);while(1){if((*p > '9') || (*p < '0')){break;}else{p++;}}while(1){if(*p != ' '){break;}else{p++;}}len = atoi((const char*)p);xmodem_cfg_st cfg={.buffer = rxtx_buf,.crccheck = 1,.getms = getms,.io_read = io_read,.io_read_flush = io_read_flush,.io_write = io_write,.start_timeout = 60,.packet_timeout = 1000,.ack_timeout = 1000,.mem_write = mem_write,.addr = addr,.totallen = len,};xmodem_init_rx(&cfg);while((res = xmodem_rx()) == 0);printf("res:%d\r\n",res);}void sxmemfunc(uint8_t* param){uint32_t addr;uint32_t len;uint8_t* p = param;int res = 0;//if(3 == sscanf((const char*)param, "%*s %s %d %d", type, &addr, &len))while(1){if((*p > 'z') || (*p < 'a')){break;}else{p++;}}while(1){if(*p != ' '){break;}else{p++;}}addr = atoi((const char*)p);while(1){if((*p > '9') || (*p < '0')){break;}else{p++;}}while(1){if(*p != ' '){break;}else{p++;}}len = atoi((const char*)p);xmodem_cfg_st cfg={.buffer = rxtx_buf,.plen = 1024,.getms = getms,.io_read = io_read,.io_read_flush = io_read_flush,.io_write = io_write,.start_timeout = 60,.packet_timeout = 1000,.ack_timeout = 1000,.mem_read = mem_read,.addr = addr,.totallen = len,};xmodem_init_tx(&cfg);while((res = xmodem_tx()) == 0);printf("res:%d\r\n",res);}void rxflashfunc(uint8_t* param){uint32_t addr;uint32_t len;uint8_t* p = param;int res = 0;//if(3 == sscanf((const char*)param, "%*s %s %d %d", type, &addr, &len))while(1){if((*p > 'z') || (*p < 'a')){break;}else{p++;}}while(1){if(*p != ' '){break;}else{p++;}}addr = atoi((const char*)p);while(1){if((*p > '9') || (*p < '0')){break;}else{p++;}}while(1){if(*p != ' '){break;}else{p++;}}len = atoi((const char*)p);xmodem_cfg_st cfg={.buffer = rxtx_buf,.crccheck = 1,.getms = getms,.io_read = io_read,.io_read_flush = io_read_flush,.io_write = io_write,.start_timeout = 60,.packet_timeout = 1000,.ack_timeout = 1000,.mem_write = flash_write,.addr = addr,.totallen = len,};xmodem_init_rx(&cfg);while((res = xmodem_rx()) == 0);printf("res:%d\r\n",res);}void sxflashfunc(uint8_t* param){uint32_t addr;uint32_t len;uint8_t* p = param;int res = 0;//if(3 == sscanf((const char*)param, "%*s %s %d %d", type, &addr, &len))while(1){if((*p > 'z') || (*p < 'a')){break;}else{p++;}}while(1){if(*p != ' '){break;}else{p++;}}addr = atoi((const char*)p);while(1){if((*p > '9') || (*p < '0')){break;}else{p++;}}while(1){if(*p != ' '){break;}else{p++;}}len = atoi((const char*)p);xmodem_cfg_st cfg={.buffer = rxtx_buf,.plen = 1024,.getms = getms,.io_read = io_read,.io_read_flush = io_read_flush,.io_write = io_write,.start_timeout = 60,.packet_timeout = 1000,.ack_timeout = 1000,.mem_read = flash_read,.addr = addr,.totallen = len,};xmodem_init_tx(&cfg);while((res = xmodem_tx()) == 0);printf("res:%d\r\n",res);}
为了方便测试,添加了对应的命令行
{ (uint8_t*)"rxmem", rxmemfunc, (uint8_t*)"rxmem addr len"},{ (uint8_t*)"sxmem", sxmemfunc, (uint8_t*)"sxmem addr len"},{ (uint8_t*)"rxflash", rxflashfunc, (uint8_t*)"rxflash addr len"},{ (uint8_t*)"sxflash", sxflashfunc, (uint8_t*)"sxflash addr len"},
使用115200波特率,分别测试了以下8种情况
CRC/累加和, 128/1024包场共四种组合的rx和tx到内存。
CRC/累加和, 128/1024包场共四种组合的rx和tx到FLASH存。
上位机使用crt,实测都稳定在9kB/S的速度。
注:这里命令行交互,使用了自实现的超精简shell命令行,后面也会单独再分享。
对比github上使用的比较多的那个版本,本实现具备以下优点。
1.使用状态机实现,代码可读性健壮性好。
2.非阻塞实现,更方便应用。
3.效率更高,相对每次处理一个字节的接口,本实现基于一次处理多个数据的接口。实测115200波特率github上的版本只能跑不超过6kB/S,基本都是3~4kB/S左右,而本实现可以几乎跑满,稳定在9kB/S.
4.可移植性更好,完全抽离出了接口,xmodem.c和xmodem.h无需任何修改,存储到不同的截至只需要初始化指定对应的读写接口。 而github上版本默认是存储到直接内存地址, 如果需要存储到flash等则需要修改.c代码,且不方便同时支持不同的存储。
5.缓存由用户在初始化接口时指定, 可以由调用者自由分配释放。而github上版本使用静态数组没有用也会一直占用空间。
以上详细介绍了XMODEM协议和实现,当然xmodem协议本身其有一些固有缺点,其一来一回的交互效率不够高,后面我们再介绍实现自己的更高效的传输协议。
