基于Intel®E810 的OVS-DPDK VXLAN TUNNEL性能优化

openlab_4276841a 更新于 7月前

简介

VXLAN是网络虚拟化场景中广泛部署的隧道协议,OVS-DPDK中已经支持VXLAN类型的VTEP (virtual tunnel end point)。VXLAN隧道在数据面引入了报文封装/解封装的操作,且在ingress方向由于VXLAN报文携带两层L2-L4 header,OVS数据面需要通过recirculation机制对报文一层一层解析处理,给整体的转发流程带来了很大的overhead。Intel®E810 网络适配器具有非常灵活的报文解析、exact match、wildcard match模块, 可以广泛地支持多种网络协议,包括隧道协议例如VXLAN、GRE等。E810的可编程packet pipeline可以用于全面匹配VXLAN报文外层和内层中的各个协议字段,卸载OVS-DPDK数据面中大量的包头解析、流表查找操作,显著降低网络隧道所引入的overhead。结合E810硬件加速技术和一系列的软件优化手段,OVS-DPDK在VXLAN场景下的性能得到大幅提升。

E810 programmable pipeline overview

E810 pipeline的各个包处理阶段都是可以灵活配置的,parser可以通过parse graph解析出数据包的packet type, 为每个packet生成context metadata, 其对报文的解析深度可达512B,足够覆盖典型的隧道协议报文和各种复杂协议报文。DDP (dynamic device personalization) 可以针对特定应用场景进一步扩展E810 parser支持的协议。基于parser的结果,相应的profile会从报文中提取各个关键字段作为field vector用于后续Switch, ACL和Classification Filer的lookup key。E810 ACL基于TCAM (ternary content addressable memory) 可支持任意bit通配查找,flow director模块提供16K的规则容量,其匹配域可以覆盖隧道报文内外双层的各个关键字段。


OVS flow cache层级结构

OVS-DPDK通过用户态驱动程序从网卡上获取到报文后,会按照用户定义的Open Flow规则进行转发。OVS为了加速流表查找的速度引入两层flow cache。EMC (exact match cache) 支持精确匹配,速度最快,但是容量较小,所以在flow数目增大时,EMC的cache命中率会降低。数据路径分类器(DPCLS)是第二层缓存,它通过元组空间搜索查找到对应的megaflow,其查找代价相比于EMC更高。如果这两层flow cache都没有命中,那么packet会被送到slow path并按照完整的Open Flow规则处理(例如ofproto分类)。对于VXLAN或者其他类型的隧道报文,packet recirculation导致一个报文处理周期会涉及到多次packet header解析和流表查询。


注:由于篇幅限制,本文暂不考虑SMC(signature match cache),OVS默认关闭此选项。

基于E810软硬件协同设计优化VXLAN

OVS已经支持基本的HW offload框架,OVS内部的flow表示被转化成基于DPDK rte_flow的描述后通过rte_flow_create() API将流表规则下发到硬件,后续OVS接收到的报文将会被硬件打上flow mark标签,OVS可以迅速地从flow mark索引到相应的flow并执行其action。对于VXLAN或者其他类型的隧道协议,OVS HW offload框架需要将软件data path中分别用于VXLAN外层匹配和内层匹配的两条flow合并成一个完整的VXLAN规则,然后将这条较宽的规则下发到硬件中。E810的flow director可以完整地支持VXLAN和其他隧道类型报文的各个协议字段。如下图左侧所示,当一条流的首包到达OVS时,由于快速路径cache miss报文会进入slow path处理并触发flow offload, 后续来自相同流的VXLAN报文将会被E810的flow director匹配并打上flow mark, OVS根据上报的flow mark可以索引到相应的flow,直接执行转发。硬件卸载帮助软件bypass两次软件包解析和流表查询,大幅简化OVS数据路径。


同时,针对OVS的部署场景和VXLAN流量模型,硬件加速配合软件性能调优可以进一步提升OVS的转发效率。下图示意OVS-DPDK VXLAN的网络拓扑结构,OVS网桥通过DPDK vhost-user接口和虚拟机中的virtio设备通信,VXLAN VTEP负责对VXLAN流量做包头的封装/解封装。根据每个端口的实时速率动态调整OVS对各端口的轮询频率可以让OVS更加高效地调用vhost-user的收发包接口;对于同一个mini flow的报文,计算一次哈希值然后重复使用以减少哈希计算的开销;针对流量中主要的flow pattern,例如VXLAN,声明相应的DPCLS lookup function以得到被编译器充分优化过的查找实现,同时对于这些主要的数据包类型实现简洁高效的flow key提取。其他通用的软件调优技术同样适用,例如实现封装/解封装的批处理模式,调整队列的长度以控制OVS的memory footprint。


基于上述的软硬件协同性能调优,OVS-DPDK在1 million VXLAN flow, 128B 双向流量的测试场景中达到了约75%的性能提升,同时可保证OVS升级对guest用户不感知。

结语

通过OVS-DPDK 软硬件协同优化的方式,利用E810网络适配器的可编程packet pipeline 可以显著提高诸如VXLAN等隧道报文的转发效率。其他的场景或者workload也可以借鉴这个方法,充分利用E810的switch, ACL, flow director, advanced RSS等功能实现更高效的数据面包处理。

参考文献

1.Introduction to intel Ethernet Flow Director and Memcached Performance, intel White Paper.

2.https://software.intel.com/content/www/us/en/develop/articles/ovs-dpdk-datapath-classifier.html

0个评论