Modify the unsqueeze dimension of input data in conv1d NCL And NLC format

[Zjq9409]

PR types

Performance optimization

PR changes

OPs

Describe

对于有些配置paddle_dev分支与竞品性能差距过大，对NCL和NLC格式输入数据进行优化，主要优化点有：

1. 修改维度扩充方式

   • 对于NCL格式input从原始padde_dev对[-1]维度进行扩充，修改为对[-2]进行维度扩充,如下：
     

   • 对于NLC格式input从原始paddle_dev对[-2]维度做扩充修改为[-3]维度做扩充，如下：
     

   • 不论格式，weight对[-2]维度扩充，如：[80,80,5] ----> [80,80,1,5]

   • 不论格式，padding/stride/dilation对[0]维度做扩充;

2. 当在GPU上编译时，并且满足groups==num_channels and num_filters% num_channels == 0，底层执行depthwise_conv2d方法

经过优化后，前向性能数据如下：

case	竞品	优化前	优化前相比竞品	优化后	优化后相比竞品	加速比
w:[64,1,1] x:[6,1,25500] format:NCL dilation:1 groups1 padding:0 stride:1	0.07823	0.16254	差于 (1.06x)	0.08077	打平 (2.42%)	2.01
w:[80,80,5] x:[6,80,89] format:NCL dilation:1 groups:1 padding:0 stride:1	0.02728	0.05356	差于 (96.12%)	0.02730	打平 (0.11%)	1.96
w:[128,64,3] x:[6,64,25500] format:NCL dilation:2 groups:1 padding:2 stride:1	0.65863	0.89356	差于 (34.58%)	0.65985	打平 (0.53%)	1.35
w:[128,64,3] x:[6,64,25500] format:NCL dilation:64 groups:1 padding:64 stride:1	0.94517	0.91143	打平 (3.73%)	0.91976	打平 (3.36%)	0.99
w:[256,256,1] x:[16,256,36] format:NCL dilation:1 groups:1 padding:0 stride:1	0.03781	0.03768	打平 (0.11%)	0.03767	打平 (0.03%)	1.00
w:[256,1,15] x:[16,256,40] format:NCL dilation:1 groups:256 padding:7 stride:1	0.00667	0.01218	差于 (81.79%)	0.00810	差于 (20.90%)	1.50
w:[512,256,1] x:[16,256,43] format:NCL dilation:1 groups:1 padding:0 stride:1	0.03847	0.03823	打平 (0.10%)	0.03805	打平 (0.13%)	1.00
w:[1024,64,3] x:[6,64,25500] format:NCL dilation:4 groups:1 padding:4 stride:1	5.30080	6.34554	差于 (19.71%)	5.23961	打平 (1.01%)	1.21
w:[1024,64,3] x:[6,64,25500] format:NCL dilation:8 groups:1 padding:8 stride:1	5.35025	6.38406	差于 (19.32%)	5.25906	打平 (0.97%)	1.21

反向性能数据如下：

case	竞品	优化前	优化前相比竞品	优化后	优化后相比竞品	加速比
w:[64,1,1] x:[6,1,25500] format:NCL dilation:1 groups1 padding:0 stride:1	0.25707	174.04358	差于(676.03x)	0.36675	差于 (42.67%)	474.56
w:[80,80,5] x:[6,80,89] format:NCL dilation:1 groups:1 padding:0 stride:1	0.04760	0.08536	差于 (90.37%)	0.05322	差于 (11.81%)	1.60
w:[128,64,3] x:[6,64,25500] format:NCL dilation:2 groups:1 padding:2 stride:1	1.27434	211.91023	差于(165.29x)	1.53514	差于 (20.47%)	138.04
w:[128,64,3] x:[6,64,25500] format:NCL dilation:64 groups:1 padding:64 stride:1	1.35295	2.69687	差于 (99.20%)	1.63474	差于 (20.83%)	1.65
w:[256,256,1] x:[16,256,36] format:NCL dilation:1 groups:1 padding:0 stride:1	0.05514	0.08157	差于 (49.07%)	0.07677	差于 (39.23%)	1.06
w:[256,1,15] x:[16,256,40] format:NCL dilation:1 groups:256 padding:7 stride:1	0.04213	0.03405	优于 (19.14%)	0.05021	差于 (19.18%)	0.68
w:[512,256,1] x:[16,256,43] format:NCL dilation:1 groups:1 padding:0 stride:1	0.14101	0.14736	打平 (4.72%)	0.14632	打平 (3.77%)	1.01
w:[1024,64,3] x:[6,64,25500] format:NCL dilation:4 groups:1 padding:4 stride:1	9.58404	11.75670	差于 (22.67%)	10.90966	差于 (15.33%)	1.08
w:[1024,64,3] x:[6,64,25500] format:NCL dilation:8 groups:1 padding:8 stride:1	9.45516	11.83995	差于 (25.22%)	10.91164	差于 (14.80%)	1.09

w:[256,1,15] x:[16,256,40] format:NCL dilation:1 groups:256 padding:7 stride:1 配置性能下降原因是，满足（2）这个条件，底层执行了depthwise_conv2d方法，而depthwise_conv2d方法，paddle相差竞品2.21x，后续优化该算子，性能能持平

注：以上数据在V100，32G, cudnn 7上测试

[paddle-bot-old]

Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

[ZzSean]

建议把不同优化方法对应的case标记出来，或者把case的详细config贴上来

[Zjq9409]

建议把不同优化方法对应的case标记出来，或者把case的详细config贴上来

已经附上了每个case详细的config

[JamesLim-sy]

当在GPU上编译时，并且满足一定条件，底层执行depthwise_conv2d方法，如下conv18配置
满足什么条件，希望能表述清晰

[Zjq9409]

当在GPU上编译时，并且满足一定条件，底层执行depthwise_conv2d方法，如下conv18配置 满足什么条件，希望能表述清晰

具体条件已经加上

[wangxinxin08]

可以在设置num_filters=512的位置记一个TODO

[ZzSean]

LGTM，对于上述讨论的会影响某些case的问题，可以展示下对相关模型性能的影响情况，若下降影响程度不大，而提升效果明显的话，可以先合入，待后续自动配置优化完善后，该问题应该可以解决。

[wangxinxin08]

LGTM

[ZzSean]

LGTM