【Hackathon No.32】为 Paddle 优化 expand_as 前向&反向 op 在 GPU 上的计算性能

[Timber-Ye]

PR types

Performance optimization

PR changes

OPs

Describe

目前 Paddle 内 expand_as 前向和反向算子的 GPU 实现采用 Eigen 组合的模式，缺少 GPU Kernel，性能相对不足，希望实现高性能的 GPU 计算 Kernel，为 Paddle 优化 expand_as op 在 GPU 上的计算性能。

• 开发环境

1. 设备：Tesla V100-32G
2. CUDA 11.2，cuDNN v8.1.1

• 优化方法

【算子性能优化设计文档】

由于expand_as前向的过程与广播机制类似，后向的过程与求和约归类似，因此直接通过使用飞桨内部的 BroadcastKernel 和 ReduceKernel 来对expand_as算子进行优化。

• 优化效果

完成优化后，Paddle(Optimized)与优化前的Paddle(Baseline)的性能对比:

Case	Data type	src_shape	dst_shape	Paddle Baseline(ms)	Optimized(ms)	Diff
0	float16	[1785, 1]	[1785, 128]	0.1971	0.1166	faster than 40.835%
1	float16	[5, 1, 1]	[5, 128, 128]	3.0909	0.1269	faster than 95.895%
2	float16	[32, 807, 1]	[32, 807, 807]	1.3884	0.3940	faster than 71.620%
3	float32	[1785, 1]	[1785, 128]	0.2244	0.1150	faster than 48.760%
4	float32	[5, 1, 1]	[5, 128, 128]	3.6155	0.1179	faster than 96.738%
5	float32	[32, 807, 1]	[32, 807, 807]	1.4826	0.6428	faster than 56.646%
6	float64	[32, 1, 1]	[32, 807, 807]	288.7776	1.2293	faster than 99.570%
7	float64	[1, 1, 64 ,5]	[64, 128, 64, 5]	3.1326	0.2746	faster than 91.645%
8	float64	[5, 1, 1, 1, 1]	[5, 1, 713, 1, 889]	240.8861	0.2960	faster than 99.877%

针对以上9种不同的case, 优化后的性能有所提升，并且要扩展的Tensor元素数量越多，性能提升越明显，优化后的算子在case 5上的用时更是直接缩短至baseline的1/814。

[paddle-bot]

你的PR提交成功，感谢你对开源项目的贡献!
请关注后续CI自动化测试结果，详情请参考Paddle-CI手册。
Your PR has been submitted. Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

[JamesLim-sy]

这两处的判断删除，已经在ExpandAsInferMeta 中存在对应的判断逻辑.

[Timber-Ye]

Done.

[JamesLim-sy]

Good Work !
由于是IO瓶颈类计算，请在

Paddle/paddle/phi/kernels/gpu/expand_as_kernel.cu

Lines 22 to 29 in 6bd5b7c

	GPU,
	ALL_LAYOUT,
	phi::ExpandAsKernel,
	float,
	double,
	int,
	int64_t,
	bool) {}

中补充注册 phi::dtype::float16 类型，并补充相应的性能测试数据至comment Describe，同时在 PaddlePaddle/community#414
文档表格中补充fp16的的性能数据.

[Timber-Ye]

Good Work ! 由于是IO瓶颈类计算，请在

Paddle/paddle/phi/kernels/gpu/expand_as_kernel.cu

Lines 22 to 29 in 6bd5b7c

	GPU,
	ALL_LAYOUT,
	phi::ExpandAsKernel,
	float,
	double,
	int,
	int64_t,
	bool) {}

中补充注册 phi::dtype::float16 类型，并补充相应的性能测试数据至comment Describe，同时在 PaddlePaddle/community#414
文档表格中补充fp16的的性能数据.

@JamesLim-sy @luotao1 已为expand_as算子注册fp16数据类型，并补充了相应的性能测试数据。另外我们尝试增加了针对fp16的测试样例（TestExpandAsOpRank4FP16），然而目前该样例无法通过CI测试，可否请教老师意见～

[Timber-Ye]

@luotao1 注册了fp16之后无法通过单测，麻烦看一下

[JamesLim-sy]

@luotao1 注册了fp16之后无法通过单测，麻烦看一下

Paddle内置了一套单测系统，请在cmake的时候加入编译选项， -DWITH_TESTING=ON，编译安装后，使用

ctest -V -R test_expand_as 

测试下单测精度。

[paddle-bot]

很抱歉，经过我们的反复讨论，你的PR暂未达到合入标准，请阅读飞桨原生算子开发规范，你可以重新提交新的PR，我们先将此PR关闭，感谢你的贡献。
Sorry to inform you that through our discussion, your PR fails to meet the merging standard (Reference: Paddle Custom Operator Design Doc). You can also submit an new one. Thank you.