【PaddlePaddle Hackathon 2】16、为 Paddle 新增 RReLU 激活函数

[TCChenlong]

（此 ISSUE 为 PaddlePaddle Hackathon 第二期活动的任务 ISSUE，更多详见 【PaddlePaddle Hackathon 第二期】任务总览）

【任务说明】

任务标题：为 Paddle 新增 RReLU 激活函数

技术标签：深度学习框架，C++，优化算法

任务难度：中等

详细描述：RRELU激活函数是从Empirical Evaluation of Rectified Activations in Convolutional Network中提出的，它是在Leaky ReLU基础上，对每一个位置的负值输入线性项做了随机采样 ，来加强一定范围内的泛化能力。此任务的目标是在 Paddle 框架中，新增 RRELU激活函数，调用路径为：paddle.nn.RReLU、paddle.nn.functional.rrelu.

【提交流程】

请按 新增API 开发&提交流程中的描述，完成任务提交过程中的相关步骤。

【提交内容】

• API 的设计文档，并提 PR 至 PaddlePaddle/community 的 rfcs/APIs 目录
• C ++ 实现代码，头文件在 Paddle repo 的 paddle/phi/kernels目录，cc文件在paddle/phi/kernels/cpu 目录 和 cu文件在paddle/phi/kernels/gpu 目录
• Python 实现代码 & 英文 API 文档，在 Paddle repo 的 python/paddle/nn 目录
• 单测代码，在 Paddle repo 的 python/paddle/fluid/tests/unittests 目录
• 中文API文档，在 docs repo 的 docs/api/paddle/nn 目录

【合入标准】

• 1、按 API 设计规范 完成 API设计文档；
• 2、按API 验收标准完成 API功能实现、单测、API文档；

【技术要求】

• 熟悉 RReLU 激活函数原理和适用场景
• 熟练掌握 C++ 、Python

【参考内容】

• 文档：API 贡献指南

【答疑交流】

• 如果在开发中对于上述任务有任何问题，欢迎在本 ISSUE 下留言交流。
• 对于开发中的共性问题，在活动过程中，会定期组织答疑，请大家关注官网&QQ群的通知，及时参与。

[paddle-bot-old]

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网API文档、常见问题、历史Issue、AI社区来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API，FAQ，Github Issue and AI community to get the answer.Have a nice day!

[sayaret]

daydayup, 为 Paddle 新增 RReLU 激活函数