API improvement for nn.initializer.XavierUniform and nn.initializer.…

…XavierNormal 易用性提升(#6577)
PaddlePaddle · Apr 3, 2024 · e4d599f · e4d599f
1 parent b8ac796
commit e4d599f
Show file tree

Hide file tree

Showing 4 changed files with 10 additions and 6 deletions.
diff --git a/docs/api/paddle/nn/initializer/XavierNormal_cn.rst b/docs/api/paddle/nn/initializer/XavierNormal_cn.rst
@@ -3,7 +3,7 @@
 XavierNormal
 -------------------------------
 
-.. py:class:: paddle.nn.initializer.XavierNormal(fan_in=None, fan_out=None, name=None)
+.. py:class:: paddle.nn.initializer.XavierNormal(fan_in=None, fan_out=None, gain=1.0, name=None)
 
 
 使用正态分布的泽维尔权重初始化方法。泽维尔权重初始化方法出自泽维尔·格洛特和约书亚·本吉奥的论文 `Understanding the difficulty of training deep feedforward neural networks <http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf>`_ 。
@@ -12,13 +12,14 @@ XavierNormal
 
 .. math::
 
-    x = \sqrt{\frac{2.0}{fan\_in+fan\_out}}.
+    x = gain \times \sqrt{\frac{2.0}{fan\_in+fan\_out}}.
 
 参数
 ::::::::::::
 
     - **fan_in** (float，可选) - 用于泽维尔初始化的 fan_in，从 Tensor 中推断，默认值为 None。
     - **fan_out** (float，可选) - 用于泽维尔初始化的 fan_out，从 Tensor 中推断，默认值为 None。
+    - **gain** (float，可选) - 缩放因子。默认值为 1.0。
     - **name** (str，可选) - 具体用法请参见 :ref:`api_guide_Name`，一般无需设置，默认值为 None。
 
 返回

diff --git a/docs/api/paddle/nn/initializer/XavierUniform_cn.rst b/docs/api/paddle/nn/initializer/XavierUniform_cn.rst
@@ -3,7 +3,7 @@
 XavierUniform
 -------------------------------
 
-.. py:class:: paddle.nn.initializer.XavierUniform(fan_in=None, fan_out=None, name=None)
+.. py:class:: paddle.nn.initializer.XavierUniform(fan_in=None, fan_out=None, gain=1.0, name=None)
 
 
 使用均匀分布的泽维尔权重初始化方法。泽维尔权重初始化方法出自泽维尔·格洛特和约书亚·本吉奥的论文 `Understanding the difficulty of training deep feedforward neural networks <http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf>`_ 。
@@ -12,13 +12,14 @@ XavierUniform
 
 .. math::
 
-    x = \sqrt{\frac{6.0}{fan\_in+fan\_out}}.
+    x = gain \times \sqrt{\frac{6.0}{fan\_in+fan\_out}}.
 
 参数
 ::::::::::::
 
     - **fan_in** (float，可选) - 用于泽维尔初始化的 fan_in，从 Tensor 中推断，默认值为 None。
     - **fan_out** (float，可选) - 用于泽维尔初始化的 fan_out，从 Tensor 中推断，默认值为 None。
+    - **gain** (float，可选) - 缩放因子。默认值为 1.0。
     - **name** (str，可选) - 具体用法请参见 :ref:`api_guide_Name`，一般无需设置，默认值为 None。
 
 返回

diff --git a/...onvert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_normal_.md b/...onvert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_normal_.md
@@ -12,6 +12,7 @@ torch.nn.init.xavier_normal_(tensor,
 ```python
 paddle.nn.initializer.XavierNormal(fan_in=None,
                             fan_out=None,
+                            gain=1.0,
                             name=None)
 ```
 
@@ -22,7 +23,7 @@ paddle.nn.initializer.XavierNormal(fan_in=None,
 | PyTorch       | PaddlePaddle | 备注                                                   |
 | ------------- | ------------ | ------------------------------------------------------ |
 | tensor        | -          | n 维 tensor。Paddle 无此参数，因为是通过调用类的 __call__ 函数来进行 tensor 的初始化。    |
-| gain        | -          |  缩放因子。Paddle 无此参数，暂无转写方式。    |
+| gain        | gain         |  缩放因子。                                                |
 | -          |  fan_in          | 用于泽维尔初始化的 fan_in。PyTorch 无此参数，Paddle 保持默认即可。     |
 | -          |  fan_out         | 用于泽维尔初始化的 fan_out。PyTorch 无此参数，Paddle 保持默认即可。        |
 

diff --git a/...nvert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_uniform_.md b/...nvert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_uniform_.md
@@ -12,6 +12,7 @@ torch.nn.init.xavier_uniform_(tensor,
 ```python
 paddle.nn.initializer.XavierUniform(fan_in=None,
                             fan_out=None,
+                            gain=1.0,
                             name=None)
 ```
 
@@ -22,7 +23,7 @@ paddle.nn.initializer.XavierUniform(fan_in=None,
 | PyTorch       | PaddlePaddle | 备注                                                   |
 | ------------- | ------------ | ------------------------------------------------------ |
 | tensor        | -          | n 维 tensor。Paddle 无此参数，因为是通过调用类的 __call__ 函数来进行 tensor 的初始化。    |
-| gain        | -          |  缩放因子。Paddle 无此参数，暂无转写方式。    |
+| gain        | gain          |  缩放因子。                                              |
 | -          |  fan_in          | 用于泽维尔初始化的 fan_in。PyTorch 无此参数，Paddle 保持默认即可。        |
 | -          |  fan_out         | 用于泽维尔初始化的 fan_out。PyTorch 无此参数，Paddle 保持默认即可。       |