diff --git a/docs/api/paddle/nn/initializer/XavierNormal_cn.rst b/docs/api/paddle/nn/initializer/XavierNormal_cn.rst index 6c7711d4c96..8373e1c682f 100644 --- a/docs/api/paddle/nn/initializer/XavierNormal_cn.rst +++ b/docs/api/paddle/nn/initializer/XavierNormal_cn.rst @@ -3,7 +3,7 @@ XavierNormal ------------------------------- -.. py:class:: paddle.nn.initializer.XavierNormal(fan_in=None, fan_out=None, name=None) +.. py:class:: paddle.nn.initializer.XavierNormal(fan_in=None, fan_out=None, gain=1.0, name=None) 使用正态分布的泽维尔权重初始化方法。泽维尔权重初始化方法出自泽维尔·格洛特和约书亚·本吉奥的论文 `Understanding the difficulty of training deep feedforward neural networks `_ 。 @@ -12,13 +12,14 @@ XavierNormal .. math:: - x = \sqrt{\frac{2.0}{fan\_in+fan\_out}}. + x = gain \times \sqrt{\frac{2.0}{fan\_in+fan\_out}}. 参数 :::::::::::: - **fan_in** (float,可选) - 用于泽维尔初始化的 fan_in,从 Tensor 中推断,默认值为 None。 - **fan_out** (float,可选) - 用于泽维尔初始化的 fan_out,从 Tensor 中推断,默认值为 None。 + - **gain** (float,可选) - 缩放因子。默认值为 1.0。 - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 返回 diff --git a/docs/api/paddle/nn/initializer/XavierUniform_cn.rst b/docs/api/paddle/nn/initializer/XavierUniform_cn.rst index f413c7e0a5f..b35422f8ed0 100644 --- a/docs/api/paddle/nn/initializer/XavierUniform_cn.rst +++ b/docs/api/paddle/nn/initializer/XavierUniform_cn.rst @@ -3,7 +3,7 @@ XavierUniform ------------------------------- -.. py:class:: paddle.nn.initializer.XavierUniform(fan_in=None, fan_out=None, name=None) +.. py:class:: paddle.nn.initializer.XavierUniform(fan_in=None, fan_out=None, gain=1.0, name=None) 使用均匀分布的泽维尔权重初始化方法。泽维尔权重初始化方法出自泽维尔·格洛特和约书亚·本吉奥的论文 `Understanding the difficulty of training deep feedforward neural networks `_ 。 @@ -12,13 +12,14 @@ XavierUniform .. math:: - x = \sqrt{\frac{6.0}{fan\_in+fan\_out}}. + x = gain \times \sqrt{\frac{6.0}{fan\_in+fan\_out}}. 参数 :::::::::::: - **fan_in** (float,可选) - 用于泽维尔初始化的 fan_in,从 Tensor 中推断,默认值为 None。 - **fan_out** (float,可选) - 用于泽维尔初始化的 fan_out,从 Tensor 中推断,默认值为 None。 + - **gain** (float,可选) - 缩放因子。默认值为 1.0。 - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 返回 diff --git a/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_normal_.md b/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_normal_.md index f0da7128a31..c31a95dc74a 100644 --- a/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_normal_.md +++ b/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_normal_.md @@ -12,6 +12,7 @@ torch.nn.init.xavier_normal_(tensor, ```python paddle.nn.initializer.XavierNormal(fan_in=None, fan_out=None, + gain=1.0, name=None) ``` @@ -22,7 +23,7 @@ paddle.nn.initializer.XavierNormal(fan_in=None, | PyTorch | PaddlePaddle | 备注 | | ------------- | ------------ | ------------------------------------------------------ | | tensor | - | n 维 tensor。Paddle 无此参数,因为是通过调用类的 __call__ 函数来进行 tensor 的初始化。 | -| gain | - | 缩放因子。Paddle 无此参数,暂无转写方式。 | +| gain | gain | 缩放因子。 | | - | fan_in | 用于泽维尔初始化的 fan_in。PyTorch 无此参数,Paddle 保持默认即可。 | | - | fan_out | 用于泽维尔初始化的 fan_out。PyTorch 无此参数,Paddle 保持默认即可。 | diff --git a/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_uniform_.md b/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_uniform_.md index 787f65c0274..809c56a90ea 100644 --- a/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_uniform_.md +++ b/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.xavier_uniform_.md @@ -12,6 +12,7 @@ torch.nn.init.xavier_uniform_(tensor, ```python paddle.nn.initializer.XavierUniform(fan_in=None, fan_out=None, + gain=1.0, name=None) ``` @@ -22,7 +23,7 @@ paddle.nn.initializer.XavierUniform(fan_in=None, | PyTorch | PaddlePaddle | 备注 | | ------------- | ------------ | ------------------------------------------------------ | | tensor | - | n 维 tensor。Paddle 无此参数,因为是通过调用类的 __call__ 函数来进行 tensor 的初始化。 | -| gain | - | 缩放因子。Paddle 无此参数,暂无转写方式。 | +| gain | gain | 缩放因子。 | | - | fan_in | 用于泽维尔初始化的 fan_in。PyTorch 无此参数,Paddle 保持默认即可。 | | - | fan_out | 用于泽维尔初始化的 fan_out。PyTorch 无此参数,Paddle 保持默认即可。 |