learn_pytorch_21_pytorch实战前的准备之参数初始化init模块.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1 参数初始化\n",
    "init模块位置：torch.nn包中，from torch.nn import init  \n",
    "官网：https://pytorch.org/docs/stable/nn.init.html   "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2 初始化方法介绍 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "tensor([[0.5307, 0.0723, 0.6085],\n",
      "        [0.7549, 0.7602, 0.1009],\n",
      "        [0.2672, 0.6473, 0.4489]])\n",
      "tensor([[ 0.4678,  0.5975,  1.5908],\n",
      "        [-0.5945,  0.5869,  0.2804],\n",
      "        [ 0.7934, -1.1040, -0.0996]])\n",
      "tensor([[2., 2., 2.],\n",
      "        [2., 2., 2.],\n",
      "        [2., 2., 2.]])\n",
      "tensor([[1., 0., 0.],\n",
      "        [0., 1., 0.],\n",
      "        [0., 0., 1.]])\n",
      "tensor([[[[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 1., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]]],\n",
      "\n",
      "\n",
      "        [[[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 1., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]]],\n",
      "\n",
      "\n",
      "        [[[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 1., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]],\n",
      "\n",
      "         [[0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.],\n",
      "          [0., 0., 0., 0., 0.]]]])\n",
      "tensor([[-0.9959, -0.4500, -0.9734],\n",
      "        [ 0.0229, -0.2828, -0.9839],\n",
      "        [-0.5631,  0.7965,  0.6102]])\n",
      "tensor([[ 0.3597,  0.5061, -0.3605],\n",
      "        [-0.9069,  0.2967,  0.4223],\n",
      "        [-1.0015, -0.1023, -1.0415]])\n",
      "tensor([[-1.2287, -1.3991, -0.6527],\n",
      "        [-1.3409, -0.6586,  0.8473],\n",
      "        [ 0.4538,  1.1281, -1.1537]])\n",
      "tensor([[-0.4222, -0.4045, -0.2857],\n",
      "        [ 0.1516, -0.4331, -0.4427],\n",
      "        [-0.9808, -0.6732, -0.6691]])\n",
      "tensor([[ 0.7027,  0.7012, -0.1205],\n",
      "        [ 0.3618, -0.2064,  0.9091],\n",
      "        [ 0.6126, -0.6825, -0.3987]])\n",
      "tensor([[-0.0128,  0.0000, -0.0022],\n",
      "        [ 0.0056,  0.0141,  0.0000],\n",
      "        [ 0.0000,  0.0002,  0.0075]])\n"
     ]
    }
   ],
   "source": [
    "\n",
    "from torch.nn import init\n",
    "import torch\n",
    "\n",
    "w = torch.empty(3, 3)\n",
    "\n",
    "uniform = init.uniform_(w)\n",
    "print(uniform)\n",
    "\n",
    "# 1 \n",
    "normal = init.normal_(w)\n",
    "print(normal)\n",
    "\n",
    "# 2 \n",
    "constant = init.constant_(w, 2.0)\n",
    "print(normal)\n",
    "\n",
    "# 3  \n",
    "eye = init.eye_(w)\n",
    "print(eye)\n",
    "\n",
    "# 4   \n",
    "w_ = torch.empty(3, 16, 5, 5)\n",
    "dirac = init.dirac_(w_)\n",
    "print(dirac)\n",
    "\n",
    "# 5 \n",
    "xavier_uniform = init.xavier_uniform_(w)\n",
    "print(xavier_uniform)\n",
    "\n",
    "# 6   \n",
    "xavier_normal = init.xavier_normal_(w)\n",
    "print(xavier_normal)\n",
    "\n",
    "# 7    \n",
    "kaiming_uniform = init.kaiming_uniform_(w)\n",
    "print(kaiming_uniform)\n",
    "\n",
    "# 8   \n",
    "kaiming_normal = init.kaiming_normal_(w)\n",
    "print(kaiming_uniform)\n",
    "\n",
    "# 9   \n",
    "orthogonal = init.orthogonal_(w)\n",
    "print(orthogonal)\n",
    "\n",
    "# 10    \n",
    "sparse = init.sparse_(w, sparsity=0.2)\n",
    "print(sparse)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}