06_02_qa_train.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 텍스트에서 질문-대답 쌍 생성하기"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*Note: 라이브러리 버전 차이로 책의 결과와 다를 수 있습니다.*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "번역서 깃허브에는 `glove.6B.100d.trimmed.txt` 파일이 포함되어 있습니다. 이 파일을 직접 만들려면 [GloVe 웹사이트](https://nlp.stanford.edu/projects/glove/)에서 `glove.6B.zip` 파일을 다운로드한 후 `glove.6B.100d.txt` 파일을 `data/glove` 폴더로 옮기세요. 그다음 다음 명령을 실행하여 `glove.6B.100d.trimmed.txt` 파일을 만들 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "#!python ./utils/write.py"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "NewsQA 데이터를 직접 만들려면 책에 실린 안내 사항을 참고하세요.\n",
    "\n",
    "번역서는 만들어진 NewsQA 데이터를 [다운로드](https://1drv.ms/u/s!ArXDLZ3WeSWCo9lRcc7gtE1pFCR_7g?e=aejwUY)할 수 있도록 제공합니다. 이 파일을 다운로드한 후 `data/qa` 폴더에 압축을 푸세요."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorflow/python/framework/dtypes.py:516: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  _np_qint8 = np.dtype([(\"qint8\", np.int8, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorflow/python/framework/dtypes.py:517: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  _np_quint8 = np.dtype([(\"quint8\", np.uint8, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorflow/python/framework/dtypes.py:518: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  _np_qint16 = np.dtype([(\"qint16\", np.int16, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorflow/python/framework/dtypes.py:519: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  _np_quint16 = np.dtype([(\"quint16\", np.uint16, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorflow/python/framework/dtypes.py:520: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  _np_qint32 = np.dtype([(\"qint32\", np.int32, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorflow/python/framework/dtypes.py:525: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  np_resource = np.dtype([(\"resource\", np.ubyte, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:541: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  _np_qint8 = np.dtype([(\"qint8\", np.int8, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:542: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  _np_quint8 = np.dtype([(\"quint8\", np.uint8, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:543: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  _np_qint16 = np.dtype([(\"qint16\", np.int16, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:544: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  _np_quint16 = np.dtype([(\"quint16\", np.uint16, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:545: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  _np_qint32 = np.dtype([(\"qint32\", np.int32, 1)])\n",
      "/home/haesun/github/GDL_code/env/lib/python3.7/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:550: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.\n",
      "  np_resource = np.dtype([(\"resource\", np.ubyte, 1)])\n"
     ]
    }
   ],
   "source": [
    "import importlib\n",
    "import os\n",
    "\n",
    "from keras.layers import Input, Embedding, GRU, Bidirectional, Dense, Lambda\n",
    "from keras.models import Model, load_model\n",
    "from keras.preprocessing.sequence import pad_sequences\n",
    "from keras.optimizers import Adam\n",
    "import keras.backend as K\n",
    "from keras.utils import plot_model\n",
    "\n",
    "import numpy as np\n",
    "import random\n",
    "import pickle as pkl\n",
    "\n",
    "from utils.write import training_data, test_data, collapse_documents, expand_answers, _read_data, glove\n",
    "\n",
    "import matplotlib.pyplot as plt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# run params\n",
    "SECTION = 'write'\n",
    "RUN_ID = '0001'\n",
    "DATA_NAME = 'qa'\n",
    "RUN_FOLDER = 'run/{}/'.format(SECTION)\n",
    "RUN_FOLDER += '_'.join([RUN_ID, DATA_NAME])\n",
    "\n",
    "if not os.path.exists(RUN_FOLDER):\n",
    "    os.mkdir(RUN_FOLDER)\n",
    "    os.mkdir(os.path.join(RUN_FOLDER, 'viz'))\n",
    "    os.mkdir(os.path.join(RUN_FOLDER, 'images'))\n",
    "    os.mkdir(os.path.join(RUN_FOLDER, 'weights'))\n",
    "\n",
    "mode =  'build' #'load' #"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 데이터 적재"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "training_data_gen = training_data()\n",
    "# training_data_gen = [next(training_data_gen)]\n",
    "test_data_gen = test_data()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "t = next(training_data_gen)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "document_tokens\n",
      " [   1    5 3508    1 4601    1   66 6786    1   17   11    1  745    1\n",
      "    6   26   27    1  282   16    4 2386 1567    7   11    1  446   10\n",
      "    1    5 3508    5   21    1   67  692 2779    9 4084    4 1138    1\n",
      "   13   11  222    7   27 3487 2461    6 6786    1 2540  586    4 2609\n",
      "    1   21   18    1    8  306   16    1  315    6   29 1167   16    4\n",
      "  217  689    1 1167   16    4  247    6   13    1   70    9 4533  117\n",
      "  284    5   15   12  191    1    5   28   21  210    6  133   83  362\n",
      "    5    1   18 2604   11 9755  172  370    9  818   11 5697   60    1\n",
      " 5893 1618    8  306   16 2452    1    6   15  363    5    1   18    1\n",
      "    6   21 1289   11    1    1   13   81 6012    9    1    8 6350   11\n",
      " 2538    8  306   16  180    1  315   66  120    8  252   84   21   95\n",
      "    6  719   50    5   21 3792   27  881    1    9    1   11    1    8\n",
      "    4 4256    1   15   19    5   29   38 1882  970   16 1350    1  315\n",
      "    6   28   29   13   11  591    1    1    5   42   18 3473   25  197\n",
      "  109   70 1798  284]\n",
      "\n",
      "\n",
      "question_input_tokens\n",
      " [   2  102   44 1618  306   16  188    0    0    0    0    0    0    0\n",
      "    0    0]\n",
      "\n",
      "\n",
      "answer_masks\n",
      " [[0 0 0 ... 0 0 0]\n",
      " [0 0 0 ... 0 0 0]\n",
      " [0 0 0 ... 0 0 0]\n",
      " ...\n",
      " [0 0 0 ... 0 0 0]\n",
      " [0 0 0 ... 0 0 0]\n",
      " [0 0 0 ... 0 0 0]]\n",
      "\n",
      "\n",
      "answer_labels\n",
      " [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1\n",
      " 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0\n",
      " 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0\n",
      " 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0\n",
      " 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0\n",
      " 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]\n",
      "\n",
      "\n",
      "question_output_tokens\n",
      " [ 102   44 1618  306   16  188    3    0    0    0    0    0    0    0\n",
      "    0    0]\n"
     ]
    }
   ],
   "source": [
    "idx = 0\n",
    "\n",
    "print('document_tokens\\n', t['document_tokens'][idx])\n",
    "print('\\n')\n",
    "print('question_input_tokens\\n', t['question_input_tokens'][idx])\n",
    "print('\\n')\n",
    "print('answer_masks\\n', t['answer_masks'][idx])\n",
    "print('\\n')\n",
    "print('answer_labels\\n', t['answer_labels'][idx])\n",
    "print('\\n')\n",
    "print('question_output_tokens\\n', t['question_output_tokens'][idx])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "GLOVE\n",
      "VOCAB_SIZE:  9984\n",
      "EMBEDDING_DIMENS:  100\n"
     ]
    }
   ],
   "source": [
    "# GloVe\n",
    "\n",
    "VOCAB_SIZE = glove.shape[0]\n",
    "EMBEDDING_DIMENS = glove.shape[1]\n",
    "\n",
    "print('GLOVE')\n",
    "print('VOCAB_SIZE: ', VOCAB_SIZE)\n",
    "print('EMBEDDING_DIMENS: ', EMBEDDING_DIMENS)\n",
    "\n",
    "GRU_UNITS = 100"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 파라미터"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "MAX_DOC_SIZE = None\n",
    "MAX_ANSWER_SIZE = None\n",
    "MAX_Q_SIZE = None"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 모델 생성"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "WARNING: Logging before flag parsing goes to stderr.\n",
      "W0917 11:08:19.329666 140483760518976 deprecation_wrapper.py:119] From /home/haesun/github/GDL_code/env/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:517: The name tf.placeholder is deprecated. Please use tf.compat.v1.placeholder instead.\n",
      "\n",
      "W0917 11:08:19.341881 140483760518976 deprecation_wrapper.py:119] From /home/haesun/github/GDL_code/env/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:4138: The name tf.random_uniform is deprecated. Please use tf.random.uniform instead.\n",
      "\n",
      "W0917 11:08:19.347920 140483760518976 deprecation_wrapper.py:119] From /home/haesun/github/GDL_code/env/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:174: The name tf.get_default_session is deprecated. Please use tf.compat.v1.get_default_session instead.\n",
      "\n",
      "W0917 11:08:19.348447 140483760518976 deprecation_wrapper.py:119] From /home/haesun/github/GDL_code/env/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:181: The name tf.ConfigProto is deprecated. Please use tf.compat.v1.ConfigProto instead.\n",
      "\n",
      "W0917 11:08:19.348846 140483760518976 deprecation_wrapper.py:119] From /home/haesun/github/GDL_code/env/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:186: The name tf.Session is deprecated. Please use tf.compat.v1.Session instead.\n",
      "\n",
      "W0917 11:08:19.971182 140483760518976 deprecation.py:323] From /home/haesun/github/GDL_code/env/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:2974: add_dispatch_support.<locals>.wrapper (from tensorflow.python.ops.array_ops) is deprecated and will be removed in a future version.\n",
      "Instructions for updating:\n",
      "Use tf.where in 2.0, which has the same broadcast rule as np.where\n"
     ]
    }
   ],
   "source": [
    "document_tokens = Input(shape=(MAX_DOC_SIZE,), name=\"document_tokens\")\n",
    "\n",
    "embedding = Embedding(input_dim = VOCAB_SIZE, output_dim = EMBEDDING_DIMENS, weights=[glove], mask_zero = True, name = 'embedding')\n",
    "document_emb = embedding(document_tokens)\n",
    "\n",
    "answer_outputs = Bidirectional(GRU(GRU_UNITS, return_sequences=True), name = 'answer_outputs')(document_emb)\n",
    "answer_tags = Dense(2, activation = 'softmax', name = 'answer_tags')(answer_outputs)\n",
    "\n",
    "encoder_input_mask = Input(shape=(MAX_ANSWER_SIZE, MAX_DOC_SIZE), name=\"encoder_input_mask\")\n",
    "encoder_inputs = Lambda(lambda x: K.batch_dot(x[0], x[1]), name=\"encoder_inputs\")([encoder_input_mask, answer_outputs])\n",
    "encoder_cell = GRU(2 * GRU_UNITS, name = 'encoder_cell')(encoder_inputs)\n",
    "\n",
    "decoder_inputs = Input(shape=(MAX_Q_SIZE,), name=\"decoder_inputs\")\n",
    "decoder_emb = embedding(decoder_inputs)\n",
    "decoder_emb.trainable = False\n",
    "decoder_cell = GRU(2 * GRU_UNITS, return_sequences = True, name = 'decoder_cell')\n",
    "decoder_states = decoder_cell(decoder_emb, initial_state = [encoder_cell])\n",
    "\n",
    "decoder_projection = Dense(VOCAB_SIZE, name = 'decoder_projection', activation = 'softmax', use_bias = False)\n",
    "decoder_outputs = decoder_projection(decoder_states)\n",
    "\n",
    "total_model = Model([document_tokens, decoder_inputs, encoder_input_mask], [answer_tags, decoder_outputs])\n",
    "plot_model(total_model, to_file='model.png',show_shapes=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![QA 모델](model.png)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "TensorShape([Dimension(None), Dimension(None), Dimension(100)])"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "decoder_emb.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "answer_model = Model(document_tokens, [answer_tags])\n",
    "decoder_initial_state_model = Model([document_tokens, encoder_input_mask], [encoder_cell])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "__________________________________________________________________________________________________\n",
      "Layer (type)                    Output Shape         Param #     Connected to                     \n",
      "==================================================================================================\n",
      "document_tokens (InputLayer)    (None, None)         0                                            \n",
      "__________________________________________________________________________________________________\n",
      "embedding (Embedding)           (None, None, 100)    998400      document_tokens[0][0]            \n",
      "                                                                 decoder_inputs[0][0]             \n",
      "__________________________________________________________________________________________________\n",
      "answer_outputs (Bidirectional)  (None, None, 200)    120600      embedding[0][0]                  \n",
      "__________________________________________________________________________________________________\n",
      "encoder_input_mask (InputLayer) (None, None, None)   0                                            \n",
      "__________________________________________________________________________________________________\n",
      "decoder_inputs (InputLayer)     (None, None)         0                                            \n",
      "__________________________________________________________________________________________________\n",
      "encoder_inputs (Lambda)         (None, None, 200)    0           encoder_input_mask[0][0]         \n",
      "                                                                 answer_outputs[0][0]             \n",
      "__________________________________________________________________________________________________\n",
      "encoder_cell (GRU)              (None, 200)          240600      encoder_inputs[0][0]             \n",
      "__________________________________________________________________________________________________\n",
      "decoder_cell (GRU)              (None, None, 200)    180600      embedding[1][0]                  \n",
      "                                                                 encoder_cell[0][0]               \n",
      "__________________________________________________________________________________________________\n",
      "answer_tags (Dense)             (None, None, 2)      402         answer_outputs[0][0]             \n",
      "__________________________________________________________________________________________________\n",
      "decoder_projection (Dense)      (None, None, 9984)   1996800     decoder_cell[0][0]               \n",
      "==================================================================================================\n",
      "Total params: 3,537,402\n",
      "Trainable params: 3,537,402\n",
      "Non-trainable params: 0\n",
      "__________________________________________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "total_model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "#### 예측을 위한 모델 ####\n",
    "\n",
    "decoder_inputs_dynamic = Input(shape=(1,), name=\"decoder_inputs_dynamic\")\n",
    "decoder_emb_dynamic = embedding(decoder_inputs_dynamic)\n",
    "decoder_init_state_dynamic = Input(shape=(2 * GRU_UNITS,), name = 'decoder_init_state_dynamic') #the embedding of the previous word\n",
    "decoder_states_dynamic = decoder_cell(decoder_emb_dynamic, initial_state = [decoder_init_state_dynamic])\n",
    "decoder_outputs_dynamic = decoder_projection(decoder_states_dynamic)\n",
    "\n",
    "question_model = Model([decoder_inputs_dynamic, decoder_init_state_dynamic], [decoder_outputs_dynamic, decoder_states_dynamic])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "W0917 11:08:20.765857 140483760518976 deprecation_wrapper.py:119] From /home/haesun/github/GDL_code/env/lib/python3.7/site-packages/keras/optimizers.py:790: The name tf.train.Optimizer is deprecated. Please use tf.compat.v1.train.Optimizer instead.\n",
      "\n"
     ]
    }
   ],
   "source": [
    "#### 모델 컴파일 ####\n",
    "\n",
    "opti = Adam(lr=0.001)\n",
    "total_model.compile(loss=['sparse_categorical_crossentropy', 'sparse_categorical_crossentropy']\n",
    "                    , optimizer=opti\n",
    "                    , loss_weights = [1,1]) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 모델 훈련"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*Note: 이 훈련은 오랜 시간이 걸립니다. 적절히 에포크 횟수를 조절하세요. 번역서 깃허브는 훈련된 가중치를 제공하므로 훈련 과정을 건너 뛰고 06_03_qa_analysis.ipynb를 바로 실행할 수 있습니다.*"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "training_loss_history = []\n",
    "test_loss_history = []\n",
    "\n",
    "EPOCHS = 2000\n",
    "start_epoch = 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "에포크 1\n",
      "에포크 2\n",
      "에포크 3\n",
      "에포크 4\n",
      "에포크 5\n",
      "에포크 6\n",
      "에포크 7\n",
      "에포크 8\n",
      "에포크 9\n",
      "에포크 10\n",
      "에포크 11\n",
      "에포크 12\n",
      "에포크 13\n",
      "에포크 14\n",
      "에포크 15\n",
      "에포크 16\n",
      "에포크 17\n",
      "에포크 18\n",
      "에포크 19\n",
      "에포크 20\n",
      "에포크 21\n",
      "에포크 22\n",
      "에포크 23\n",
      "에포크 24\n",
      "에포크 25\n",
      "에포크 26\n",
      "에포크 27\n",
      "에포크 28\n",
      "에포크 29\n",
      "에포크 30\n",
      "에포크 31\n",
      "에포크 32\n",
      "에포크 33\n",
      "에포크 34\n",
      "에포크 35\n",
      "에포크 36\n",
      "에포크 37\n",
      "에포크 38\n",
      "에포크 39\n",
      "에포크 40\n",
      "에포크 41\n",
      "에포크 42\n",
      "에포크 43\n",
      "에포크 44\n",
      "에포크 45\n",
      "에포크 46\n",
      "에포크 47\n",
      "에포크 48\n",
      "에포크 49\n",
      "에포크 50\n",
      "에포크 51\n",
      "에포크 52\n",
      "에포크 53\n",
      "에포크 54\n",
      "에포크 55\n",
      "에포크 56\n",
      "에포크 57\n",
      "에포크 58\n",
      "에포크 59\n",
      "에포크 60\n",
      "에포크 61\n",
      "에포크 62\n",
      "에포크 63\n",
      "에포크 64\n",
      "에포크 65\n",
      "에포크 66\n",
      "에포크 67\n",
      "에포크 68\n",
      "에포크 69\n",
      "에포크 70\n",
      "에포크 71\n",
      "에포크 72\n",
      "에포크 73\n",
      "에포크 74\n",
      "에포크 75\n",
      "에포크 76\n",
      "에포크 77\n",
      "에포크 78\n",
      "에포크 79\n",
      "에포크 80\n",
      "에포크 81\n",
      "에포크 82\n",
      "에포크 83\n",
      "에포크 84\n",
      "에포크 85\n",
      "에포크 86\n",
      "에포크 87\n",
      "에포크 88\n",
      "에포크 89\n",
      "에포크 90\n",
      "에포크 91\n",
      "에포크 92\n",
      "에포크 93\n",
      "에포크 94\n",
      "에포크 95\n",
      "에포크 96\n",
      "에포크 97\n",
      "에포크 98\n",
      "에포크 99\n",
      "524: 훈련 손실: [0.74277806, 0.11624601, 0.6265321] | 테스트 손실: [7.929379, 0.115753874, 7.8136253]\n",
      "에포크 100\n",
      "에포크 101\n",
      "에포크 102\n",
      "에포크 103\n",
      "에포크 104\n",
      "에포크 105\n",
      "에포크 106\n",
      "에포크 107\n",
      "에포크 108\n",
      "에포크 109\n",
      "에포크 110\n",
      "에포크 111\n",
      "에포크 112\n",
      "에포크 113\n",
      "에포크 114\n",
      "에포크 115\n",
      "에포크 116\n",
      "에포크 117\n",
      "에포크 118\n",
      "에포크 119\n",
      "에포크 120\n",
      "에포크 121\n",
      "에포크 122\n",
      "에포크 123\n",
      "에포크 124\n",
      "에포크 125\n",
      "에포크 126\n",
      "에포크 127\n",
      "에포크 128\n",
      "에포크 129\n",
      "에포크 130\n",
      "에포크 131\n",
      "에포크 132\n",
      "에포크 133\n",
      "에포크 134\n",
      "에포크 135\n",
      "에포크 136\n",
      "에포크 137\n",
      "에포크 138\n",
      "에포크 139\n",
      "에포크 140\n",
      "에포크 141\n",
      "에포크 142\n",
      "에포크 143\n",
      "에포크 144\n",
      "에포크 145\n",
      "에포크 146\n",
      "에포크 147\n",
      "에포크 148\n",
      "에포크 149\n",
      "에포크 150\n",
      "에포크 151\n",
      "에포크 152\n",
      "에포크 153\n",
      "에포크 154\n",
      "에포크 155\n",
      "에포크 156\n",
      "에포크 157\n",
      "에포크 158\n",
      "에포크 159\n",
      "에포크 160\n",
      "에포크 161\n",
      "에포크 162\n",
      "에포크 163\n",
      "에포크 164\n",
      "에포크 165\n",
      "에포크 166\n",
      "에포크 167\n",
      "에포크 168\n",
      "에포크 169\n",
      "에포크 170\n",
      "에포크 171\n",
      "에포크 172\n",
      "에포크 173\n",
      "에포크 174\n",
      "에포크 175\n",
      "에포크 176\n",
      "에포크 177\n",
      "에포크 178\n",
      "에포크 179\n",
      "에포크 180\n",
      "에포크 181\n",
      "에포크 182\n",
      "에포크 183\n",
      "에포크 184\n",
      "에포크 185\n",
      "에포크 186\n",
      "에포크 187\n",
      "에포크 188\n",
      "에포크 189\n",
      "에포크 190\n",
      "에포크 191\n",
      "에포크 192\n",
      "에포크 193\n",
      "에포크 194\n",
      "에포크 195\n",
      "에포크 196\n",
      "에포크 197\n",
      "에포크 198\n",
      "에포크 199\n",
      "523: 훈련 손실: [0.3972087, 0.07835774, 0.31885093] | 테스트 손실: [9.756832, 0.23480132, 9.522031]\n",
      "에포크 200\n",
      "에포크 201\n",
      "에포크 202\n",
      "에포크 203\n",
      "에포크 204\n",
      "에포크 205\n",
      "에포크 206\n",
      "에포크 207\n",
      "에포크 208\n",
      "에포크 209\n",
      "에포크 210\n",
      "에포크 211\n",
      "에포크 212\n",
      "에포크 213\n",
      "에포크 214\n",
      "에포크 215\n",
      "에포크 216\n",
      "에포크 217\n",
      "에포크 218\n",
      "에포크 219\n",
      "에포크 220\n",
      "에포크 221\n",
      "에포크 222\n",
      "에포크 223\n",
      "에포크 224\n",
      "에포크 225\n",
      "에포크 226\n",
      "에포크 227\n",
      "에포크 228\n",
      "에포크 229\n",
      "에포크 230\n",
      "에포크 231\n",
      "에포크 232\n",
      "에포크 233\n",
      "에포크 234\n",
      "에포크 235\n",
      "에포크 236\n",
      "에포크 237\n",
      "에포크 238\n",
      "에포크 239\n",
      "에포크 240\n",
      "에포크 241\n",
      "에포크 242\n",
      "에포크 243\n",
      "에포크 244\n",
      "에포크 245\n",
      "에포크 246\n",
      "에포크 247\n",
      "에포크 248\n",
      "에포크 249\n",
      "에포크 250\n",
      "에포크 251\n",
      "에포크 252\n",
      "에포크 253\n",
      "에포크 254\n",
      "에포크 255\n",
      "에포크 256\n",
      "에포크 257\n",
      "에포크 258\n",
      "에포크 259\n",
      "에포크 260\n",
      "에포크 261\n",
      "에포크 262\n",
      "에포크 263\n",
      "에포크 264\n",
      "에포크 265\n",
      "에포크 266\n",
      "에포크 267\n",
      "에포크 268\n",
      "에포크 269\n",
      "에포크 270\n",
      "에포크 271\n",
      "에포크 272\n",
      "에포크 273\n",
      "에포크 274\n",
      "에포크 275\n",
      "에포크 276\n",
      "에포크 277\n",
      "에포크 278\n",
      "에포크 279\n",
      "에포크 280\n",
      "에포크 281\n",
      "에포크 282\n",
      "에포크 283\n",
      "에포크 284\n",
      "에포크 285\n",
      "에포크 286\n",
      "에포크 287\n",
      "에포크 288\n",
      "에포크 289\n",
      "에포크 290\n",
      "에포크 291\n",
      "에포크 292\n",
      "에포크 293\n",
      "에포크 294\n",
      "에포크 295\n",
      "에포크 296\n",
      "에포크 297\n",
      "에포크 298\n",
      "에포크 299\n",
      "524: 훈련 손실: [0.38974333, 0.09003477, 0.29970858] | 테스트 손실: [10.594097, 0.7453534, 9.848743]\n",
      "에포크 300\n",
      "에포크 301\n",
      "에포크 302\n",
      "에포크 303\n",
      "에포크 304\n",
      "에포크 305\n",
      "에포크 306\n",
      "에포크 307\n",
      "에포크 308\n",
      "에포크 309\n",
      "에포크 310\n",
      "에포크 311\n",
      "에포크 312\n",
      "에포크 313\n",
      "에포크 314\n",
      "에포크 315\n",
      "에포크 316\n",
      "에포크 317\n",
      "에포크 318\n",
      "에포크 319\n",
      "에포크 320\n",
      "에포크 321\n",
      "에포크 322\n",
      "에포크 323\n",
      "에포크 324\n",
      "에포크 325\n",
      "에포크 326\n",
      "에포크 327\n",
      "에포크 328\n",
      "에포크 329\n",
      "에포크 330\n",
      "에포크 331\n",
      "에포크 332\n",
      "에포크 333\n",
      "에포크 334\n",
      "에포크 335\n",
      "에포크 336\n",
      "에포크 337\n",
      "에포크 338\n",
      "에포크 339\n",
      "에포크 340\n",
      "에포크 341\n",
      "에포크 342\n",
      "에포크 343\n",
      "에포크 344\n",
      "에포크 345\n",
      "에포크 346\n",
      "에포크 347\n",
      "에포크 348\n",
      "에포크 349\n",
      "에포크 350\n",
      "에포크 351\n",
      "에포크 352\n",
      "에포크 353\n",
      "에포크 354\n",
      "에포크 355\n",
      "에포크 356\n",
      "에포크 357\n",
      "에포크 358\n",
      "에포크 359\n",
      "에포크 360\n",
      "에포크 361\n",
      "에포크 362\n",
      "에포크 363\n",
      "에포크 364\n",
      "에포크 365\n",
      "에포크 366\n",
      "에포크 367\n",
      "에포크 368\n",
      "에포크 369\n",
      "에포크 370\n",
      "에포크 371\n",
      "에포크 372\n",
      "에포크 373\n",
      "에포크 374\n",
      "에포크 375\n",
      "에포크 376\n",
      "에포크 377\n",
      "에포크 378\n",
      "에포크 379\n",
      "에포크 380\n",
      "에포크 381\n",
      "에포크 382\n",
      "에포크 383\n",
      "에포크 384\n",
      "에포크 385\n",
      "에포크 386\n",
      "에포크 387\n",
      "에포크 388\n",
      "에포크 389\n",
      "에포크 390\n",
      "에포크 391\n",
      "에포크 392\n",
      "에포크 393\n",
      "에포크 394\n",
      "에포크 395\n",
      "에포크 396\n",
      "에포크 397\n",
      "에포크 398\n",
      "에포크 399\n",
      "523: 훈련 손실: [0.26990354, 0.094833896, 0.17506963] | 테스트 손실: [10.154882, 0.43565613, 9.719226]\n",
      "에포크 400\n",
      "에포크 401\n",
      "에포크 402\n",
      "에포크 403\n",
      "에포크 404\n",
      "에포크 405\n",
      "에포크 406\n",
      "에포크 407\n",
      "에포크 408\n",
      "에포크 409\n",
      "에포크 410\n",
      "에포크 411\n",
      "에포크 412\n",
      "에포크 413\n",
      "에포크 414\n",
      "에포크 415\n",
      "에포크 416\n",
      "에포크 417\n",
      "에포크 418\n",
      "에포크 419\n",
      "에포크 420\n",
      "에포크 421\n",
      "에포크 422\n",
      "에포크 423\n",
      "에포크 424\n",
      "에포크 425\n",
      "에포크 426\n",
      "에포크 427\n",
      "에포크 428\n",
      "에포크 429\n",
      "에포크 430\n",
      "에포크 431\n",
      "에포크 432\n",
      "에포크 433\n",
      "에포크 434\n",
      "에포크 435\n",
      "에포크 436\n",
      "에포크 437\n",
      "에포크 438\n",
      "에포크 439\n",
      "에포크 440\n",
      "에포크 441\n",
      "에포크 442\n",
      "에포크 443\n",
      "에포크 444\n",
      "에포크 445\n",
      "에포크 446\n",
      "에포크 447\n",
      "에포크 448\n",
      "에포크 449\n",
      "에포크 450\n",
      "에포크 451\n",
      "에포크 452\n",
      "에포크 453\n",
      "에포크 454\n",
      "에포크 455\n",
      "에포크 456\n",
      "에포크 457\n",
      "에포크 458\n",
      "에포크 459\n",
      "에포크 460\n",
      "에포크 461\n",
      "에포크 462\n",
      "에포크 463\n",
      "에포크 464\n",
      "에포크 465\n",
      "에포크 466\n",
      "에포크 467\n",
      "에포크 468\n",
      "에포크 469\n",
      "에포크 470\n",
      "에포크 471\n",
      "에포크 472\n",
      "에포크 473\n",
      "에포크 474\n",
      "에포크 475\n",
      "에포크 476\n",
      "에포크 477\n",
      "에포크 478\n",
      "에포크 479\n",
      "에포크 480\n",
      "에포크 481\n",
      "에포크 482\n",
      "에포크 483\n",
      "에포크 484\n",
      "에포크 485\n",
      "에포크 486\n",
      "에포크 487\n",
      "에포크 488\n",
      "에포크 489\n",
      "에포크 490\n",
      "에포크 491\n",
      "에포크 492\n",
      "에포크 493\n",
      "에포크 494\n",
      "에포크 495\n",
      "에포크 496\n",
      "에포크 497\n",
      "에포크 498\n",
      "에포크 499\n",
      "523: 훈련 손실: [0.30857244, 0.06999462, 0.23857783] | 테스트 손실: [10.524908, 0.68293333, 9.841975]\n",
      "에포크 500\n",
      "에포크 501\n",
      "에포크 502\n",
      "에포크 503\n",
      "에포크 504\n",
      "에포크 505\n",
      "에포크 506\n",
      "에포크 507\n",
      "에포크 508\n",
      "에포크 509\n",
      "에포크 510\n",
      "에포크 511\n",
      "에포크 512\n",
      "에포크 513\n",
      "에포크 514\n",
      "에포크 515\n",
      "에포크 516\n",
      "에포크 517\n",
      "에포크 518\n",
      "에포크 519\n",
      "에포크 520\n",
      "에포크 521\n",
      "에포크 522\n",
      "에포크 523\n",
      "에포크 524\n",
      "에포크 525\n",
      "에포크 526\n",
      "에포크 527\n",
      "에포크 528\n",
      "에포크 529\n",
      "에포크 530\n",
      "에포크 531\n",
      "에포크 532\n",
      "에포크 533\n",
      "에포크 534\n",
      "에포크 535\n",
      "에포크 536\n",
      "에포크 537\n",
      "에포크 538\n",
      "에포크 539\n",
      "에포크 540\n",
      "에포크 541\n",
      "에포크 542\n",
      "에포크 543\n",
      "에포크 544\n",
      "에포크 545\n",
      "에포크 546\n",
      "에포크 547\n",
      "에포크 548\n",
      "에포크 549\n",
      "에포크 550\n",
      "에포크 551\n",
      "에포크 552\n",
      "에포크 553\n",
      "에포크 554\n",
      "에포크 555\n",
      "에포크 556\n",
      "에포크 557\n",
      "에포크 558\n",
      "에포크 559\n",
      "에포크 560\n",
      "에포크 561\n",
      "에포크 562\n",
      "에포크 563\n",
      "에포크 564\n",
      "에포크 565\n",
      "에포크 566\n",
      "에포크 567\n",
      "에포크 568\n",
      "에포크 569\n",
      "에포크 570\n",
      "에포크 571\n",
      "에포크 572\n",
      "에포크 573\n",
      "에포크 574\n",
      "에포크 575\n",
      "에포크 576\n",
      "에포크 577\n",
      "에포크 578\n",
      "에포크 579\n",
      "에포크 580\n",
      "에포크 581\n",
      "에포크 582\n",
      "에포크 583\n",
      "에포크 584\n",
      "에포크 585\n",
      "에포크 586\n",
      "에포크 587\n",
      "에포크 588\n",
      "에포크 589\n",
      "에포크 590\n",
      "에포크 591\n",
      "에포크 592\n",
      "에포크 593\n",
      "에포크 594\n",
      "에포크 595\n",
      "에포크 596\n",
      "에포크 597\n",
      "에포크 598\n",
      "에포크 599\n",
      "524: 훈련 손실: [0.30100718, 0.09066335, 0.21034382] | 테스트 손실: [10.632159, 0.7179664, 9.914193]\n",
      "에포크 600\n",
      "에포크 601\n",
      "에포크 602\n",
      "에포크 603\n",
      "에포크 604\n",
      "에포크 605\n",
      "에포크 606\n",
      "에포크 607\n",
      "에포크 608\n",
      "에포크 609\n",
      "에포크 610\n",
      "에포크 611\n",
      "에포크 612\n",
      "에포크 613\n",
      "에포크 614\n",
      "에포크 615\n",
      "에포크 616\n",
      "에포크 617\n",
      "에포크 618\n",
      "에포크 619\n",
      "에포크 620\n",
      "에포크 621\n",
      "에포크 622\n",
      "에포크 623\n",
      "에포크 624\n",
      "에포크 625\n",
      "에포크 626\n",
      "에포크 627\n",
      "에포크 628\n",
      "에포크 629\n",
      "에포크 630\n",
      "에포크 631\n",
      "에포크 632\n",
      "에포크 633\n",
      "에포크 634\n",
      "에포크 635\n",
      "에포크 636\n",
      "에포크 637\n",
      "에포크 638\n",
      "에포크 639\n",
      "에포크 640\n",
      "에포크 641\n",
      "에포크 642\n",
      "에포크 643\n",
      "에포크 644\n",
      "에포크 645\n",
      "에포크 646\n",
      "에포크 647\n",
      "에포크 648\n",
      "에포크 649\n",
      "에포크 650\n",
      "에포크 651\n",
      "에포크 652\n",
      "에포크 653\n",
      "에포크 654\n",
      "에포크 655\n",
      "에포크 656\n",
      "에포크 657\n",
      "에포크 658\n",
      "에포크 659\n",
      "에포크 660\n",
      "에포크 661\n",
      "에포크 662\n",
      "에포크 663\n",
      "에포크 664\n",
      "에포크 665\n",
      "에포크 666\n",
      "에포크 667\n",
      "에포크 668\n",
      "에포크 669\n",
      "에포크 670\n",
      "에포크 671\n",
      "에포크 672\n",
      "에포크 673\n",
      "에포크 674\n",
      "에포크 675\n",
      "에포크 676\n",
      "에포크 677\n",
      "에포크 678\n",
      "에포크 679\n",
      "에포크 680\n",
      "에포크 681\n",
      "에포크 682\n",
      "에포크 683\n",
      "에포크 684\n",
      "에포크 685\n",
      "에포크 686\n",
      "에포크 687\n",
      "에포크 688\n",
      "에포크 689\n",
      "에포크 690\n",
      "에포크 691\n",
      "에포크 692\n",
      "에포크 693\n",
      "에포크 694\n",
      "에포크 695\n",
      "에포크 696\n",
      "에포크 697\n",
      "에포크 698\n",
      "에포크 699\n",
      "523: 훈련 손실: [0.23628032, 0.10108005, 0.13520028] | 테스트 손실: [11.045937, 0.7549348, 10.291002]\n",
      "에포크 700\n",
      "에포크 701\n",
      "에포크 702\n",
      "에포크 703\n",
      "에포크 704\n",
      "에포크 705\n",
      "에포크 706\n",
      "에포크 707\n",
      "에포크 708\n",
      "에포크 709\n",
      "에포크 710\n",
      "에포크 711\n",
      "에포크 712\n",
      "에포크 713\n",
      "에포크 714\n",
      "에포크 715\n",
      "에포크 716\n",
      "에포크 717\n",
      "에포크 718\n",
      "에포크 719\n",
      "에포크 720\n",
      "에포크 721\n",
      "에포크 722\n",
      "에포크 723\n",
      "에포크 724\n",
      "에포크 725\n",
      "에포크 726\n",
      "에포크 727\n",
      "에포크 728\n",
      "에포크 729\n",
      "에포크 730\n",
      "에포크 731\n",
      "에포크 732\n",
      "에포크 733\n",
      "에포크 734\n",
      "에포크 735\n",
      "에포크 736\n",
      "에포크 737\n",
      "에포크 738\n",
      "에포크 739\n",
      "에포크 740\n",
      "에포크 741\n",
      "에포크 742\n",
      "에포크 743\n",
      "에포크 744\n",
      "에포크 745\n",
      "에포크 746\n",
      "에포크 747\n",
      "에포크 748\n",
      "에포크 749\n",
      "에포크 750\n",
      "에포크 751\n",
      "에포크 752\n",
      "에포크 753\n",
      "에포크 754\n",
      "에포크 755\n",
      "에포크 756\n",
      "에포크 757\n",
      "에포크 758\n",
      "에포크 759\n",
      "에포크 760\n",
      "에포크 761\n",
      "에포크 762\n",
      "에포크 763\n",
      "에포크 764\n",
      "에포크 765\n",
      "에포크 766\n",
      "에포크 767\n",
      "에포크 768\n",
      "에포크 769\n",
      "에포크 770\n",
      "에포크 771\n",
      "에포크 772\n",
      "에포크 773\n",
      "에포크 774\n",
      "에포크 775\n",
      "에포크 776\n",
      "에포크 777\n",
      "에포크 778\n",
      "에포크 779\n",
      "에포크 780\n",
      "에포크 781\n",
      "에포크 782\n",
      "에포크 783\n",
      "에포크 784\n",
      "에포크 785\n",
      "에포크 786\n",
      "에포크 787\n",
      "에포크 788\n",
      "에포크 789\n",
      "에포크 790\n",
      "에포크 791\n",
      "에포크 792\n",
      "에포크 793\n",
      "에포크 794\n",
      "에포크 795\n",
      "에포크 796\n",
      "에포크 797\n",
      "에포크 798\n",
      "에포크 799\n",
      "523: 훈련 손실: [0.32119277, 0.07053891, 0.25065386] | 테스트 손실: [9.882074, 0.7588559, 9.123219]\n",
      "에포크 800\n",
      "에포크 801\n",
      "에포크 802\n",
      "에포크 803\n",
      "에포크 804\n",
      "에포크 805\n",
      "에포크 806\n",
      "에포크 807\n",
      "에포크 808\n",
      "에포크 809\n",
      "에포크 810\n",
      "에포크 811\n",
      "에포크 812\n",
      "에포크 813\n",
      "에포크 814\n",
      "에포크 815\n",
      "에포크 816\n",
      "에포크 817\n",
      "에포크 818\n",
      "에포크 819\n",
      "에포크 820\n",
      "에포크 821\n",
      "에포크 822\n",
      "에포크 823\n",
      "에포크 824\n",
      "에포크 825\n",
      "에포크 826\n",
      "에포크 827\n",
      "에포크 828\n",
      "에포크 829\n",
      "에포크 830\n",
      "에포크 831\n",
      "에포크 832\n",
      "에포크 833\n",
      "에포크 834\n",
      "에포크 835\n",
      "에포크 836\n",
      "에포크 837\n",
      "에포크 838\n",
      "에포크 839\n",
      "에포크 840\n",
      "에포크 841\n",
      "에포크 842\n",
      "에포크 843\n",
      "에포크 844\n",
      "에포크 845\n",
      "에포크 846\n",
      "에포크 847\n",
      "에포크 848\n",
      "에포크 849\n",
      "에포크 850\n",
      "에포크 851\n",
      "에포크 852\n",
      "에포크 853\n",
      "에포크 854\n",
      "에포크 855\n",
      "에포크 856\n",
      "에포크 857\n",
      "에포크 858\n",
      "에포크 859\n",
      "에포크 860\n",
      "에포크 861\n",
      "에포크 862\n",
      "에포크 863\n",
      "에포크 864\n",
      "에포크 865\n",
      "에포크 866\n",
      "에포크 867\n",
      "에포크 868\n",
      "에포크 869\n",
      "에포크 870\n",
      "에포크 871\n",
      "에포크 872\n",
      "에포크 873\n",
      "에포크 874\n",
      "에포크 875\n",
      "에포크 876\n",
      "에포크 877\n",
      "에포크 878\n",
      "에포크 879\n",
      "에포크 880\n",
      "에포크 881\n",
      "에포크 882\n",
      "에포크 883\n",
      "에포크 884\n",
      "에포크 885\n",
      "에포크 886\n",
      "에포크 887\n",
      "에포크 888\n",
      "에포크 889\n",
      "에포크 890\n",
      "에포크 891\n",
      "에포크 892\n",
      "에포크 893\n",
      "에포크 894\n",
      "에포크 895\n",
      "에포크 896\n",
      "에포크 897\n",
      "에포크 898\n",
      "에포크 899\n",
      "523: 훈련 손실: [0.28686267, 0.08230725, 0.20455544] | 테스트 손실: [9.959005, 0.8698686, 9.089137]\n",
      "에포크 900\n",
      "에포크 901\n",
      "에포크 902\n",
      "에포크 903\n",
      "에포크 904\n",
      "에포크 905\n",
      "에포크 906\n",
      "에포크 907\n",
      "에포크 908\n",
      "에포크 909\n",
      "에포크 910\n",
      "에포크 911\n",
      "에포크 912\n",
      "에포크 913\n",
      "에포크 914\n",
      "에포크 915\n",
      "에포크 916\n",
      "에포크 917\n",
      "에포크 918\n",
      "에포크 919\n",
      "에포크 920\n",
      "에포크 921\n",
      "에포크 922\n",
      "에포크 923\n",
      "에포크 924\n",
      "에포크 925\n",
      "에포크 926\n",
      "에포크 927\n",
      "에포크 928\n",
      "에포크 929\n",
      "에포크 930\n",
      "에포크 931\n",
      "에포크 932\n",
      "에포크 933\n",
      "에포크 934\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "에포크 935\n",
      "에포크 936\n",
      "에포크 937\n",
      "에포크 938\n",
      "에포크 939\n",
      "에포크 940\n",
      "에포크 941\n",
      "에포크 942\n",
      "에포크 943\n",
      "에포크 944\n",
      "에포크 945\n",
      "에포크 946\n",
      "에포크 947\n",
      "에포크 948\n",
      "에포크 949\n",
      "에포크 950\n",
      "에포크 951\n",
      "에포크 952\n",
      "에포크 953\n",
      "에포크 954\n",
      "에포크 955\n",
      "에포크 956\n",
      "에포크 957\n",
      "에포크 958\n",
      "에포크 959\n",
      "에포크 960\n",
      "에포크 961\n",
      "에포크 962\n",
      "에포크 963\n",
      "에포크 964\n",
      "에포크 965\n",
      "에포크 966\n",
      "에포크 967\n",
      "에포크 968\n",
      "에포크 969\n",
      "에포크 970\n",
      "에포크 971\n",
      "에포크 972\n",
      "에포크 973\n",
      "에포크 974\n",
      "에포크 975\n",
      "에포크 976\n",
      "에포크 977\n",
      "에포크 978\n",
      "에포크 979\n",
      "에포크 980\n",
      "에포크 981\n",
      "에포크 982\n",
      "에포크 983\n",
      "에포크 984\n",
      "에포크 985\n",
      "에포크 986\n",
      "에포크 987\n",
      "에포크 988\n",
      "에포크 989\n",
      "에포크 990\n",
      "에포크 991\n",
      "에포크 992\n",
      "에포크 993\n",
      "에포크 994\n",
      "에포크 995\n",
      "에포크 996\n",
      "에포크 997\n",
      "에포크 998\n",
      "에포크 999\n",
      "523: 훈련 손실: [0.2228032, 0.06412412, 0.15867908] | 테스트 손실: [8.83815, 0.55715764, 8.2809925]\n",
      "에포크 1000\n",
      "에포크 1001\n",
      "에포크 1002\n",
      "에포크 1003\n",
      "에포크 1004\n",
      "에포크 1005\n",
      "에포크 1006\n",
      "에포크 1007\n",
      "에포크 1008\n",
      "에포크 1009\n",
      "에포크 1010\n",
      "에포크 1011\n",
      "에포크 1012\n",
      "에포크 1013\n",
      "에포크 1014\n",
      "에포크 1015\n",
      "에포크 1016\n",
      "에포크 1017\n",
      "에포크 1018\n",
      "에포크 1019\n",
      "에포크 1020\n",
      "에포크 1021\n",
      "에포크 1022\n",
      "에포크 1023\n",
      "에포크 1024\n",
      "에포크 1025\n",
      "에포크 1026\n",
      "에포크 1027\n",
      "에포크 1028\n",
      "에포크 1029\n",
      "에포크 1030\n",
      "에포크 1031\n",
      "에포크 1032\n",
      "에포크 1033\n",
      "에포크 1034\n",
      "에포크 1035\n",
      "에포크 1036\n",
      "에포크 1037\n",
      "에포크 1038\n",
      "에포크 1039\n",
      "에포크 1040\n",
      "에포크 1041\n",
      "에포크 1042\n",
      "에포크 1043\n",
      "에포크 1044\n",
      "에포크 1045\n",
      "에포크 1046\n",
      "에포크 1047\n",
      "에포크 1048\n",
      "에포크 1049\n",
      "에포크 1050\n",
      "에포크 1051\n",
      "에포크 1052\n",
      "에포크 1053\n",
      "에포크 1054\n",
      "에포크 1055\n",
      "에포크 1056\n",
      "에포크 1057\n",
      "에포크 1058\n",
      "에포크 1059\n",
      "에포크 1060\n",
      "에포크 1061\n",
      "에포크 1062\n",
      "에포크 1063\n",
      "에포크 1064\n",
      "에포크 1065\n",
      "에포크 1066\n",
      "에포크 1067\n",
      "에포크 1068\n",
      "에포크 1069\n",
      "에포크 1070\n",
      "에포크 1071\n",
      "에포크 1072\n",
      "에포크 1073\n",
      "에포크 1074\n",
      "에포크 1075\n",
      "에포크 1076\n",
      "에포크 1077\n",
      "에포크 1078\n",
      "에포크 1079\n",
      "에포크 1080\n",
      "에포크 1081\n",
      "에포크 1082\n",
      "에포크 1083\n",
      "에포크 1084\n",
      "에포크 1085\n",
      "에포크 1086\n",
      "에포크 1087\n",
      "에포크 1088\n",
      "에포크 1089\n",
      "에포크 1090\n",
      "에포크 1091\n",
      "에포크 1092\n",
      "에포크 1093\n",
      "에포크 1094\n",
      "에포크 1095\n",
      "에포크 1096\n",
      "에포크 1097\n",
      "에포크 1098\n",
      "에포크 1099\n",
      "523: 훈련 손실: [0.17800991, 0.057228297, 0.120781615] | 테스트 손실: [8.76827, 0.56336087, 8.204908]\n",
      "에포크 1100\n",
      "에포크 1101\n",
      "에포크 1102\n",
      "에포크 1103\n",
      "에포크 1104\n",
      "에포크 1105\n",
      "에포크 1106\n",
      "에포크 1107\n",
      "에포크 1108\n",
      "에포크 1109\n",
      "에포크 1110\n",
      "에포크 1111\n",
      "에포크 1112\n",
      "에포크 1113\n",
      "에포크 1114\n",
      "에포크 1115\n",
      "에포크 1116\n",
      "에포크 1117\n",
      "에포크 1118\n",
      "에포크 1119\n",
      "에포크 1120\n",
      "에포크 1121\n",
      "에포크 1122\n",
      "에포크 1123\n",
      "에포크 1124\n",
      "에포크 1125\n",
      "에포크 1126\n",
      "에포크 1127\n",
      "에포크 1128\n",
      "에포크 1129\n",
      "에포크 1130\n",
      "에포크 1131\n",
      "에포크 1132\n",
      "에포크 1133\n",
      "에포크 1134\n",
      "에포크 1135\n",
      "에포크 1136\n",
      "에포크 1137\n",
      "에포크 1138\n",
      "에포크 1139\n",
      "에포크 1140\n",
      "에포크 1141\n",
      "에포크 1142\n",
      "에포크 1143\n",
      "에포크 1144\n",
      "에포크 1145\n",
      "에포크 1146\n",
      "에포크 1147\n",
      "에포크 1148\n",
      "에포크 1149\n",
      "에포크 1150\n",
      "에포크 1151\n",
      "에포크 1152\n",
      "에포크 1153\n",
      "에포크 1154\n",
      "에포크 1155\n",
      "에포크 1156\n",
      "에포크 1157\n",
      "에포크 1158\n",
      "에포크 1159\n",
      "에포크 1160\n",
      "에포크 1161\n",
      "에포크 1162\n",
      "에포크 1163\n",
      "에포크 1164\n",
      "에포크 1165\n",
      "에포크 1166\n",
      "에포크 1167\n",
      "에포크 1168\n",
      "에포크 1169\n",
      "에포크 1170\n",
      "에포크 1171\n",
      "에포크 1172\n",
      "에포크 1173\n",
      "에포크 1174\n",
      "에포크 1175\n",
      "에포크 1176\n",
      "에포크 1177\n",
      "에포크 1178\n",
      "에포크 1179\n",
      "에포크 1180\n",
      "에포크 1181\n",
      "에포크 1182\n",
      "에포크 1183\n",
      "에포크 1184\n",
      "에포크 1185\n",
      "에포크 1186\n",
      "에포크 1187\n",
      "에포크 1188\n",
      "에포크 1189\n",
      "에포크 1190\n",
      "에포크 1191\n",
      "에포크 1192\n",
      "에포크 1193\n",
      "에포크 1194\n",
      "에포크 1195\n",
      "에포크 1196\n",
      "에포크 1197\n",
      "에포크 1198\n",
      "에포크 1199\n",
      "524: 훈련 손실: [0.25612646, 0.047021315, 0.20910516] | 테스트 손실: [10.073203, 0.62564063, 9.447562]\n",
      "에포크 1200\n",
      "에포크 1201\n",
      "에포크 1202\n",
      "에포크 1203\n",
      "에포크 1204\n",
      "에포크 1205\n",
      "에포크 1206\n",
      "에포크 1207\n",
      "에포크 1208\n",
      "에포크 1209\n",
      "에포크 1210\n",
      "에포크 1211\n",
      "에포크 1212\n",
      "에포크 1213\n",
      "에포크 1214\n",
      "에포크 1215\n",
      "에포크 1216\n",
      "에포크 1217\n",
      "에포크 1218\n",
      "에포크 1219\n",
      "에포크 1220\n",
      "에포크 1221\n",
      "에포크 1222\n",
      "에포크 1223\n",
      "에포크 1224\n",
      "에포크 1225\n",
      "에포크 1226\n",
      "에포크 1227\n",
      "에포크 1228\n",
      "에포크 1229\n",
      "에포크 1230\n",
      "에포크 1231\n",
      "에포크 1232\n",
      "에포크 1233\n",
      "에포크 1234\n",
      "에포크 1235\n",
      "에포크 1236\n",
      "에포크 1237\n",
      "에포크 1238\n",
      "에포크 1239\n",
      "에포크 1240\n",
      "에포크 1241\n",
      "에포크 1242\n",
      "에포크 1243\n",
      "에포크 1244\n",
      "에포크 1245\n",
      "에포크 1246\n",
      "에포크 1247\n",
      "에포크 1248\n",
      "에포크 1249\n",
      "에포크 1250\n",
      "에포크 1251\n",
      "에포크 1252\n",
      "에포크 1253\n",
      "에포크 1254\n",
      "에포크 1255\n",
      "에포크 1256\n",
      "에포크 1257\n",
      "에포크 1258\n",
      "에포크 1259\n",
      "에포크 1260\n",
      "에포크 1261\n",
      "에포크 1262\n",
      "에포크 1263\n",
      "에포크 1264\n",
      "에포크 1265\n",
      "에포크 1266\n",
      "에포크 1267\n",
      "에포크 1268\n",
      "에포크 1269\n",
      "에포크 1270\n",
      "에포크 1271\n",
      "에포크 1272\n",
      "에포크 1273\n",
      "에포크 1274\n",
      "에포크 1275\n",
      "에포크 1276\n",
      "에포크 1277\n",
      "에포크 1278\n",
      "에포크 1279\n",
      "에포크 1280\n",
      "에포크 1281\n",
      "에포크 1282\n",
      "에포크 1283\n",
      "에포크 1284\n",
      "에포크 1285\n",
      "에포크 1286\n",
      "에포크 1287\n",
      "에포크 1288\n",
      "에포크 1289\n",
      "에포크 1290\n",
      "에포크 1291\n",
      "에포크 1292\n",
      "에포크 1293\n",
      "에포크 1294\n",
      "에포크 1295\n",
      "에포크 1296\n",
      "에포크 1297\n",
      "에포크 1298\n",
      "에포크 1299\n",
      "523: 훈련 손실: [0.23640284, 0.06385345, 0.17254938] | 테스트 손실: [9.668929, 0.9023259, 8.766603]\n",
      "에포크 1300\n",
      "에포크 1301\n",
      "에포크 1302\n",
      "에포크 1303\n",
      "에포크 1304\n",
      "에포크 1305\n",
      "에포크 1306\n",
      "에포크 1307\n",
      "에포크 1308\n",
      "에포크 1309\n",
      "에포크 1310\n",
      "에포크 1311\n",
      "에포크 1312\n",
      "에포크 1313\n",
      "에포크 1314\n",
      "에포크 1315\n",
      "에포크 1316\n",
      "에포크 1317\n",
      "에포크 1318\n",
      "에포크 1319\n",
      "에포크 1320\n",
      "에포크 1321\n",
      "에포크 1322\n",
      "에포크 1323\n",
      "에포크 1324\n",
      "에포크 1325\n",
      "에포크 1326\n",
      "에포크 1327\n",
      "에포크 1328\n",
      "에포크 1329\n",
      "에포크 1330\n",
      "에포크 1331\n",
      "에포크 1332\n",
      "에포크 1333\n",
      "에포크 1334\n",
      "에포크 1335\n",
      "에포크 1336\n",
      "에포크 1337\n",
      "에포크 1338\n",
      "에포크 1339\n",
      "에포크 1340\n",
      "에포크 1341\n",
      "에포크 1342\n",
      "에포크 1343\n",
      "에포크 1344\n",
      "에포크 1345\n",
      "에포크 1346\n",
      "에포크 1347\n",
      "에포크 1348\n",
      "에포크 1349\n",
      "에포크 1350\n",
      "에포크 1351\n",
      "에포크 1352\n",
      "에포크 1353\n",
      "에포크 1354\n",
      "에포크 1355\n",
      "에포크 1356\n",
      "에포크 1357\n",
      "에포크 1358\n",
      "에포크 1359\n",
      "에포크 1360\n",
      "에포크 1361\n",
      "에포크 1362\n",
      "에포크 1363\n",
      "에포크 1364\n",
      "에포크 1365\n",
      "에포크 1366\n",
      "에포크 1367\n",
      "에포크 1368\n",
      "에포크 1369\n",
      "에포크 1370\n",
      "에포크 1371\n",
      "에포크 1372\n",
      "에포크 1373\n",
      "에포크 1374\n",
      "에포크 1375\n",
      "에포크 1376\n",
      "에포크 1377\n",
      "에포크 1378\n",
      "에포크 1379\n",
      "에포크 1380\n",
      "에포크 1381\n",
      "에포크 1382\n",
      "에포크 1383\n",
      "에포크 1384\n",
      "에포크 1385\n",
      "에포크 1386\n",
      "에포크 1387\n",
      "에포크 1388\n",
      "에포크 1389\n",
      "에포크 1390\n",
      "에포크 1391\n",
      "에포크 1392\n",
      "에포크 1393\n",
      "에포크 1394\n",
      "에포크 1395\n",
      "에포크 1396\n",
      "에포크 1397\n",
      "에포크 1398\n",
      "에포크 1399\n",
      "523: 훈련 손실: [0.8086387, 0.044359867, 0.7642788] | 테스트 손실: [10.684326, 1.0138333, 9.670493]\n",
      "에포크 1400\n",
      "에포크 1401\n",
      "에포크 1402\n",
      "에포크 1403\n",
      "에포크 1404\n",
      "에포크 1405\n",
      "에포크 1406\n",
      "에포크 1407\n",
      "에포크 1408\n",
      "에포크 1409\n",
      "에포크 1410\n",
      "에포크 1411\n",
      "에포크 1412\n",
      "에포크 1413\n",
      "에포크 1414\n",
      "에포크 1415\n",
      "에포크 1416\n",
      "에포크 1417\n",
      "에포크 1418\n",
      "에포크 1419\n",
      "에포크 1420\n",
      "에포크 1421\n",
      "에포크 1422\n",
      "에포크 1423\n",
      "에포크 1424\n",
      "에포크 1425\n",
      "에포크 1426\n",
      "에포크 1427\n",
      "에포크 1428\n",
      "에포크 1429\n",
      "에포크 1430\n",
      "에포크 1431\n",
      "에포크 1432\n",
      "에포크 1433\n",
      "에포크 1434\n",
      "에포크 1435\n",
      "에포크 1436\n",
      "에포크 1437\n",
      "에포크 1438\n",
      "에포크 1439\n",
      "에포크 1440\n",
      "에포크 1441\n",
      "에포크 1442\n",
      "에포크 1443\n",
      "에포크 1444\n",
      "에포크 1445\n",
      "에포크 1446\n",
      "에포크 1447\n",
      "에포크 1448\n",
      "에포크 1449\n",
      "에포크 1450\n",
      "에포크 1451\n",
      "에포크 1452\n",
      "에포크 1453\n",
      "에포크 1454\n",
      "에포크 1455\n",
      "에포크 1456\n",
      "에포크 1457\n",
      "에포크 1458\n",
      "에포크 1459\n",
      "에포크 1460\n",
      "에포크 1461\n",
      "에포크 1462\n",
      "에포크 1463\n",
      "에포크 1464\n",
      "에포크 1465\n",
      "에포크 1466\n",
      "에포크 1467\n",
      "에포크 1468\n",
      "에포크 1469\n",
      "에포크 1470\n",
      "에포크 1471\n",
      "에포크 1472\n",
      "에포크 1473\n",
      "에포크 1474\n",
      "에포크 1475\n",
      "에포크 1476\n",
      "에포크 1477\n",
      "에포크 1478\n",
      "에포크 1479\n",
      "에포크 1480\n",
      "에포크 1481\n",
      "에포크 1482\n",
      "에포크 1483\n",
      "에포크 1484\n",
      "에포크 1485\n",
      "에포크 1486\n",
      "에포크 1487\n",
      "에포크 1488\n",
      "에포크 1489\n",
      "에포크 1490\n",
      "에포크 1491\n",
      "에포크 1492\n",
      "에포크 1493\n",
      "에포크 1494\n",
      "에포크 1495\n",
      "에포크 1496\n",
      "에포크 1497\n",
      "에포크 1498\n",
      "에포크 1499\n",
      "524: 훈련 손실: [0.19912049, 0.05530432, 0.14381617] | 테스트 손실: [10.602738, 1.2024515, 9.400287]\n",
      "에포크 1500\n",
      "에포크 1501\n",
      "에포크 1502\n",
      "에포크 1503\n",
      "에포크 1504\n",
      "에포크 1505\n",
      "에포크 1506\n",
      "에포크 1507\n",
      "에포크 1508\n",
      "에포크 1509\n",
      "에포크 1510\n",
      "에포크 1511\n",
      "에포크 1512\n",
      "에포크 1513\n",
      "에포크 1514\n",
      "에포크 1515\n",
      "에포크 1516\n",
      "에포크 1517\n",
      "에포크 1518\n",
      "에포크 1519\n",
      "에포크 1520\n",
      "에포크 1521\n",
      "에포크 1522\n",
      "에포크 1523\n",
      "에포크 1524\n",
      "에포크 1525\n",
      "에포크 1526\n",
      "에포크 1527\n",
      "에포크 1528\n",
      "에포크 1529\n",
      "에포크 1530\n",
      "에포크 1531\n",
      "에포크 1532\n",
      "에포크 1533\n",
      "에포크 1534\n",
      "에포크 1535\n",
      "에포크 1536\n",
      "에포크 1537\n",
      "에포크 1538\n",
      "에포크 1539\n",
      "에포크 1540\n",
      "에포크 1541\n",
      "에포크 1542\n",
      "에포크 1543\n",
      "에포크 1544\n",
      "에포크 1545\n",
      "에포크 1546\n",
      "에포크 1547\n",
      "에포크 1548\n",
      "에포크 1549\n",
      "에포크 1550\n",
      "에포크 1551\n",
      "에포크 1552\n",
      "에포크 1553\n",
      "에포크 1554\n",
      "에포크 1555\n",
      "에포크 1556\n",
      "에포크 1557\n",
      "에포크 1558\n",
      "에포크 1559\n",
      "에포크 1560\n",
      "에포크 1561\n",
      "에포크 1562\n",
      "에포크 1563\n",
      "에포크 1564\n",
      "에포크 1565\n",
      "에포크 1566\n",
      "에포크 1567\n",
      "에포크 1568\n",
      "에포크 1569\n",
      "에포크 1570\n",
      "에포크 1571\n",
      "에포크 1572\n",
      "에포크 1573\n",
      "에포크 1574\n",
      "에포크 1575\n",
      "에포크 1576\n",
      "에포크 1577\n",
      "에포크 1578\n",
      "에포크 1579\n",
      "에포크 1580\n",
      "에포크 1581\n",
      "에포크 1582\n",
      "에포크 1583\n",
      "에포크 1584\n",
      "에포크 1585\n",
      "에포크 1586\n",
      "에포크 1587\n",
      "에포크 1588\n",
      "에포크 1589\n",
      "에포크 1590\n",
      "에포크 1591\n",
      "에포크 1592\n",
      "에포크 1593\n",
      "에포크 1594\n",
      "에포크 1595\n",
      "에포크 1596\n",
      "에포크 1597\n",
      "에포크 1598\n",
      "에포크 1599\n",
      "524: 훈련 손실: [0.21207565, 0.037083782, 0.17499186] | 테스트 손실: [8.970081, 1.3762037, 7.5938773]\n",
      "에포크 1600\n",
      "에포크 1601\n",
      "에포크 1602\n",
      "에포크 1603\n",
      "에포크 1604\n",
      "에포크 1605\n",
      "에포크 1606\n",
      "에포크 1607\n",
      "에포크 1608\n",
      "에포크 1609\n",
      "에포크 1610\n",
      "에포크 1611\n",
      "에포크 1612\n",
      "에포크 1613\n",
      "에포크 1614\n",
      "에포크 1615\n",
      "에포크 1616\n",
      "에포크 1617\n",
      "에포크 1618\n",
      "에포크 1619\n",
      "에포크 1620\n",
      "에포크 1621\n",
      "에포크 1622\n",
      "에포크 1623\n",
      "에포크 1624\n",
      "에포크 1625\n",
      "에포크 1626\n",
      "에포크 1627\n",
      "에포크 1628\n",
      "에포크 1629\n",
      "에포크 1630\n",
      "에포크 1631\n",
      "에포크 1632\n",
      "에포크 1633\n",
      "에포크 1634\n",
      "에포크 1635\n",
      "에포크 1636\n",
      "에포크 1637\n",
      "에포크 1638\n",
      "에포크 1639\n",
      "에포크 1640\n",
      "에포크 1641\n",
      "에포크 1642\n",
      "에포크 1643\n",
      "에포크 1644\n",
      "에포크 1645\n",
      "에포크 1646\n",
      "에포크 1647\n",
      "에포크 1648\n",
      "에포크 1649\n",
      "에포크 1650\n",
      "에포크 1651\n",
      "에포크 1652\n",
      "에포크 1653\n",
      "에포크 1654\n",
      "에포크 1655\n",
      "에포크 1656\n",
      "에포크 1657\n",
      "에포크 1658\n",
      "에포크 1659\n",
      "에포크 1660\n",
      "에포크 1661\n",
      "에포크 1662\n",
      "에포크 1663\n",
      "에포크 1664\n",
      "에포크 1665\n",
      "에포크 1666\n",
      "에포크 1667\n",
      "에포크 1668\n",
      "에포크 1669\n",
      "에포크 1670\n",
      "에포크 1671\n",
      "에포크 1672\n",
      "에포크 1673\n",
      "에포크 1674\n",
      "에포크 1675\n",
      "에포크 1676\n",
      "에포크 1677\n",
      "에포크 1678\n",
      "에포크 1679\n",
      "에포크 1680\n",
      "에포크 1681\n",
      "에포크 1682\n",
      "에포크 1683\n",
      "에포크 1684\n",
      "에포크 1685\n",
      "에포크 1686\n",
      "에포크 1687\n",
      "에포크 1688\n",
      "에포크 1689\n",
      "에포크 1690\n",
      "에포크 1691\n",
      "에포크 1692\n",
      "에포크 1693\n",
      "에포크 1694\n",
      "에포크 1695\n",
      "에포크 1696\n",
      "에포크 1697\n",
      "에포크 1698\n",
      "에포크 1699\n",
      "524: 훈련 손실: [0.29644454, 0.028116373, 0.26832816] | 테스트 손실: [9.48689, 0.7612719, 8.725618]\n",
      "에포크 1700\n",
      "에포크 1701\n",
      "에포크 1702\n",
      "에포크 1703\n",
      "에포크 1704\n",
      "에포크 1705\n",
      "에포크 1706\n",
      "에포크 1707\n",
      "에포크 1708\n",
      "에포크 1709\n",
      "에포크 1710\n",
      "에포크 1711\n",
      "에포크 1712\n",
      "에포크 1713\n",
      "에포크 1714\n",
      "에포크 1715\n",
      "에포크 1716\n",
      "에포크 1717\n",
      "에포크 1718\n",
      "에포크 1719\n",
      "에포크 1720\n",
      "에포크 1721\n",
      "에포크 1722\n",
      "에포크 1723\n",
      "에포크 1724\n",
      "에포크 1725\n",
      "에포크 1726\n",
      "에포크 1727\n",
      "에포크 1728\n",
      "에포크 1729\n",
      "에포크 1730\n",
      "에포크 1731\n",
      "에포크 1732\n",
      "에포크 1733\n",
      "에포크 1734\n",
      "에포크 1735\n",
      "에포크 1736\n",
      "에포크 1737\n",
      "에포크 1738\n",
      "에포크 1739\n",
      "에포크 1740\n",
      "에포크 1741\n",
      "에포크 1742\n",
      "에포크 1743\n",
      "에포크 1744\n",
      "에포크 1745\n",
      "에포크 1746\n",
      "에포크 1747\n",
      "에포크 1748\n",
      "에포크 1749\n",
      "에포크 1750\n",
      "에포크 1751\n",
      "에포크 1752\n",
      "에포크 1753\n",
      "에포크 1754\n",
      "에포크 1755\n",
      "에포크 1756\n",
      "에포크 1757\n",
      "에포크 1758\n",
      "에포크 1759\n",
      "에포크 1760\n",
      "에포크 1761\n",
      "에포크 1762\n",
      "에포크 1763\n",
      "에포크 1764\n",
      "에포크 1765\n",
      "에포크 1766\n",
      "에포크 1767\n",
      "에포크 1768\n",
      "에포크 1769\n",
      "에포크 1770\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "에포크 1771\n",
      "에포크 1772\n",
      "에포크 1773\n",
      "에포크 1774\n",
      "에포크 1775\n",
      "에포크 1776\n",
      "에포크 1777\n",
      "에포크 1778\n",
      "에포크 1779\n",
      "에포크 1780\n",
      "에포크 1781\n",
      "에포크 1782\n",
      "에포크 1783\n",
      "에포크 1784\n",
      "에포크 1785\n",
      "에포크 1786\n",
      "에포크 1787\n",
      "에포크 1788\n",
      "에포크 1789\n",
      "에포크 1790\n",
      "에포크 1791\n",
      "에포크 1792\n",
      "에포크 1793\n",
      "에포크 1794\n",
      "에포크 1795\n",
      "에포크 1796\n",
      "에포크 1797\n",
      "에포크 1798\n",
      "에포크 1799\n",
      "523: 훈련 손실: [0.14383121, 0.044373415, 0.09945779] | 테스트 손실: [9.0112095, 0.8453905, 8.165819]\n",
      "에포크 1800\n",
      "에포크 1801\n",
      "에포크 1802\n",
      "에포크 1803\n",
      "에포크 1804\n",
      "에포크 1805\n",
      "에포크 1806\n",
      "에포크 1807\n",
      "에포크 1808\n",
      "에포크 1809\n",
      "에포크 1810\n",
      "에포크 1811\n",
      "에포크 1812\n",
      "에포크 1813\n",
      "에포크 1814\n",
      "에포크 1815\n",
      "에포크 1816\n",
      "에포크 1817\n",
      "에포크 1818\n",
      "에포크 1819\n",
      "에포크 1820\n",
      "에포크 1821\n",
      "에포크 1822\n",
      "에포크 1823\n",
      "에포크 1824\n",
      "에포크 1825\n",
      "에포크 1826\n",
      "에포크 1827\n",
      "에포크 1828\n",
      "에포크 1829\n",
      "에포크 1830\n",
      "에포크 1831\n",
      "에포크 1832\n",
      "에포크 1833\n",
      "에포크 1834\n",
      "에포크 1835\n",
      "에포크 1836\n",
      "에포크 1837\n",
      "에포크 1838\n",
      "에포크 1839\n",
      "에포크 1840\n",
      "에포크 1841\n",
      "에포크 1842\n",
      "에포크 1843\n",
      "에포크 1844\n",
      "에포크 1845\n",
      "에포크 1846\n",
      "에포크 1847\n",
      "에포크 1848\n",
      "에포크 1849\n",
      "에포크 1850\n",
      "에포크 1851\n",
      "에포크 1852\n",
      "에포크 1853\n",
      "에포크 1854\n",
      "에포크 1855\n",
      "에포크 1856\n",
      "에포크 1857\n",
      "에포크 1858\n",
      "에포크 1859\n",
      "에포크 1860\n",
      "에포크 1861\n",
      "에포크 1862\n",
      "에포크 1863\n",
      "에포크 1864\n",
      "에포크 1865\n",
      "에포크 1866\n",
      "에포크 1867\n",
      "에포크 1868\n",
      "에포크 1869\n",
      "에포크 1870\n",
      "에포크 1871\n",
      "에포크 1872\n",
      "에포크 1873\n",
      "에포크 1874\n",
      "에포크 1875\n",
      "에포크 1876\n",
      "에포크 1877\n",
      "에포크 1878\n",
      "에포크 1879\n",
      "에포크 1880\n",
      "에포크 1881\n",
      "에포크 1882\n",
      "에포크 1883\n",
      "에포크 1884\n",
      "에포크 1885\n",
      "에포크 1886\n",
      "에포크 1887\n",
      "에포크 1888\n",
      "에포크 1889\n",
      "에포크 1890\n",
      "에포크 1891\n",
      "에포크 1892\n",
      "에포크 1893\n",
      "에포크 1894\n",
      "에포크 1895\n",
      "에포크 1896\n",
      "에포크 1897\n",
      "에포크 1898\n",
      "에포크 1899\n",
      "523: 훈련 손실: [0.20713367, 0.046137977, 0.16099569] | 테스트 손실: [11.193065, 1.037753, 10.155312]\n",
      "에포크 1900\n",
      "에포크 1901\n",
      "에포크 1902\n",
      "에포크 1903\n",
      "에포크 1904\n",
      "에포크 1905\n",
      "에포크 1906\n",
      "에포크 1907\n",
      "에포크 1908\n",
      "에포크 1909\n",
      "에포크 1910\n",
      "에포크 1911\n",
      "에포크 1912\n",
      "에포크 1913\n",
      "에포크 1914\n",
      "에포크 1915\n",
      "에포크 1916\n",
      "에포크 1917\n",
      "에포크 1918\n",
      "에포크 1919\n",
      "에포크 1920\n",
      "에포크 1921\n",
      "에포크 1922\n",
      "에포크 1923\n",
      "에포크 1924\n",
      "에포크 1925\n",
      "에포크 1926\n",
      "에포크 1927\n",
      "에포크 1928\n",
      "에포크 1929\n",
      "에포크 1930\n",
      "에포크 1931\n",
      "에포크 1932\n",
      "에포크 1933\n",
      "에포크 1934\n",
      "에포크 1935\n",
      "에포크 1936\n",
      "에포크 1937\n",
      "에포크 1938\n",
      "에포크 1939\n",
      "에포크 1940\n",
      "에포크 1941\n",
      "에포크 1942\n",
      "에포크 1943\n",
      "에포크 1944\n",
      "에포크 1945\n",
      "에포크 1946\n",
      "에포크 1947\n",
      "에포크 1948\n",
      "에포크 1949\n",
      "에포크 1950\n",
      "에포크 1951\n",
      "에포크 1952\n",
      "에포크 1953\n",
      "에포크 1954\n",
      "에포크 1955\n",
      "에포크 1956\n",
      "에포크 1957\n",
      "에포크 1958\n",
      "에포크 1959\n",
      "에포크 1960\n",
      "에포크 1961\n",
      "에포크 1962\n",
      "에포크 1963\n",
      "에포크 1964\n",
      "에포크 1965\n",
      "에포크 1966\n",
      "에포크 1967\n",
      "에포크 1968\n",
      "에포크 1969\n",
      "에포크 1970\n",
      "에포크 1971\n",
      "에포크 1972\n",
      "에포크 1973\n",
      "에포크 1974\n",
      "에포크 1975\n",
      "에포크 1976\n",
      "에포크 1977\n",
      "에포크 1978\n",
      "에포크 1979\n",
      "에포크 1980\n",
      "에포크 1981\n",
      "에포크 1982\n",
      "에포크 1983\n",
      "에포크 1984\n",
      "에포크 1985\n",
      "에포크 1986\n",
      "에포크 1987\n",
      "에포크 1988\n",
      "에포크 1989\n",
      "에포크 1990\n",
      "에포크 1991\n",
      "에포크 1992\n",
      "에포크 1993\n",
      "에포크 1994\n",
      "에포크 1995\n",
      "에포크 1996\n",
      "에포크 1997\n",
      "에포크 1998\n",
      "에포크 1999\n",
      "522: 훈련 손실: [0.2726937, 0.05144275, 0.22125095] | 테스트 손실: [10.835253, 1.1090877, 9.726165]\n",
      "에포크 2000\n",
      "에포크 2001\n"
     ]
    }
   ],
   "source": [
    "for epoch in range(start_epoch, start_epoch + EPOCHS + 1):\n",
    "    print(\"에포크 {0}\".format(epoch))\n",
    "    \n",
    "    for i, batch in enumerate(training_data()):\n",
    "        \n",
    "        val_batch = next(test_data_gen, None)\n",
    "        \n",
    "        if val_batch is None:\n",
    "            test_data_gen = test_data()\n",
    "            val_batch = next(test_data_gen, None)\n",
    "            \n",
    "        training_loss = total_model.train_on_batch(\n",
    "            [batch['document_tokens'], batch['question_input_tokens'], batch['answer_masks']]\n",
    "            , [np.expand_dims(batch['answer_labels'], axis = -1), np.expand_dims(batch['question_output_tokens'], axis = -1)]\n",
    "        )\n",
    "        \n",
    "        test_loss = total_model.test_on_batch(\n",
    "            [val_batch['document_tokens'], val_batch['question_input_tokens'], val_batch['answer_masks']]\n",
    "            , [np.expand_dims(val_batch['answer_labels'], axis = -1), np.expand_dims(val_batch['question_output_tokens'], axis = -1)]\n",
    "        )\n",
    "        \n",
    "        training_loss_history.append(training_loss)\n",
    "        test_loss_history.append(test_loss)\n",
    "    \n",
    "    if epoch % 100 == 0:\n",
    "        print(\"{}: 훈련 손실: {} | 테스트 손실: {}\".format(i, training_loss, test_loss))    \n",
    "        total_model.save_weights(os.path.join(RUN_FOLDER, 'weights/weights_{}.h5'.format(epoch)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXQAAAD8CAYAAABn919SAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4yLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvOIA7rQAAIABJREFUeJztnXeYFEX6x7+1uyywhF3CksOSBFGiK4KcyhlROfVUzB5GjGc4PQ/D/eQMZ46np3IgKlklGECygIICS84ZliXtArsL7C4b6/dHde/09HSa6e6Z6d738zzzzEx1d9Xb0z1vv/XWW28xzjkIgiAI75MQawEIgiAIZyCFThAE4RNIoRMEQfgEUugEQRA+gRQ6QRCETyCFThAE4RNIoRMEQfgEUugEQRA+gRQ6QRCET0iKZmNNmzblGRkZ0WySIAjC86xateoo5zzdbL+oKvSMjAxkZWVFs0mCIAjPwxjbZ2U/crkQBEH4BFLoBEEQPoEUOkEQhE8ghU4QBOETSKETBEH4BFLoBEEQPoEUOkEQhE8ghU4QBOEWJ48AW36MWnOk0AmCINziq2uBKbcD5aej0pypQmeMfc4Yy2WMbdTY9hRjjDPGmrojHkEQhIfJ3yPeeVVUmrNioX8BYLC6kDHWFsDlALIdlokgCMInsKi2ZqrQOedLABzX2PQegGcAcKeFIgiC8BfRUZMR+dAZY9cCOMA5X+ewPARBEP6BSRY6j45CDzvbImMsBcBzEO4WK/sPBzAcANq1axducwRBEN6lvFi8V5ZFpblILPROADoAWMcY2wugDYDVjLEWWjtzzkdxzjM555np6abpfAmCIPzHqSNRaSZsC51zvgFAM/m7pNQzOedHHZSLIAjCP0TJ5WIlbHESgN8AdGWM5TDG7nVfLCKqnDwCfD4YOJUXa0kIwqfEiQ+dc36ryfYMx6QhYsPK/wHZvwGrxgIXPRNraQjCf8SLhU7UIKJ00xFEjYNFJx6dFDqBwOQHlUIvPQWcOBR1aQjCdyx+MyrNkEIn9GNlx1wGvNst+vIQglN5QFlxrKXwHss+AvYujbUUwWyeEZVmSKET0LXQczdHXRJCwdudgbFXxloK7zH3eeCLq2ItRUwghU5EfTYbEQaH1sZaAsIOdRtHtTlS6ASwabp4P7rdXj0rRwMbvrUvD0EQEUEKnQDytor3w+vt1TPzKWAqTVMgJDZ/B4xMBY7tirUkNQZS6DWdHfMDn6OUs5moIWycJt4PuZTDj3PgxyeBg2vcqd8JSrQS1boHKXQ/UXxcWERrJ1k/ZsINgc+k0AkvUXwcyPocGPdnoLICqCi1V19VJZC93BnZYgQpdD+x9H3xPuNB7e2FB4Dtc/WPL4hwrZITB4FXW0V2bE1j6YfAh33CO2b8Deb71EQSJPVVVQW83AR4pVnoPmXFYrsVFr0OfH45sH+lczJGGVLofsLMwv7fH4GJQ51vd/tsoLzI+Xr9yLx/Asd3h3fMzvnm+9REWKJ4Ly3U3l5eAvy7pfjNrXBEWmWzKNe+bDGCFLqfMAs7tJLCk0IXCa9gNp2+TDIy1k60Vp9sELEI1eLMp4B/t47sWIcIO30uEccYWehWB6bKS4DkFGfkIYiYEmb+lOr/T4R5V1aOjuw4ByEL3U8YKfTPLrRWxw4DHzsgfJIjU4Elb1uXi7BP1thYSxB/FOy3uKOq11lWBPz0j9C0Cvt+E+/5e2yLFitIoXuFk0eA8tPG+1RVapfLN6rMgdXAxFtEZICa+SON25DDsFaOEe+ncoH8vcbHxCMHVgEzHrY+YBZrfnwi1hLEH1/fabxdbwb0sv8Ayz8Ffv9vcHnZSfG+Z4m19jdOBY7usLZvlCCF7jYVZUDeNmv7VlYAleXa2945A3i1OZCzSv94rlDo7/cITOgYOzh4v/HXA9t/AtZPCa3DzDqR/xyyn/HtLsDSD4L3KY5u7G1E/O9iYO0EIG9LrCURcA5s+VH7IetFNk0PTki1cz6wa6GzbWiFKWpOYlIp9CrpN9bt0Rq4XDgHfnhCRMJ8ew/wUaYVSaMGKXQ3KT4OvHsm8HE/EdpnxrtnAq+1Nd5n9MX625Q3aEE2sOJ/2vuV5Iv37x7W3v5yM+CHx43bMBqQGjVIf1skFB5wLz5Y+bBdMz6MbrwFjmyyHgK3fTYw5Xbgp2fEOIZdju6M7QxNdbrY8TeIeHG3kUN3AYWFrrMv5+Iho+6lycftXyEeskrKS8RCMF/+yRFxnYYUupu82QEolpZaXfVFoFy+kdRdwaJcoMLCn3nKHcHft88Vfu2SAtWOEUasVJYGy6tVp5FCL9gXWbt6fNhHxAe7gdzTKDwAfPcI8P7ZztX9yfnAmEtFF35kKlB0TH/fXT+L96wxwKua662Hx0fnAP/pa7+eSFHe2048oMzakAnq4ehkEZXZPEM8ZLLGaG8fc5l4yO5coGxUe984iV0nhR4tFr8R+LxytLiRxlwOrP9a+LRHplqva8sP4r2yHPh6GPDNXeK7nJNFxskQxIoyofAKc6QCpm/FO02lzRmARsgKvcJkfKLoqJh4EonPfebT4v3gav19VnwW/D2c+yEcSvKB7x4NhPS5hbK3qNcTdBuzsEa5N6YeA8pRKefx1wc+cx2D5rtHwhbPDawsEv05YyyXMbZRUfYWY2wrY2w9Y2w6YyzNXTF9hnwD5awApt0vJvyEy8JXRJd+8wyDST0OKvQvrhYuCVmJswQDK95DWI05/u4RYNFrQPay8Ns4ajKGou7W67Ho9fDbVrP4LWDNOPevXVTSSGjd3xplpSeA5YoHpmxxy4OgjAGrxwW2G87XkOtXPyziY/6Glbv5CwCqUTXMA3A257wngO0AnnVYrprNO2eaW2hL3gotU1voK0Y5J1POCvEuR9JEI7Rr60zg59es7198HPi4v/AfW8WqQpct2qKjGq6tCFCGzE253doxi14T94WtZFQOKZ7Jt4s8KgBwaL2YUHPysPPtGFGlMYC8TieP0U+Kxc/VPaVl/wG+fzS4TG/MS89Cj5M8SKZ3M+d8CYDjqrK5nHP51/wdQBsXZPMvZq6Qk6qbSa+bH6WFZ4PgOqGRbjD5NmBxGFbp1h9F1MrS96wfk5BobT/5mn0zDHijvfX6lSgjmE4ciKwOQLjptOBc4RIzwege/Pg8YLaJjbb1R5HpEAB+/wQoOxXsa7ai4DZOAybebL6fHqYzn238P9QulC+GANtmQ9dC94pCt8A9AH5yoB5/UHrSeHtBdvhx22MujVgcR1D++SNN4AWIxFSf/EF83vy9fhRONJl4k8UdHbA4p91vvw6ZyorgAcBNM4B/pQHvnQXkWVioxMgYyNsaGqOtJGS+g4bVakXBfXu3iO5xCzsGj/oc9/4CfP0XaxZ60CBqdLGl0BljzwOoADDBYJ/hjLEsxlhWXl6enebin4NrgNfaBFYA0uL9HsC2mdbqkyMfDhjEnkeDrRblNWPeP4EjG4A3O4lJIbOe1t93+xxn2nSK/StCy3YvBj7oZT2Ko+yUM7Ic2ymyC77cJFD2zbDA50ILD109C91K2ObcF3TqYhplscSGQtebD1Jt0Bgo9PHXAzMeicmcgogVOmPsLgBDANzOuf7V45yP4pxncs4z09PTI23OGxyU1n+UFbEaM+tdzbjr7MnjFFZ9vFaRQzmN0LKcj+8GcreGlqtxQpcsfFX4q+Vbu0rjD/7VNaK3lbcVyMkSVl3pSYvKzIayCTdbYzhYCdsMGcTVOF+nQ1cjQT3hLRy0Br9ZAvDZBeKzugei7rmuHQ+sjH4PNCKFzhgbDOAZANdwzovN9vclJw+HTqmXB4VKjmv/6V6LYKjBKDTQqr/UK5QVGQ9oftgH+O955vWsHR8YdzhxSCjmfSbRKdm/B39fIk2M4dz8QbzkbWD0JcD0B8Q1Xv2luYy8UrhJCiPwpSvlGZkaakAo9eua8WKfj/qF1rNrYWCSmR3kB5hZNA8gZLEyya74eODhvW5KZLOPl6gmN9lxFwLBbpYyC8bZ7BH22osAK2GLkwD8BqArYyyHMXYvgI8ANAAwjzG2ljH2qctyxh+fDAydUi8P4G35IfxFDPQwCi+bfJv58RNvcUaOcLHa5T5xKPB5wk1iQkykKAfJjkuzJPctFe9m/vo9i7XL5z6v/SAee1XgszzAufk78b7NwpDS6EuFm0R9D1lBPRhoFM20brJ4r1a2klI6XSjmQryRoYpOUbBmglDApSpXUYhLR7rWv75n/uAEgL1LzfcZNUg8vI/vBqYPF/52u7zfw1oPT4/y+LddrUS53Mo5b8k5r8U5b8M5H8M578w5b8s57y29dJbI8RinT4hYX7Xv6/ieUAUluw0isbCiyfYYjVfvsjgwVHZKKJSRqcC+X+21ufAVg40GDxijMEC9MLh9CqWkzqNt5WFWekK8u9HLmqCzwtGxXcA6KTe40nqdq7MAhDwhaL9J2gXl+VpxB1kZrJRdNnK+FuWD3w5WengehmaKKpn/ooj1VSYVOrAa+LC3sIJ2zBeK58imwPb3ukdfTi9weINwn5g98FiCGORTYhZHXlYEzP+X8RqSH2UKy9KK8lj6YbBSCndR42qFLodAxsOAoAaf/kHbxbLha9GD0Rv8Vg7Ka7k+lP5kKw+z7N8CPQc1areIMqHXyFT3ZtDawSzEU8Yo9YNDkEJXIk/2UI5wyxNosn8DtkpT7tUWS0VpICaXEMwfKdwn8gNPzxItOhqqBMzcLr+8A/z6rvlsx4JsVLsYjBTNjnkIUsJBueMtPBAObxDv8ozdYztFqoR4YO8vgc9GLoNZT+u78JS/nVaGTuVvpzR29Fg5Wow3qNk+R7hFlIOu1dPw4/QhCRiHeCqx4ne3Ca1YFITWTSMrhCp9paC1OC0RzPs9tcv3LgHa9g+vrl/eEe9mq7yzBEXGPXVcNEP19S47qT9gFkks8/HdPnvAmyhT5f9CPVs5HOSe0aG1gTI5HtyJ2bmxJgqhnGShK9GaNKCXJJ8ID70Zpgtf0Z7CbYVjJosLsAToWtgNWgZ/N/MTh8va8db288J9xatEr+Xbe0K3TRse7KJ0Ysaksg45xt/DCzdXE4W5FaTQZdZOCoSD7VZEPFTn+uAB5e5EqFdNYvZzxtuVCiEcVn+lPwEECLbQlVbmojdC0yvEDA8o9CObhPW8cWroNrULxo5Cl6OE5B4YoB3/71WOu5+fnhQ6ICaFzHgwEBGyTrlKuMJC3yQpngUvRVU8z/P7x8bbzVwnRhi5NqbeAxyVpsFv+UFYk8XHgUX/tl5/sfsDWXHPVoVP2yzNcCS8cybw1XXAkY2h23YvCi2b9oC9eyZmuJ97iXzogBiY00O2EE4XAqd94MeLR+y4HbbNEu/HNbI/HloXHLGyforOoB5hGbM1Z3mVyNMTDicPhtdjWj8ZOOOK8NqIB6KQTI8sdMB4KvpiKU2tMlqAcBYty8wqxceAX98XoaVE7KmqNB/bcAInJhr5EFLogL6FyHn8LCLsZxJr2Tt+/ovOyEHYJ07SyNZUSKED0ByYylkl0pES7mNrwQYivvDAIG/MIJdLdNCy0K2muCUIIoAbg6Z+wak01AaQQgdAVgXhadSZImPJ4Q3+ywLqFFby1NuEFDqgn7+cILxASQSpZd1EXmuUiDqk0CvLtSe2OJXdjSAIIkqQQv/+Me3yoMlFBEEQ8Q8pdFLcBEH4BFLoBEEQPqHmKvSfX4vPZPkEQRARUnMVurz+J0EQhE+wskj054yxXMbYRkVZY8bYPMbYDum9kbtiEgRBEGZYsdC/AKBemnwEgAWc8y4AFkjf45eyokAGuH2/BZLmEwRBRIvGHV1vwlShc86XAFDPXLgWwJfS5y8BXOewXM4y82ng6zuBZf8Bxg722fJgBEF4gnruL1UZqQ+9OedcnnlzGEBzvR0ZY8MZY1mMsay8vLwIm7NJwT7xPvcF8R6FnAoEQRBB7Hc/RYPtQVHOOYdBMhTO+SjOeSbnPDM9Pd1uc85QeiLWEhAEUdO4Y5rrTUSq0I8wxloCgPTugxVcCYIgXKReU9ebiFShfw9gmPR5GIDvnBFHm9dmbcHFby+yUYP7eYgJgiAMicLiH1bCFicB+A1AV8ZYDmPsXgCvA7iMMbYDwKXSd9coLqtEQYmPVv8mCKLmUeW+QjddJJpzfqvOpksclkWXdqfWYUjVJgCXRatJgiAIZ4kHCz0e6FkwH0/yryKvYN+vzglDEAQRCbzS9SY8odCJGBGFiRAEUWOoIoVOxJIHfom1BAThH8jlQkRE/RbO1FO7vjP1EAQRlf8TKXS/8fyRqFgCBEGESas+rjfhGYXO9CejEn98IfC5Vp0wFTrF6BOEX/CGQmfeENMxzrre+r7Xfgxc9HdVYRgPv46DrO9LEERc439NWZIfawnCJ7GW+T6tM4GuVwF97gjdZtVCr5Ma/LAcvgjoNiR4n9R21uoiCCLmeEahR+xymfWMs4I4QZfLTXaw4Aa5fwFw6yTtbS16WpNjRHawQm/VB7hlQvA+Ax+zVpdMm3PD258gCMfwjEK3zNEdwGrFJKQNX8dOFgBo2Ruo3TC4jCUaH2N3UDPBdAJwwLKv3cBeW2o6DnK2PoIgLOM/hf7JQOD7v8ZaigAPLAbOUq3/wUwscCMle8MY4I6poeWDngNuCmM2ba/bxHtLE2veTFaCIOIGC6ZcfGBZrVSWivdju4ClH7glTpiopTc5m8teAjpfAkx7ACg7Gbyt3QAgtXXoMYP+YV2cFwsUilpDlgeXAvuXG9fRsjdw5p+AhS+rNtADgKihpLYFCvfHVARvKPRIrMT/9HVeDqsk1g48WCKhdn2g29VA3bRQhW7FHWP2eym3y5+b9wiUtThbvACgTpp2HYNfB/L3ht82QfiVJp1jrtC943LxUhj6/QuNt1tVercp/P+1UqQPDv8Q8mSHQTrrfLfsrV3efgBQVaGxgRQ64WESLESY6REHxoxHFDpD3Gj0hq2BF0wWaFIntVJe6CteAzLvttZW8+5A5r3ic3I98c4t/A7tz7dWPwB0uBB4eidw5hCdHTTae2aPeO94kfV2CMILMAZ0jjBN93kPOitLBHhEoccRf9sMJNU23icxWbv86neBAQ8DnS8FRhZaa+/KN4UCTe9mXLeSgU8Gu1DMqG+w1qvRAyStnXgYWCWlifV9ZaIwXZoggonQeDzjCuv/a5fwhEKPE9vcOolJwLAfgCc3me9rNgs2MQlIaSwiWG76CmjY0rzOhASgUXtrskaCUsmrHwZG3c6et4Tf1p0zwj+GIOwQSdjwXbP0t7U9Dzj3/sjlCQNPKPTYe6YioMOFQGob6Yt8BqpH03OHxMsKKY2B7tdab1/Psh7ynvU6ADHQE1q5wQEGV6t1BAPVddMU4wcEocNzB52rS/nf6XCR+ZiYGffOBa5+214dFrGl0BljTzLGNjHGNjLGJjHG6jglWEhb8Wins0Tguk/N90trK97rNQsuT04RybSU9H/YGdn0fq/Me8KrJsHCLaKcHdq4g/5+PW4Mr22Ze+dFdhxRc5DHmOzQ6RLglokBC33Ao8DN44DGncyPjYMBUcCGQmeMtQbwGIBMzvnZABIBRNCnttSaO9Xa4Z45wBPrgd56S64qGPgEcPMEEbdtxAt5wOWvOiOfm6itf6XbqMdQca5qOlwY/H3olyL00QpyCKWMWS+jx03W6iWihxd6WXdOA7pcJsa4AODce0W+o7pp4Y0VxRC7LpckAHUZY0kAUgA42O+JgNKT5vtEyoO/Ag8sCXxv11/hUjEhIVFEkZg9xZOSrVnEVrASDeMGjIk/gJIzBosxBSVnXQc0yoisDaNslK0zw3NNuY0yjv+mcbGTQ4v7FjhbX8+b9bdZSTgXKUmqXu6LBWLmtB7t/xBapgw2OP+vQoEro9XM/rtt+pnLGQUi1h6c8wMA3gaQDeAQgELO+VynBFNjyUZfMz7yBp7ZE5xXXE2LHkDLXsZ1tBsgMhbGBSqFftM445vcTt0hqK7WbVMcaleu3uBuaN7dnXTLf3wBOEcj3FQdt/ygakHyexV/Cae65ercQFZI1lgtp02mfVmUnH2D/jY3o5UuVKWPZsx45rRmigzVZLuQyC+Ta5cYH3M07bhcGgG4FkAHAK0A1GOMheRyZYwNZ4xlMcay8vLyIm3M2n5aMxetktJYI694mNwzO37C7DqoYsS7XxNeegA7JFvsXjc/23wfTQzuhyZdtO+XBjrRQUZKSMlFfwc6XRxc9vwR4IkNwWUtVOGi6V0Dn2W3Q4+hofVbHSd47hCQoWFhmqGeIHbr5PDrMKJRBxG2p0VSXZGDyC0SdJLd6S3FWE8RPmv14R8nPnIz7JgylwLYwznP45yXA5gGIGRGC+d8FOc8k3OemZ5uEO/sBMstDFDWFPo/BPxti7N1ts4UCjClaXB5/ebB360+1NLaand/jWjRE6hjYKG2Pke7/Kmt2uVq2Y1Q/6lr1bE2L0Cm08XAkPfFS42VgTdAPCwbauTyMaPffcHfa9UNvw4jtHoAMi17OddeI41Bd7OH8vBFoddZnjwUzvWvbs/C4H6M1hGwo9CzAfRnjKUwxhiASwA4rEECmEa5bHfI29PnTmfqiTWMAQ1bOVtnm0zgxs9D/fzXfmS9jtS2QEPF2INeygE9+pnE8/Kq0GyVwxfp73/Ji2E0rmGlmU0yCzqciVnCysWCBzwqVp2qF8akq3BmAsuc9Weg/yPhH2cVvdz8AAAOVFU6047W9U/TUZ7yA7h+c+Dp7cHbrnpTEq0qeF89ZEu+dipwo9Tb0AtyuH8hMPxn4/pcwo4PfTmAbwGsBrBBqmuUQ3IFY6W7M1GjG+sEwxeLrjWhP9BaJ9V6HU9uBP6mmHDV4QL9fZVuAjl/u+m0bA60HxhcJPcY/vRh6O7qsFEjtO7D2vWBh00yUxpRv1noqlNaboBz7wstC5egeQCqczHL0W+GHJqrh1MLl0fSO9FC/o3l9+Znmewv/V7yebyQBwzVSVfd+hygXlPtbS5ja/SIc/4i57wb5/xszvmdnHMbKQbjBPWfNqWJtT9916vdkSceuDBGqz49sDjw+dqPxbRqs5myLEHfADAb1DZD2T2/9uPA52bdIq+z+3UahRryX/2OtWnl130SWibPEzBaKUs9sBgO91uxRh2KuuIGlr7ZQ+nRLOCxtfLO4i0hCbhrJnD7t8bHyopf9tc7GZHmIPEnkS4GN8RUB6fVqi1AK5bFiwXArROdkyHeOLxevK/+MrZyWKGdgTvC7sBWm0zxxx/6hfZarjLX/td6nVopGkwH6gz+C71v099WpyGQodMjsrLKlR5mM4B5VWBAuO8w7QVarFJl8H98ejvw+DqN9qXfq2mXwMQ3+TfmXAwypzQ2brd2A+CiESLwIY6Jj1gbU0z+iHaXmVNGKnS/RkQS/FuyBK3EmntkBDxijkmTKipOG++ndnVEm6ZdTawmneuU2g4ozLbWRhcLmfjk7rs64sUq6vvJ7uC2llGibsMshDHjAmDvL4Hv148Wi6A0PUN7/7R2QEF2oP2k2qKHwTlQXmJddjVqC72ZwlVSr6nK1aGTcgNQnH8YPYc/Pmt93xjhIQvdJnfNAs57SHubeoQ+OUXEpf99l35IlJM8vl50B+MVowgGmad3AHdMc18WI5TRL1qxxnqW79XvuCNHOBkvAWDwG0ArDWtXPbitt+iIHlb8zkahkH2HAZeODC7rOVTkJzlvuPYx6nBOGcZszhNQPYgiTkIn+8TjMKWIDTyj0G3bwO3PB674t5hyrkaru5XSOHoDG43ai+6gG9w5XbgI7DDwcfFuFBFSv1l4A4x20bIMbxgd+KwVOqnXk4rUktajcUfg7tnAkHfDO67/gyI6wiw6qdPFxnHd8kzaVn3FtVf6++XegzqVsd5Mzqe2A9d8aM+wMUoVES5nq2YJXx3mb6yWwYnB2jOvsV+HQ3hCoXMnXBqci+64esFm9WIUfqPTxSJkzQ5n/Rm47RuRk8YN0iMYVKzbKLRMmUpAc4BM5z6q30y73A7tBwRir/88Sv8aaFmId80SLg09GDNOdCaH9iUmi3aVPZfLXhZ5iGTFft/CgJHzlCq0T25LfNBvzwy10jRS6P10LH4Z9YOntkHv0UhvqKNWImVkoUjgFSd4xIfuALwKHnl+xR+MAWcYREjYpcNFQN5WkVukWffA+IURZl1lOb9HoiJOXO8P7oRb7YFfgMoy7W29bhYvLbRkSm0tXBrNuwNFRyMQxkCRJSWLPEQybc4RLwBo0BzoOAjYvUhRlfyfseOasGihy1E8+XuBHRrzSrTCTo0iW+o1BU4c0N5Hzs5oZUzEQ3hCoTM4kD6XVyLkdPvc4WC6WiJiLn9FTNIIK7eIxfshKK2qOiTVQZday57O1SVjFhvtBu0HBit0+TdLDGMClZoQl0uE1r7WLGAja//WKcCOOdqhrrUbCD+/XnoAj+IJk5UbWRxHd1irRB2W1flS4VuMxZ+GCCYp2XiCkRZyZr+ntunsYBTZIKG1tuvIQrHS1PBF4ckTLh0u1M8v4xgRGEEXPA08tgZIVs22tRrWqDmA7pBC14pBN+pdNWwJnHOX/va0duLe8xGesNANWWkx6Y/ywsd43b8ahd0ZiHqce5/4s+oN5snXOyjs1KIiSW1jPTVypKjTCTuJnTGnhAQxriT/fnJdVgcyH/wFOLgmuCzsSBKV/I07Acd36YRfesImjRqe+DUMXS7LNWbGEbHn8lfEu90BWT0YM86xXbeRyDujnMTit/kCepOEHCFCq7pxx9BkWXbnJ/S5Xbxr9WhIoQfhiV/D0OVCxCfydPNIXFq3TgaucmANxrNvCI5gUTwA1lZ1AjLvNT4+3pe+M7Py7cRYy4c68RAM162hbvMPfwP+sQ9ooPJ3t/+D/x7SNvGEQnfjkh09VYppq3NcqLlmcuJ0OU6eLg8UtOsv/NCRhDp2vdI8q2IkKMIaryt7OXiwTJ0vHADaxscqNLooldndsxVRIA78Y9qdJ97lwVA7itPowdJxUGjZuaprr7UKFgDcPTNymaJBajuXe1GheMaHrnk7leRHXN/9X2VhTXYBBnZuiuYNozghxqf0HCnCzPa+rkhSFi+LfSi5cSz+MWlZaPmw74HCA9GXxynaDxAvpxj6BXB8d2DDJ9iMAAAeBklEQVSxkrQMEYm0xUXfv0yXS8U418hUa7nH45UndWbLuognFLruxKIFLxkf2Os2YJ120qzcEyIxZHmlQ2k9CW9w9vWYUqkRglcnNbw0wPGMnMrWbFFyI5LrBc+gTUgAbh4P7FwANDvTYiUMAA+438JFL3jh9qnmeYVqKN52uWR9rl0uD8pEslQXQXidhq2AZ3PEYsdO0/kS6wunyP8/zdQaqjkAdU2yHSrpcqlYdJ0IwRMWOhDmxKIkacq1Ue5kgrDCPXOA0lOxlkKfdgNCV2gCtMuiTarUU6hVL3TbDf8DxkkRULd9I2bFErbxhELnCGOKxMAnAqPhqSarqBCEGcpp8vFIPOfnvvptYU230VnnVcbNtBI1DE8odBbOqH2DFsB5D4oIBb0FgwmCcJ/kevoLOMtT7uNx4NzDeEKhA2G4XFiiCHMyUebcZ3mQCcJTNO8OPPgrkG51gJWwgq1BUcZYGmPsW8bYVsbYFsaYg3FTAcJKn0sTDQjCG7ToASR6xqb0BHZ/zQ8AzOac38gYSwaQ4oBMIYSlopNUIWk3jtVcsYWR4icIwmdErNAZY6kALgRwFwBwzssA6CSEtk+I+t0+R3vHtqpBLPUKJwRBED7FjsulA4A8AGMZY2sYY6MZYxrxSS6x62ft8nSdRWsJgiB8jh2FngSgL4BPOOd9ABQBGKHeiTE2nDGWxRjLysvLs9Gcim2znKuLIAjCB9hR6DkAcjjny6Xv30Io+CA456M455mc88z09PSIGwuJcinYF7rTndMt10dRLj7ilomBhZEJz/LtqhycKq2ItRieJmKFzjk/DGA/Y6yrVHQJgM2OSKVuy2rO4wgWfKXBUR/Q7Wpg6NhYS0HYYHV2Pp7+Zh1emB79hFZ+wm6Uy18BTJAiXHYD0FjTK4pEYHSTpU4Qsae4VKTpyDtVGmNJvI0thc45XwsgnJV93SUMC50sc4Ig/IZHsi1yJDELyrpeE/eFIQiCiFM8MU3rvBzhH+XlJWC16oYuQnvfAqC8hHK3EARRo/GEQq+mrAioVReY9ffg8jbx4/UhCCJ8eCQDYEQInnC5hODASt80GEoQ8UdYmVWJEDyl0Kt1sDpfiw1ocJQgCL/gKYWee1JaRzBB4SlKtrcyC1nqBEH4BU8p9MoqSfnuWhgovGxkRHWRZU4QhN/wlELXNKbTMqItBkEQDkMdZWfwlEInCMLfUMfZHh5T6BqP8QhvAPKdEwThNzyl0DVVcMaFtuokXzpBEH7BWwpdS6MnJUddDoIgiHjEEwq9jCcCABZvywUqnc2XTK4Xgog99C90Bk8o9Jcr7gQAHC4sAXilI3WSqyX+uOzdxbjwTZ2lBQmCMMUTCp1LI59TVu4PnlR0+Ssxkohwgx25p5B9vDjWYhCEZ/GEQr8jcT4AoAU7FpzHJf3MiOskVwtBEH7DEwq9W8J+AEA7lhscqJqQaLtucr0QRPzwy46jKKJ1RSPGEwp9euVAAMBe3iI41CXjghhJRBCEW6zbXxBrETyLJxT6z5W9AQAlqA38/t/AhkRvpXMnBHknS8nlRQRB94Mz2FbojLFExtgaxtiPTgikhTwomoAqYM5zbjVDRIF9x4pw7qvzMWrJ7liLQhC+wwkL/XEAWxyoR5dKScxEWF8E2ipkGUSX/cdLAABLduTFWBKC8B+2FDpjrA2AqwGMdkYcbWSFnkDTDwiCcIAbP1mGoZ8ui7UYjmPXCf0+gGcA2FtlwgTZ5eKGhU5RLgRR88jalx9rEVwhYgudMTYEQC7nfJXJfsMZY1mMsay8vMi62QEL3XmFThBE7KG+tzPYcbkMBHANY2wvgMkALmaMjVfvxDkfxTnP5JxnpqenR9SQbKGfn7ApUNjsrIjqImILre4u4JxjfQ6F5xHOErFC55w/yzlvwznPAHALgIWc8zsck0zBo0kzAADP1poUKGzZy42miChR01d3/2ZVDq75aCnmbDoca1EIH+GJOPS+CTtDC1v3jb4gBOEQO46cBCDCOAnCKRxR6JzzRZzzIU7UpcXPlRrWePuBjtRNYYsEQfgFT1joJXVbhBY27x59QQjCIciOUOGj3yMnvxj3frESxWXRz0njCYXeuUkd1+qmsMXoQopMIP8MNX0swY+8OXsbFmzNxbzNR6LeticUetOW7WItAuEw9BwV0O9AOIknFDpLqh1c0KBVbAQhCIegngrhBp5Q6Kitmoh6wd9iIwdBOATF4xNu4AmFXtllcHAB5UEnfAKN4QjoAecMnlDoTZNOBxekd42NIIRt6G8rIJcL4QaeUOghkFVD+AS6kwkn8YZCJ4ucIAjCFG8o9Fp1Yy0BQTiKPEOZOpuEk3hDoROETyF9LqAxBWfwnEJ/t/zGWItA2IBy5wjoVyDcwO6KRVEj4/TE6s93F5WhUb1kW/XRHyq21PRwPfm5VtN/B8JZPGehA8DYpXtiLQJBOALpc8JJPKPQe7ROrf784UKN/OhhQv8jgnCO/KIyTFmZHWsxajyeUeh926XFWgSCcAx5ZqRfDIvHJq/BP6ZuwM7cU7EWpUbjGYXeKo1CF/0AjV0IqseGfeJzyTtZCgAorwxeyP1AQQkyRszELzuMF4insXJn8IxC/2O3Zq7WzznHc9M3YO1+Wrg3GvhDjREygUHe4PJV+/IBAFNW7o+yRDUTzyj0erXdDcg5VVqBicuzccfo5a62QxCA/3oqVfJEKdWjOjCBih7h0SBihc4Ya8sY+5kxtpkxtokx9riTgqlp2TB41aIKVdcuXPT+UBQnTUSDaos2tmI4jlpvy+eZ4OETLSwuR1mFPX0TLexY6BUAnuKcdwfQH8AjjDHXFvpMUN0RL36/ydH6ZQuC1DkRTfxiuAaW1AsmYLl7l14vzcX9X2XFWgxLRKzQOeeHOOerpc8nAWwB0NopwcyYsNxeiJT6BpO/u2mgl1ZU4nR5pXsNeAF6Ykr464fQy01jdQJVvP8ai7cbD+rGC4740BljGQD6AAhxQDPGhjPGshhjWXl5sflRyiur8M8ZG5F74rTuPtGwlAa9tQjd/jnb/YY8QLQt08KScpRWxM/DNOBycf+HOF5UhkvfXYw9R4tcayOgkJlmuV96IvGObYXOGKsPYCqAJzjnJ9TbOeejOOeZnPPM9PR0u80FoQ6R0mPxtjyM+30fnpu+0XRfN1dOOVSo/0Ah3KXXv+biL2NWxFqMEKKh6GZvPIyduafw2eJd7jWiE+WiN1hKuIMthc4YqwWhzCdwzqc5I5I+4+7tF/T9ozBnjFYZ+FPkG47GRP3L8j3HYy1CNdG8z2Ql62abulXrKHrCHexEuTAAYwBs4Zy/65xI+gzs1DTo+wcLdlg6LkE6S2UEi/oGrL7pIxWOICIgGnquenzIxbub6wx+ym16OcrFS9ix0AcCuBPAxYyxtdLrKofk0kQd6WIV2fqu0rifQ2okje4qtBiwIJq/QzSs44CvPLixKotjBRQu7AwRz9bhnP+KOIhGKi6rQEqy8WnI95ihyyXmZ+Jvlu48inU5BejWogGAOLhxHKS4rALlFRypKbUsH6M3s9JNXHW56MTVx+I8azKemSmqR/f/m2O6TwLT94+ri8iCtMfhwtM4dqo0pPz20cvx5uxtMZDIfS55ZzF6vTQ3omOjMVhYPT7kYhvVycbUYYvV5aTRo4HnFPrVPVuGlJ04XW54TMA/rhdcFYB6fvbo/9oCnPPK/FiLEVXiPnopGoOiOq6VKrLQo4rnFPq7N/UKKXv663WGxxhZ6Gr8pM8Li8txvKgs1mIQGlTfZ1FQdNEZFJXa0vG50KBodPCcQq+dlBhSNnfzEcNBFS0fek3I5dLrpbno+/K8WIuhyb5jxfjXD5tQpTVSXQMIN5fL4cLTWBFh2CWLYQiX5UHRKMhSE/CcQtejw7OzAIjp9ZUqJSFb6JaiXAhXkRXZ7qNFGLt0L7YdOel4G1sOncDF7yxCYYmxK85LXPH+Etz02W8RHRuw0N1Df+q/djnhDp5U6Cufv1Sz/NqPfkXXF2bjofGrgsoDeVrMb2myFKKLnT/66ux8TZfSB/N3YHdeEZbuPGpDMncJd7DQzsMpMLHIRZdLdVvaU/8TVOW7806huKzCNXlqKp5U6OkNamuWr8spBCBcMDK/7jiK7ZIVaMmHThrdM1z/32W48dNlIeWesAajmD5X/j1mrD3oWht6LiS5V1ymStNx8TuLY5bBMGtv/MwYdhpPKnQr9HlpLnLyi3HHmOX453ci1a5WHDrp79hidw3K3Xn6Cafo4SxQ+q9zT7oTkaMbtihdhIka2VGX7jzmiixmbDkUknLKN3hWoW8Yebnh9vzicnynskiKywLZ9rxgxNUETp3W73aP/30fPrSY3kGJVphqOMjrY7pJNJ81SiXr9kMu0rh6M7nWZOfjUGFJRHWHYKELp5WZ8+6xK/DThkPOyOASnlXoDeqYz8p7a07wRJath0+ipKwSI6auR36x9wfMpq7KcSwlKucchwtPI2PETIz5dY8jdWq3E/zdKMjlhRkb8e687SHlJWWVyBgxU/c4I6UyY80BQ/lmrj+Ec1+dj+W77VuPczcdxkqd7n2sBgsZs+eP10MvbLG80pknyJ//uwwXvbUoqOx0ubgP5HVLrWIWQpl9rBhdX5iNr1XroP68LQ8PTVite9yeo0WYvTGg8J0693DwrEIHgBmPDAz7mNd+2oLJK/ejRFpowujanvvqfIz7fR8458iPw3jup75ZhyEf/uJIXaOW7Eb/1xYAACb8vs+ROq1QadFkrKri1RPIDhQUWzpGq+onpqw1PGbFHqHINzvQLR8+bhWGfmocmRINha4cqJy4PBu9/jUXA19fiMcmrbFVL+e8OqJMa8WiH9YdxBuzt9pqQ4l6GbhvVuUAAG74JHQcxQj1AK0aecxt9qbDYdX7x7cX4cHxAYX/9DfG82PcwNMKvXfbtLCP+eq3YGV1qPC0bix03slS/HPGRkxeuR99Xp6HbYedD7GzS1GZtUUbDhSUGMo/U9mVdFHJlKr+lBlNUiwd9+acbeg5ci4KS8pDFHXIeVmUv6A49CEt3wqJCjNu1b5809nIRmw8UBhSpjdAuSvvVFhtjf99H+aYKB7lz/HzNrHIzIGCEny/zt4g6QcLdqDTc7Nw8nR5wHWmaOynjfbdE3knS3V7Yyci7GmY3R6ByBxg4dYjhvtqYfd3tYOnFToATH1ogK3jb/hkGTo+Nyvo6T9rwyEsUSw5NU+KmtmdZ30Ab/H2PNP9Jy7Pxq87zEPrnp223tDF0HPkHFz+3mLDOga+vhBXvL9Ed7tywNjohuecY+b6Q3hw3KqIltN7ZGJwlzUlOXSimJp9x4rwqbQ4Q0FxWYibRu+8/jppDaavydGtt/dL87D/eDEKFe636gUZJCuutKISN3yyDPd+sdJUTj2G/OdX3W1q99Al7yzG0E/0rfrbR/+O7GOih/Lj+oN4YcZGPDBule7+QHAvINHg4q7JzsfT36yzHN44/ncx0Hnfl1mKHm+ggbIK+y6H2Q48FNSY9YqU98Da7ALH23cTzyv0c9o3xq5/X4UPbultq54eIwPJlR6esBp/+Tywus3CrbkAgIcmrMbKvceRMWImvl2Vg9tH/44KKRyLcx70Rxj2+Qpc/M5ibMgpDBnMeXbaepRWVOK56Rtwx5iQVftCmLQi2JdXXFYRNHnqxOkKbD+i//A4YrD0nszGAwEXQ2lFFSYs34eMETOx/3iwe+PH9YfwyMTVmL3pcNBDL1KqOLAz17jno/SdVlRxw6yZQPADabLqt1Nz3cdLgxJryT+rbKDLTa3cm4+/TlpT/RD7bu0BHCgowSxFz+bJKWstPeTMfNhGk62W7jyG9+aLcQVlhBDnXDdiSKlkV2soKM45qqo4bvz0N3y7KgdLdhzF0E+XhQwM5p48jYvfWYTv1x1ExoiZOColYdNbOGT+lvCtWyA4N47a9VVQXIaqKuHq6dVG9NCTpIv13rzt+OcM7VXJDheerr6XrabyDaejWlQaHzH1EafPjScSExiu7d0aF3ZJRx+Xp7rLPlHZP9b5+Z8M9//TR8I6G6JIKjZpxf4gJf3ztlyc3SoV6Q1qo7SiEv/9eRc+WLAD7wzthfM7N6ne7605W1FQXI4Jy7Orb2Il5ZVVeG/edjw0qFPQoPF5/15Q/XnjgUIkJTJ0a9EQBwtKkJZSKyT9cE5+CZ6XluvbeKCw2k3SuVl9ZCsU/M68U9g8fzvenx8aiXLW/83GqL9kYmDnpoahifLv+fK1Z+nuo2Rn7im0TqurUX4S+cXlOKtVQ/y4PqBkExjDhpxQl4fMMdXYyOJt4uH9/PSNWLrzKD64pU/1th/WHcSQni1x2ZnN8fjkUF/89DUH0K9DYzw7bQMuPbNZ0LaMETOx9/WrASDoYRyJDz05UdhhSlehPFN62sPno2+7RgBEj7KgpNy0DflYmeenb0BOfgmu+3gZ+ndsjBf/JK7N92sPYndekaHv/dxX52Pv61dXK3st9moO5AfOZcLyfbjhnDYAQicq9X4p8P+e+tD5AMRDftW+/OoFb16+7uygY+ZvPoL7pJj3va9fja0KF11BcRl2Hy1Cn7Zp1W0pB3hH/bJb9zyU/OGNhZrlf/9mHYb0aoUGdZKqr4ubsGjmLsnMzORZWe5PJrjni5XVVnVN5dkru+G1n/QHpK48uwV+2hjeoA8ANK6XHFbCrx2vXokuJg89Lb68px+GfR7+GqBnNK9v2FvRY9ZjF6Bbiwbo+Fywcnt7aK+gwa3r+7bGmzf0NH2Qa3FBl6b4x+BuSGAMV0mD2R/c0hvtGqdg3f4CdGneALePDvTYJg/vj3mbj6Br8wZ4Zur66vJ+GY1RUFKG9Aa1Q2K5HxrUCQ8N6oSGdWpVu+lap9XFgQLtkL8RV3bD6wb3CQA8cFFHPHRRJ3y39iBe/H6TpXP9/K5M3POF9n+9W4sG1UpVfsjN3ngoaEDRDhPvPw/nK1Y3M3JXKpn60ADcoHB3JScmhEyIknl4UCc8OKgT6iQlIjkpwVIb8rlGAmNsFec803Q/Pyp0QHSbTpdXYcbaA3h22oaotEkQBKHH1pcHo04t8zEjLawqdF+4XLRgjKFuciJu7dcOt/ZrB845lu48hi9/24vck6VYt99bgx0EQXibb7L2484BGa62YctCZ4wNBvABgEQAoznnrxvtH00L3QqnSitQJymh2gen7O4SBEE4TaRuF9ctdMZYIoCPAVwGIAfASsbY95zzzZHWGW3q1xann5QIDOzcVPPHPl1eiYoqjtLySjRKScb+/GIcOVEKxoBGKbUwYXk2TpRUoKS8AmuzC3Aw3levIQjCt9hxufQDsJNzvhsAGGOTAVwLwDMK3Qqyz0tW/u2b1EP7JvWqt8sRAFbJyS9G84Z1UCsxAZxzFBSXI6V2IvYdK0artLrV7QAiTKxhnVpISmCo5BzFpZU4cVrkqLmlX1tkHyvG/vxinN+pKbYdPomBnZvi5OlyFBSXIye/BNuOnMTLP4rL8f7NvZFatxYSEhiGfb4CH93WB80a1MHa/fnYe6wYx0+VYdH2XJwuF4NAl3dvjhV7j6PABykSCCIeWPt/l7neRsQuF8bYjQAGc87vk77fCeA8zvmjesfEm8uFiC4Tl2fjvI6N0Sm9PgAxC7CyiqNFap3qfTjnQaFqY5fuwVU9WqJ5wzpBdRWWlOPnrblIS6mFi85I18wrXlXFUV5VhdpJiais4lifU4AFW3JxXZ/WyD5ehB6t03RTMWtRVcXBmBif4ZzjxOkK1K+dhNKKSqQkJ2H7kZNoWKcWGtZNwtr9BejfoQnu+yoLndLr4c7+GWBMxGbfPbADyiqqsPXwCfRsE5jtLMewr9x7HN1aNESDOkkoKq1AWkpy9czV8soqlFZUBT34P128C20bpSC9QW10bdEAqXVrVf+Wq7Pz0SqtLtLr10bn539CRpMUNKlfG+0ap+C163ugTq1EHD1VirfnbEPvtmnIzGiEzs0a4O6xK3BG8wbVIbBy+8t2HsXU1Qfw0KBO2H+8GD3apKJJvWRsPHAC09bkoLSiCn8Z0B5nNGuAiiqORdtyMXzcKvzfkO64+dy2SElO1LxWFZVV2HzoBF6YsRGDz26BRinJaN6wNrq1aIhvV+VU5/R58U/dMTSzLfYeLUJaSi38tOEwXp21BWOGZaJ/xyb4ffcxXNytGRhjOFRYgpapdcE5x+2jl2PZrmO4tV87dG1eH5sOnsCferXChWek41BhCeZtPoKzWqWiZWod5OSXoG3jusg9UYpebdPw0cIdeHvudjzyx074atk+jLiqG27r1676POQwzIOFJbjtf8Jt+/cruuKtOdvwxKVdcEPfNmiVVjdo9nG4uB7lYlWhM8aGAxgOAO3atTtn377o5QkhCILwA1YVup2ZogcAtFV8byOVBcE5H8U5z+ScZ6anp9tojiAIgjDCjkJfCaALY6wDYywZwC0AvndGLIIgCCJcIh4U5ZxXMMYeBTAHImzxc865tWlkBEEQhOPYmljEOZ8FYJbpjgRBEITreD7bIkEQBCEghU4QBOETSKETBEH4BFLoBEEQPiGq6XMZY3kAIp1Z1BSA+Xpt3ofO01/QefqLWJ1ne8656USeqCp0OzDGsqzMlPI6dJ7+gs7TX8T7eZLLhSAIwieQQicIgvAJXlLoo2ItQJSg8/QXdJ7+Iq7P0zM+dIIgCMIYL1noBEEQhAGeUOiMscGMsW2MsZ2MsRGxlkcLxlhbxtjPjLHNjLFNjLHHpfLGjLF5jLEd0nsjqZwxxj6Uzmk9Y6yvoq5h0v47GGPDFOXnMMY2SMd8yKQM+3ptuHy+iYyxNYyxH6XvHRhjyyXZpkgZOMEYqy193yltz1DU8axUvo0xdoWiXPN667Xh4jmmMca+ZYxtZYxtYYwN8OP1ZIw9Kd2zGxljkxhjdfxwPRljnzPGchljGxVlMbt+Rm04Buc8rl8QmRx3AegIIBnAOgDdYy2XhpwtAfSVPjcAsB1AdwBvAhghlY8A8Ib0+SoAPwFgAPoDWC6VNwawW3pvJH1uJG1bIe3LpGOvlMo123D5fP8GYCKAH6XvXwO4Rfr8KYCHpM8PA/hU+nwLgCnS5+7StawNoIN0jRONrrdeGy6e45cA7pM+JwNI89v1BNAawB4AdRW/8V1+uJ4ALgTQF8BGRVnMrp9eG46es5t/CIcuygAAcxTfnwXwbKzlsiD3dxALaG8D0FIqawlgm/T5MwC3KvbfJm2/FcBnivLPpLKWALYqyqv302vDxXNrA2ABgIsB/CjdoEcBJKmvGUR65QHS5yRpP6a+jvJ+etfbqA2XzjEVQtExVbmvrieEQt8vKawk6Xpe4ZfrCSADwQo9ZtdPrw0nz9cLLhf5hpPJkcriFqkb2gfAcgDNOeeHpE2HATSXPuudl1F5jkY5DNpwi/cBPAOgSvreBEAB57xCQ7bq85G2F0r7h3v+Rm24QQcAeQDGMuFaGs0YqwefXU/O+QEAbwPIBnAI4vqsgv+up0wsr5/ruswLCt1TMMbqA5gK4AnO+QnlNi4ey66GFbndBmNsCIBczvkqt9qIE5IguuufcM77ACiC6D5X45Pr2QjAtRAPsFYA6gEY7FZ78YQfrp8aLyh0S2uXxgOMsVoQynwC53yaVHyEMdZS2t4SQK5UrndeRuVtNMqN2nCDgQCuYYztBTAZwu3yAYA0xpi8YIpSturzkbanAjiG8M//mEEbbpADIIdzvlz6/i2Egvfb9bwUwB7OeR7nvBzANIhr7LfrKRPL6+e6LvOCQvfE2qXSCPcYAFs45+8qNn0PQB4ZHwbhW5fL/yKNfPcHUCh10+YAuJwx1kiyni6H8C0eAnCCMdZfausvqrq02nAczvmznPM2nPMMiGuxkHN+O4CfAdyoc56ybDdK+3Op/BYpaqIDgC4Qg0ya11s6Rq8NN87zMID9jLGuUtElADbDZ9cTwtXSnzGWIskhn6evrqeCWF4/vTacw+lBCDdeEKPD2yFGy5+PtTw6Mv4Bomu1HsBa6XUVhK9wAYAdAOYDaCztzwB8LJ3TBgCZirruAbBTet2tKM8EsFE65iMEJoZpthGFcx6EQJRLR4g/8E4A3wCoLZXXkb7vlLZ3VBz/vHQu2yBFCBhdb702XDy/3gCypGs6AyLKwXfXE8C/AGyVZBkHEani+esJYBLEuEA5RI/r3lheP6M2nHrRTFGCIAif4AWXC0EQBGEBUugEQRA+gRQ6QRCETyCFThAE4RNIoRMEQfgEUugEQRA+gRQ6QRCETyCFThAE4RP+H+1N9atuk9c+AAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "#### 손실 그래프 ####\n",
    "\n",
    "plt.plot(np.array(training_loss_history)[:,0])\n",
    "plt.plot(np.array(test_loss_history)[:,0])\n",
    "plt.show()\n",
    "        \n",
    "pkl.dump([training_loss_history, test_loss_history], open(os.path.join(RUN_FOLDER, 'weights/histories.pkl'), 'wb'))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}