Seminar3_TensorFlow.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Перед началом работы"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. инструкция по установке\n",
    "\n",
    "https://www.tensorflow.org/install/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Полезные ссылки:\n",
    "\n",
    "https://web.stanford.edu/class/cs20si/syllabus.html\n",
    "\n",
    "https://www.tensorflow.org/programmers_guide/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Приступим"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import tensorflow as tf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "попробуем сложить два числа"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "a = tf.add(1,2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "и посмотрим результат"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "print (a)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "в результате мы получам не число, а ссылку на узел в графе вычеслений"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Все переменные вычисляются в сессии - и только в том случае, если вы указали, что хотите посчитать их. До вычисления переменных только граф вычислений. Промежуточные результаты не вычисляются"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "sess = tf.Session()\n",
    "a_res = sess.run(a)\n",
    "sess.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "посмотрим вычесленное значение узла графа"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "print (a_res)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "не пишите так!! вы заменяете ссылку на узел графа вычислений на число."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "with tf.Session() as sess:\n",
    "    a = sess.run(a)\n",
    "#     a_res = sess.run(a)\n",
    "    print (a)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Построим более сложный граф вычислений и посмотрим на него в TensorBoard"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# TensorBoard"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "в TensorFlow по умолчанию используется дефолтный граф вычислений. Добавим в его более сложный подграф и сохраним его содержимое в папку ./graphs."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "x = 2\n",
    "y = 3\n",
    "add_op = tf.add(x, y)\n",
    "mul_op = tf.multiply(x, y)\n",
    "useless = tf.multiply(x, add_op)\n",
    "pow_op = tf.pow(add_op, mul_op)\n",
    "\n",
    "writer = tf.summary.FileWriter('./graphs', tf.get_default_graph())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Посмотрим с помощью следующей команды, запущенной из консоли: \n",
    "\n",
    "tensorboard --logdir=\"./graphs\" --port 6006\n",
    "\n",
    "Далее открываем localhost:6006\n",
    "\n",
    "И смотрим:)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Можно заметить, что названия вершин генерируются автоматически исходя из типов операций в этой вершине. Для лучшей читаемости графа лучше называть переменные самому. В примеру именеим слоя: input, conv, linear и т.п."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "a = tf.constant(2, name='a')\n",
    "b = tf.constant(3, name='b')\n",
    "x = tf.add(a, b, name='add')\n",
    "\n",
    "x = tf.constant(2, name='input_word')\n",
    "y = tf.constant(2, name='input_char')\n",
    "add_op = tf.add(x, y)\n",
    "mul_op = tf.multiply(x, y)\n",
    "useless = tf.multiply(x, add_op)\n",
    "pow_op = tf.pow(add_op, mul_op, name='output')\n",
    "\n",
    "writer = tf.summary.FileWriter('./graphs', tf.get_default_graph())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Variables\n",
    "\n",
    "\n",
    "В TensorFlow вы имеете дело со следующими типами переменных"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "a = tf.constant([1, 2], name='a')\n",
    "b = tf.constant([[0, 1], [2, 3]], name='b')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "s = tf.Variable(2, name=\"scalar\")\n",
    "m = tf.Variable([[0, 1], [2, 3]], name=\"matrix\") \n",
    "W = tf.Variable(tf.zeros([784,10]))\n",
    "W_constant = tf.Variable(tf.zeros([784,10]), trainable=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для создания изменяемых переменных используйте get_variable. Она имеет доступ в пространству имен и не позволит созвать вам уже существующую переменную с таким именем."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "s = tf.get_variable(\"scalar\", initializer=tf.constant(2))\n",
    "m = tf.get_variable(\"matrix\", initializer=tf.constant([[0, 1], [2, 3]]))\n",
    "W = tf.get_variable(\"big_matrix\", shape=(784, 10), initializer=tf.zeros_initializer())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "tf.Variable - это класс со множеством доступных операций"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "x = tf.Variable(...) \n",
    "\n",
    "x.initializer # init op\n",
    "\n",
    "x.value() # read op\n",
    "\n",
    "x.assign(...) # write op\n",
    "\n",
    "x.assign_add(...) # and more"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Перед вычислением нужно инициализировать переменные заданными значениями"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "with tf.Session() as sess:\n",
    "    print(sess.run(W))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Можно это сделать любым из трех приведённых ниже способов"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "with tf.Session() as sess:\n",
    "    sess.run(tf.global_variables_initializer())\n",
    "    print(sess.run(W))\n",
    "    \n",
    "# with tf.Session() as sess:\n",
    "#     sess.run(tf.variables_initializer([a, b]))\n",
    "    \n",
    "# W = tf.Variable(tf.zeros([784,10]))\n",
    "# with tf.Session() as sess:\n",
    "#     sess.run(W.initializer)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вычилить значение переменной можно с помощью функции eval"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "W = tf.Variable(tf.zeros([784,10]))\n",
    "with tf.Session() as sess:\n",
    "    sess.run(W.initializer)\n",
    "    print(W)\n",
    "    print (W.eval())\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Также следите, какие именно узлы графа вы исполняете"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "s = tf.Variable(2, name=\"scalar\")\n",
    "s.assign(100)\n",
    "with tf.Session() as sess:\n",
    "    sess.run(s.initializer)\n",
    "    print(s.eval())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "s = tf.Variable(2, name=\"scalar\")\n",
    "s_op = s.assign(100)\n",
    "with tf.Session() as sess:\n",
    "    sess.run(s.initializer)\n",
    "    sess.run(s_op)\n",
    "    print(s.eval())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Placeholder"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "При обучении мы каждый раз подаем новые значения входных данных и меток классов. Существует специальная переменная, в которую можно подавать на вход данные, которую не нужно инициализировать."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# create a placeholder for a vector of 3 elements, type tf.float32\n",
    "a = tf.placeholder(tf.float32, shape=[3])\n",
    "\n",
    "b = tf.constant([5, 5, 5], tf.float32)\n",
    "\n",
    "# use the placeholder as you would a constant or a variable\n",
    "c = a + b  # short for tf.add(a, b)\n",
    "\n",
    "# with tf.Session() as sess:\n",
    "#     print(sess.run(c))\n",
    "    \n",
    "    \n",
    "with tf.Session() as sess:\n",
    "    print(sess.run(c, {a: [2, 2, 3]}))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# IF"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "if в при создании графа вычислений должен зависеть от параметров, не меняющихся в процессе вычисления графа."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Lazy loading"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Выночите все в специальные узлы графа"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "x = tf.Variable(10, name='x')\n",
    "y = tf.Variable(20, name='y')\n",
    "z = tf.add(x, y)\n",
    "\n",
    "writer = tf.summary.FileWriter('./graphs/normal_loading', tf.get_default_graph())\n",
    "with tf.Session() as sess:\n",
    "    sess.run(tf.global_variables_initializer())\n",
    "    for _ in range(10):\n",
    "        sess.run(z)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Не делайте следующим образом (пример ниже). Не вычисляйте опериции - всегда вычисляйте узел графа. Или вы будете каджый раз делать новую инициализациию этой операции. Узел графа же инициализируется только один раз."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "x = tf.Variable(10, name='x')\n",
    "y = tf.Variable(20, name='y')\n",
    "\n",
    "writer = tf.summary.FileWriter('./graphs/normal_loading', tf.get_default_graph())\n",
    "with tf.Session() as sess:\n",
    "    sess.run(tf.global_variables_initializer())\n",
    "    for _ in range(10):\n",
    "        sess.run(tf.add(x, y))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python (whatever you want to call it)",
   "language": "python",
   "name": "tensorflow"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.4.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}