A_Preliminares/Cuadernos/ds_Roles_Data_science.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<figure>\n",
    "<img src=\"../Imagenes/logo-final-ap.png\"  width=\"80\" height=\"80\" align=\"left\"/> \n",
    "</figure>\n",
    "\n",
    "# <span style=\"color:blue\"><left>Aprendizaje Profundo</left></span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# <span style=\"color:red\"><center>La ciencia de datos en la práctica</center></span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "\n",
    "<figure>\n",
    "<center>\n",
    "<img src=\"../Imagenes/PCA_analysis_for_climate_data.gif\" width=\"800\" height=\"400\" align=\"center\"/>\n",
    "</center>\n",
    "</figure>\n",
    "\n",
    "Fuente: <a href=\"https://commons.wikimedia.org/wiki/File:PCA_analysis_for_climate_data.gif\">Orlovma</a>, <a href=\"https://creativecommons.org/licenses/by/4.0\">CC BY 4.0</a>, via Wikimedia Commons"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##   <span style=\"color:blue\">Autores</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. Alvaro Mauricio Montenegro Díaz, ammontenegrod@unal.edu.co\n",
    "2. Daniel Mauricio Montenegro Reyes, dextronomo@gmail.com "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##   <span style=\"color:blue\">Asesora Medios y Marketing digital</span>\n",
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "4. Maria del Pilar Montenegro, pmontenegro88@gmail.com "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Referencias</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. [Alvaro Montenegro y Daniel Montenegro, Inteligencia Artificial y Aprendizaje Profundo, 2021](https://github.com/AprendizajeProfundo/Diplomado)\n",
    "1. [Maxim Lapan, Deep Reinforcement Learning Hands-On: Apply modern RL methods to practical problems of chatbots, robotics, discrete optimization, web automation, and more, 2nd Edition, 2020](http://library.lol/main/F4D1A90C476A576238E8FE1F47602C67)\n",
    "1. [Richard S. Sutton, Andrew G. Barto, Reinforcement learning: an introduction, 2nd edition, 2020](http://library.lol/main/6502B74CE247C4CD4D4FB54747AD7C7E)\n",
    "1. [Praveen Palanisamy - Hands-On Intelligent Agents with OpenAI Gym_ Your Guide to Developing AI Agents Using Deep Reinforcement Learning, 2020](http://library.lol/main/E4FD128CF9B93E0F7A542B053330517A)\n",
    "1.[Markel Sanz, Introducción al aprendizaje por refuerzo](https://medium.com/@markelsanz14/introducci%C3%B3n-al-aprendizaje-por-refuerzo-parte-2-q-learning-883cd42fb48e)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Contenido</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "tags": []
   },
   "source": [
    "* [Nuestro equipo](#Nuestro-equipo)\n",
    "* [Introducción](#Introducción)\n",
    "* [Qué es la ciencia de datos](#Qué-es-la-ciencia-de-datos)\n",
    "* [Roles en un equipo de ciencia de datos](#Roles-en-un-equipo-de-ciencia-de-datos)\n",
    "* [Un trabajo sexy](#Un-trabajo-sexy)\n",
    "* [Habilidades requeridas en un equipo de ciencia de datos](#Habilidades-requeridas-en-un-equipo-de-ciencia-de-datos)\n",
    "* [Científicos de datos, ingenieros de datos y estadísticos](#Científicos-de-datos,-ingenieros-de-datos-y-estadísticos)\n",
    "* [Perfiles de los científicos de datos por niveles](#Perfiles-de-los-científicos-de-datos-por-niveles)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Nuestro equipo</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Alvaro Montenegro, PhD</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Líder en ciencia de datos. Experto 3.0\n",
    "* Matemático, informático y Estadístico, con Msc y PhD en Estadística\n",
    "* Desarrollado proyectos gubernamentales como el sistema de información ciencia y tecnología de Colombia\n",
    "* Investigador y desarrollador en Inteligencia Artificial"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Campo Elías Pardo, PhD</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Experto en ciencia de datos. Experto 2.0\n",
    "* Ingeniero químico, con Msc y PhD en Estadística\n",
    "* Desarrollo de productos de análisis multivariado de datos\n",
    "* Investigador y desarrollador en modelos no supervisados"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Daniel Montenegro, Msc</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Experto en ciencia de datos. Experto 2.0\n",
    "* Matemático, con Msc en Matemática Aplicada\n",
    "* Desarrollo de proyecto de IA en lenguaje natural\n",
    "* Investigador y desarrollador en Inteligencia Artificial"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Camilo Torres, Msc</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Experto en ciencia de datos. Experto 2.0.\n",
    "* Matemático, con línea de profundización en Informática y Msc en Estadística.\n",
    "* Profesor de cursos de fundamentación matemático-estadística, análisis de datos multivariados y lenguajes de programación, entre otros.\n",
    "* Programador, administrador de bases de datos (DBA), consultor y líder de proyectos en ciencia de datos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Introducción</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En esta lección revisamos los roles en la ciencia de datos.\n",
    "\n",
    "Probablemente ya se haya enfrentado a la dificultad de diferenciar entre varios roles de datos, como científico de datos, analista de datos, ingeniero de datos, investigador de IA, ingeniero de ML y analista de negocios, entre otros.\n",
    "\n",
    "Esto probablemente se deba a los títulos de trabajo de los empleados en comparación con sus responsabilidades dentro de la empresa para los proyectos en los que trabajan. Especialmente, cuanto más pequeña es la empresa, mayor es la diferencia entre el perfil y los roles de un empleado.\n",
    "\n",
    "Por lo tanto, en esta lección se resume con la mayor precisión posible algunas de las funciones de datos más \"comunes\". "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " ## <span style=\"color:blue\">Que es la ciencia de datos</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**El área trabajo empresarial encargada de convertir datos en productos.**\n",
    "\n",
    "<figure>\n",
    "<center>\n",
    "<img src=\"../Imagenes/products.png\" width=\"800\" height=\"800\" align=\"center\"/>\n",
    "<figcaption>Datos como productos</figcaption>\n",
    "</center>\n",
    "</figure>\n",
    "\n",
    "Fuente: [data-products](ttps://www.google.com/search?q=data+to+product+data+science&source=lnms&tbm=isch&sa=X&ved=2ahUKEwjn5pvK2Nb6AhV7QjABHe0qAy8Q_AUoAXoECAIQAw&biw=1366&bih=563&dpr=1#imgrc=zBllF3VVLDrxYM)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Un trabajo sexy</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<figure>\n",
    "<center>\n",
    "<img src=\"../Imagenes/sexy_work.png\" width=\"1800\" height=\"1800\" align=\"center\"/>\n",
    "<figcaption>Trabajo sexy: Val Varian</figcaption>\n",
    "</center>\n",
    "</figure>\n",
    "\n",
    "Fuente: [Harvey Rosas](https://prezi.com/view/cM3pzRxgnI4V7yl6WJLg/)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Roles en un equipo de ciencia de datos</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "La imagen muestra los diferentes roles en un equipo de ciencia de datos:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<figure>\n",
    "<center>\n",
    "<img src=\"../Imagenes/roles_ds.png\" width=\"800\" height=\"800\" align=\"center\"/>\n",
    "<figcaption>Proceso del aprendizaje reforzado</figcaption>\n",
    "</center>\n",
    "</figure>\n",
    "\n",
    "Fuente: Alvaro Montenegro"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Analista de datos</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Responde preguntas analizando los datos e interpretando los resultados."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Analista de negocio</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Procesa, interpreta y documenta procesos comerciales, productos, servicios y software a través del análisis de datos para ayudar a formar conocimientos comerciales y tomar decisiones comerciales más efectivas."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Ingeniero de visualización de datos</span> "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Diseña soluciones de informes de datos que simplifiquen la comprensión de los datos y sus conocimientos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Científico de datos</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Se enfoca en resolver problemas mediante el desarrollo de modelos basados ​​en IA más que dar respuestas a preguntas."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Investigador de IA</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Explora y propone nuevos sistemas para resolver problemas que luego son utilizados por otros roles para escenarios del mundo real."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Ingeniero de datos</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Crea canalizaciones de datos para reunir información de diferentes sistemas de origen."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Arquitecto de datos</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "define las políticas, los procedimientos, los modelos y las tecnologías que se utilizarán para recopilar, organizar, almacenar y acceder a la información de la empresa "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Ingeniero de ML</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Crea y mantiene sistemas de inteligencia artificial para automatizar modelos predictivos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Ingeniero de MLOps</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Brinda a los científicos de datos y otros roles acceso a las herramientas e infraestructura especializadas (por ejemplo, almacenamiento, computación distribuida, GPU, etc.) que necesitan a lo largo del ciclo de vida de los datos. Desarrollan las metodologías para equilibrar los requisitos únicos de ciencia de datos con los del resto del negocio para proporcionar integración con los procesos existentes y las canalizaciones de CI/CD."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Habilidades requeridas en un equipo de ciencia de datos</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Esta sección es adaptada de [Adela P. Depetris, El Manejo de los Grandes Datos. El Data Scientist. Parte I.](https://www.agaargentina.org/2016/12/15/el-manejo-de-los-grandes-datos-el-data-scientist-parte-i/)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<figure>\n",
    "<center>\n",
    "<img src=\"../Imagenes/DataScientist.png\" width=\"1200\" height=\"1200\" align=\"center\"/>\n",
    "<figcaption>Habilidades requeridas en ciencia de datos</figcaption>\n",
    "</center>\n",
    "</figure>\n",
    "\n",
    "Fuente: [The Data Science Venn Diagram is Creative Commons licensed as Attribution-NonCommercial](https://creativecommons.org/licenses/by-nc/3.0/legalcode)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En Ciencia de Datos, se trata de descubrir cosas y construir conocimiento, lo que requiere preguntas motivantes sobre el mundo e hipótesis. Y que éstas sean convertidas en datos coleccionados, estructurados y testeables con métodos estadísticos. Por ello el ‘Data Scientist’ requiere distintas habilidades. Hace ya unos años Drew Conway concibió un diagrama de Venn para visualizar su definición de Científico de Datos o Data Scientist y las tres habilidades esenciales:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Habilidades para ‘hacking de datos’ (área azul en el diagrama)</span>\n",
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " Para ser un exitoso “hacker de datos” se requeriría poder manipular archivos de texto en la línea de comando, comprender operaciones vectorizadas, pensar algorítmicamente. Simplificando: destrezas que nos permiten obtener datasets “limpios”, estructurados, a partir de una masa ingente y a simple vista confusa de datos (Big Data).\n",
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Conocimiento de matemáticas y estadística (área en colorado)</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Una vez conseguidos y limpios los datos, el siguiente paso es extraer contenido de ellos. Para hacer esto es necesario aplicar métodos estadísticos y matemáticos apropiados. También requiere saber qué es una regresión de MCO(mínimos cuadrados ordinarios) y cómo interpretarla. El resultado será un modelo. Se exploran grandes cantidades de datos buscando mejorar un algoritmo que exprese su comportamiento en una especie de fórmula, que se usará para inferencias o en forma predictiva con otros datos.\n",
    "Para Conway el uso de estas dos primeras habilidades converge en lo que se conoce como “machine learning” que siendo un uso poderoso de los datos, no es todavía Data Science o Ciencia de Datos. El agregó una habilidad adicional:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Expertise sustancial (área en amarillo)</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Un doctorando o estudiante, investigador, alguien que pasa tiempo adquiriendo sólidas bases de conocimiento en algún campo de las ciencias (amarillo). Si además desarrolla habilidades en las áreas de matemática y estadística (herramientas del investigador científico tradicional) se ubicaría en la intersección de color anaranjado en el diagrama de Conway. Existe también una ‘danger zone’ (**)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Ampliaciones</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* **MCO** -Mínimos cuadrados ordinarios: Es un método estadístico cuyo objetivo es mejorar el modelo de los datos que se están explorando para poder realizar predicciones basadas en datos históricos. Ver  [Wikipedia](https://es.wikipedia.org/wiki/Mínimos_cuadrados_ordinarios).\n",
    "* **Danger Zone** Aquí coloca D.Conway a quienes tienen a su alcance crear lo que puede aparecer como un análisis legítimo utilizando algún programa de estadística, sin entender realmente cómo llegaron a ese resultado o qué han creado."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Científicos de datos, ingenieros de datos y estadísticos</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "La siguiente es una comparación desarrollada por la compañía [Analytics Vidhya](https://www.analyticsvidhya.com/) entre los trabajos que hacen:\n",
    "\n",
    "* Científicos de datos\n",
    "* Ingenieros de datos\n",
    "* Estadísticos\n",
    "\n",
    "[https://www.analyticsvidhya.com/blog/2015/10/job-comparison-data-scientist-data-engineer-statistician/](https://www.analyticsvidhya.com/blog/2015/10/job-comparison-data-scientist-data-engineer-statistician/)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Perfiles de los científicos de datos por niveles</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Principiantes: Junior. Nivel 1.0</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Perfil esperado:\n",
    "\n",
    "* Profesional\n",
    "* 0 a 2 años de experiencia\n",
    "* Crea prototipos con datos estructurados (Bases de datos relacionales)\n",
    "* Ha tomado parte en retos de Kaggle\n",
    "* Tiene un perfil en Github\n",
    "\n",
    "Lo que hace:\n",
    "\n",
    "* Trabaja en un equipo ya establecido de ciencia de datos\n",
    "* Trata de orientar la carga de datos desde la experiencia de los demás miembros del equipo\n",
    "* Es responsable de sus propios desarrollos y trata de mejorarlos constantemente\n",
    "\n",
    "Lo que no hace:\n",
    "\n",
    "* No tiene experiencia en soluciones complejas de ingeniería\n",
    "* No esta inmerso en el modelo del negocio\n",
    "* No se espera que aporte idea que impacten de manera fundamental los negocios de la compañía."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Expertos 1: Senior. Nivel 2.0</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Perfil esperado:\n",
    "\n",
    "* Mcs o PhD en Matemáticas, Estadística o Ciencias de la Computación\n",
    "* 3 a 5 años de experiencia\n",
    "* Conocimiento de dockers, cloud, APIs...\n",
    "\n",
    "Lo que hace:\n",
    "\n",
    "* Pone en producción modelos estadísticos y matemáticos\n",
    "* Construye productos sobre una arquitectura sólida\n",
    "* Ayuda a entrenar a los junior\n",
    "* Contesta preguntas del negocio para la administración\n",
    "\n",
    "Que no hace:\n",
    "\n",
    "* No se espera que lidere equipos enteros\n",
    "* No es responsable de generar nuevas ideas para productos\n",
    "* No se espera que maneje todos lo conceptos de arquitectura y soluciones basadas en datos"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Expertos 2: Lider principal. Nivel 3.0</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Perfil esperado:\n",
    "\n",
    "* Mcs o PhD en Matemáticas, Estadística o Ciencias de la Computación\n",
    "* Más de 5 años de experiencia\n",
    "* Liderazgo y visión para los negocios\n",
    "\n",
    "Lo que hace:\n",
    "\n",
    "* Crea y lidera proyectos de alto impacto\n",
    "* Lidera el equipo completo de ciencia de datos\n",
    "* Es consultor técnico para la administración\n",
    "* Agrega valor a cualquier proyecto\n",
    "\n",
    "Que no hace:\n",
    "\n",
    "* No necesariamente está encargado del reclutamiento de talento\n",
    "* No es responsable de los estudios de mercado\n",
    "* Lidera equipos pero necesariamente no es responsable de promociones de las personas."
   ]
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "Copy of part1-MultiarmedBandit.ipynb",
   "provenance": [
    {
     "file_id": "1oqn00G-A4s_c8n6FoVygfQjyWl6BKy_u",
     "timestamp": 1603810835075
    }
   ]
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}