Taller_Pandas_junio_2019_AM.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# PyLadies Ecuador Workshop \n",
    "# Pandas para Ciencia de Datos @ Junio 2019 \n",
    "\n",
    "Andrea Martínez E."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Resumen\n",
    "\n",
    "En este taller se hará una breve introducción al manejo de datos con Python utilizando la librería Pandas en un notebook de Jupyter.\n",
    "\n",
    "De manera general se tratarán los siguientes temas:\n",
    "\n",
    "    1) Carga e inspección inicial de los datos\n",
    "    2) Limpieza de datos\n",
    "    3) Análisis de datos\n",
    "    \n",
    "Para esto se va a utilizar información estadística del INEC referente a los registros de nacidos vivos del año 2017 que se encuentra en el link:\n",
    "\n",
    "http://www.ecuadorencifras.gob.ec/nacimientos_y_defunciones/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Importar librerías\n",
    "\n",
    "Es importante, al inicio, importar las librerías que vamos a utilizar."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1) Carga e inspección inicial de los datos\n",
    "\n",
    "Para cargar la información en el entorno de trabajo se utiliza la función de Pandas `read_csv` que almacena los datos desde un archivo delimitado por comas (CSV) a un `DataFrame`. Todos los parametros para importar un archivo csv en pandas se pueden consultar en el link: https://honingds.com/blog/pandas-read_csv/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<span style=\"color:blue\">**Se debe parametrizar a `encoding=latin1` ya que caso contrario nos da un error.**</span>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv('ENV_2017.csv',encoding='latin1')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<span style=\"color:blue\">**Se obtiene una advertencia que ciertas columnas tiene tipos de datos mezclados, por eso vamos a exportar todos los datos como tipo `string` y guardar en una lista las columnas con problemas para revisar en el paso 2.**</span> "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv('ENV_2017.csv',encoding='latin1',dtype=str)\n",
    "col_revisar=[3,5,12,13,14,16,17,27,29,31,32,36,37]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**¿Qué es un DataFrame?** \n",
    "Es una collección ordenada de filas y columnas como una hoja de excel o una base de datos en SQL. Tiene un index para filas y  columnas. Cada columna puede tener datos de diversos tipos.\n",
    "\n",
    "A continuación vamos a revisar ciertos atributos del dataframe."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Para saber el número de filas y columnas\n",
    "df.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Para el número de filas se puede utilizar el primer argumento de la función shape\n",
    "df.shape[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# O también\n",
    "len(df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Para el número de columnas se puede utilizar el segundo argumento de la función shape\n",
    "df.shape[1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Para mirar nuestro dataframe unicamente escribimos su nombre\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Como el dataframe tiene muchas filas, podemos desplegar las 5 primeras\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Para que se presenten todas las columnas, escribimos\n",
    "pd.options.display.max_columns = None\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Podemos visualizar una muestra aleatoria de los datos\n",
    "df.sample(20)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Para revisar los nombres de las columnas\n",
    "df.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Para revisar los tipos de datos de cada columna (en este caso todas son string 'object')\n",
    "df.dtypes"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Ejercicio\n",
    "Mostrar en la siguiente celda una muestra aleatoria de 15 filas del dataframe \"df\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Acceder a las columnas\n",
    "Vamos a revisar distintos comandos para acceder a las columnas en un dataframe"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.prov_nac.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Tambien se puede usar cuando los nombres de las columnas tengan espacios o caracteres especiales\n",
    "df['prov_nac'].head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Varias columnas\n",
    "df[['prov_nac','cant_nac','parr_nac']].head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Se puede usar el comando loc \n",
    "df.loc[:,'prov_nac'].head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Se puede usar el comando loc en varias columnas\n",
    "df.loc[:,['prov_nac','cant_nac','parr_nac']].head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Se puede usar el comando iloc para acceder a las columnas con la posición\n",
    "df.iloc[:,3].head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Se puede usar iloc con varias columnas\n",
    "df.iloc[:,col_revisar].sample(20)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Se puede acceder a los valores únicos de una columna\n",
    "df.peso.unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.apgar5.unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Se puede contar cuantos valores únicos \n",
    "df.anio_nac.nunique()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Ejercicios\n",
    "Mostrar los valores únicos de la columna \"cant_res\" del dataframe \"df\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Mostrar los primeros 10 valores de la columna 'cod_pais'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Acceder a las filas"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Se utiliza el comando loc\n",
    "df.loc[df['parr_nac'] == 'Conocoto']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Varias condiciones\n",
    "df.loc[\n",
    "    (df['parr_nac'] == 'Conocoto') \n",
    "    & (df['sem_gest'] == '40')\n",
    "]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2) Limpieza de datos\n",
    "\n",
    "Lo primero que debemos corregir es la información de las columnas con problemas"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Para obtener los nombres de las columnas con problemas\n",
    "col_names_rev=df.columns[col_revisar]\n",
    "col_names_rev"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Revisamos los valores unicos\n",
    "df.dia_insc.unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Vemos que son columnas con información numérica\n",
    "for i in col_revisar:\n",
    "    df.iloc[:, i] = df.iloc[:, i].str.replace('Sin información', '').str.replace(' ', '')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Revisamos nuevamente los valores unicos\n",
    "df.dia_insc.unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Transformamos estas columnas a números enteros\n",
    "df[col_names_rev] = df[col_names_rev].apply(pd.to_numeric)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Revisamos nuevamente los valores unicos\n",
    "df.dia_insc.unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Revisamos los tipos de datos en cada columna\n",
    "df.dtypes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Falta transformar algunas columnas a enteros y fechas\n",
    "col_int = ['anio_nac','dia_nac','num_emb','num_par','hij_viv'] #Columnas tipo entero\n",
    "col_fecha  = ['fecha_nac'] #Columnas tipo fecha"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Columnas tipo entero\n",
    "for col in col_int:\n",
    "    df[col] = df[col].astype(dtype=np.int64)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Columnas tipo fecha\n",
    "df[col_fecha] = df[col_fecha].apply(pd.to_datetime)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Creamos una columna para identificar cada registro\n",
    "df['registroID'] = df.index\n",
    "df.registroID.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Contamos los valores nulos\n",
    "df.isnull().sum().sort_values(ascending=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<span style=\"color:blue\">**El paso de limpieza de datos puede requerir métodos para completar la información faltante. En el caso de registros numéricos se pueden completar con la media o la mediana**</span>."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3) Análisis de datos\n",
    "Vamos a analizar la información y se pueden plantear algunas preguntas."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**¿Cuántos registros de inscripción constan en la base de datos?**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print('Cantidad de registros de la base de datos:', len(df))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**¿Cuántos nacidos vivos fueron inscritos en el año 2017?**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print('Cantidad de nacidos vivos inscritos en el año 2017:', df.loc[df.anio_insc == 2017].registroID.nunique())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**¿Cuál es el numero de nacidos vivos por edad de la madre?**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.groupby('edad_mad').count()[['registroID']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Distribución gráfica de la variable edad\n",
    "df.hist(column='edad_mad',bins=20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**¿Cuál es el número de nacidos vivos por género?**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.groupby('sexo').count()[['registroID']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# En valores relativos\n",
    "df.sexo.value_counts() / len(df)*100"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**¿Cuál es el número de nacidos vivos prematuros (menos de 37 semanas de gestacion)?**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Se debe crear una nueva variable para indicar si es prematuro\n",
    "df['es_prematuro']= np.where(df['sem_gest']<37,'Si','No')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# En valores relativos\n",
    "df.es_prematuro.value_counts() / len(df)*100"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**¿Cuál es el número de nacidos vivos por rangos de edad de la madre?**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Se debe crear una nueva variable para indicar el rango de edad de la madre\n",
    "df['rango_edad_mad']= np.where(df['edad_mad'] < 15, '10-14', \n",
    "                               (np.where(df['edad_mad'] > 19, 'Mayor a 20', '15-19')))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.groupby('rango_edad_mad').count()[['registroID']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# En terminos relativos\n",
    "df.rango_edad_mad.value_counts() / len(df)*100"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Se pueden realizar groupby con más de una variable\n",
    "df.groupby(['rango_edad_mad','es_prematuro']).count()[['registroID']]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**¿Cuál es la parroquia con mayor número de nacimientos prematuros?**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Tambien se pueden ordenar los resultados\n",
    "df.groupby(['prov_nac','cant_nac','parr_nac','es_prematuro']).count()[['registroID']].sort_values(by=['es_prematuro','registroID'],ascending=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Verificamos la información\n",
    "df.describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Ejercicios\n",
    "Mostrar la distribución de las semanas de gestación, variable \"sem_gest\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Crear una nueva variable para identificar si el nacido vivo tiene bajo peso (menos de 2500 gramos)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}