Notebooks/Create-Depression-Dataset.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "3627b8de",
   "metadata": {},
   "source": [
    "# Import Library"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3ebb33bd",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import ast"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "4b6ff202-c82e-4154-81c0-f84550bb7735",
   "metadata": {},
   "outputs": [],
   "source": [
    "train = pd.read_parquet(\"../Data/Depression_Disorders_Data/train-00000-of-00001.parquet\")\n",
    "test = pd.read_parquet(\"../Data/Depression_Disorders_Data/test-00000-of-00001.parquet\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "fda2527d-bcfe-466f-aef5-92b6208603d7",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Text</th>\n",
       "      <th>Label_1</th>\n",
       "      <th>Label_2</th>\n",
       "      <th>all_labels</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Hayatın beni her geçen gün biraz daha tükettiğ...</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Çok yoğun ve düzensiz geçen günlerin ardından ...</td>\n",
       "      <td>1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>[PMDD]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Eşimin ruh sağlığı için farklı ilaçlar denediğ...</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Duygusal dalgalanmaların beni kontrol etmesine...</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Gerçekten çok kötü hissediyorum ve sakin kalma...</td>\n",
       "      <td>1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>[PMDD]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7124</th>\n",
       "      <td>Mücadele ediyorum, çok daha fazla imar ediyoru...</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7125</th>\n",
       "      <td>Kendim hakkında kötü düşüncelerle doluymuş gib...</td>\n",
       "      <td>1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>[PMDD]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7126</th>\n",
       "      <td>Bugün spora gitmek için enerjim yok... İlaçlar...</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7127</th>\n",
       "      <td>Eşimin depresyonu ve DEHB'si için çok farklı i...</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7128</th>\n",
       "      <td>Şu an çok daha iyiyim, ancak o ağrı ve basınç,...</td>\n",
       "      <td>1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>[PMDD]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>35644 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   Text  Label_1  Label_2  \\\n",
       "0     Hayatın beni her geçen gün biraz daha tükettiğ...        0      NaN   \n",
       "1     Çok yoğun ve düzensiz geçen günlerin ardından ...        1      NaN   \n",
       "2     Eşimin ruh sağlığı için farklı ilaçlar denediğ...        0      NaN   \n",
       "3     Duygusal dalgalanmaların beni kontrol etmesine...        0      NaN   \n",
       "4     Gerçekten çok kötü hissediyorum ve sakin kalma...        1      NaN   \n",
       "...                                                 ...      ...      ...   \n",
       "7124  Mücadele ediyorum, çok daha fazla imar ediyoru...        0      NaN   \n",
       "7125  Kendim hakkında kötü düşüncelerle doluymuş gib...        1      NaN   \n",
       "7126  Bugün spora gitmek için enerjim yok... İlaçlar...        0      NaN   \n",
       "7127  Eşimin depresyonu ve DEHB'si için çok farklı i...        0      NaN   \n",
       "7128  Şu an çok daha iyiyim, ancak o ağrı ve basınç,...        1      NaN   \n",
       "\n",
       "     all_labels  \n",
       "0     [Distimi]  \n",
       "1        [PMDD]  \n",
       "2     [Distimi]  \n",
       "3     [Distimi]  \n",
       "4        [PMDD]  \n",
       "...         ...  \n",
       "7124  [Distimi]  \n",
       "7125     [PMDD]  \n",
       "7126  [Distimi]  \n",
       "7127  [Distimi]  \n",
       "7128     [PMDD]  \n",
       "\n",
       "[35644 rows x 4 columns]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset = pd.concat([train, test], axis=0)\n",
    "\n",
    "dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "06f3ed2f-8e73-446e-a8f8-e1864d84d399",
   "metadata": {},
   "outputs": [],
   "source": [
    "single_label_dataset = pd.DataFrame()\n",
    "\n",
    "single_label_dataset['Text'] = dataset['Text']\n",
    "single_label_dataset['label'] = dataset['all_labels'].apply(lambda x: x[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "674e288d-f20d-4f18-a051-0ef0041af133",
   "metadata": {},
   "outputs": [],
   "source": [
    "pmdd_total_data = single_label_dataset[single_label_dataset['label'] == 'PMDD']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "e5040403-16e9-4daf-9023-7278c265c1ad",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Geçen hafta hastaydım ve işe geri döndüğümde m...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Her şey yolunda gidiyor, kendimi oldukça keyif...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Son zamanlarda fiziksel aktivitelerime odaklan...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Bu ayın sonu gerçekten çok yorucu geçti.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Şu sıralar öyle bir adam arıyorum ki, sadece b...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                Text\n",
       "0  Geçen hafta hastaydım ve işe geri döndüğümde m...\n",
       "1  Her şey yolunda gidiyor, kendimi oldukça keyif...\n",
       "2  Son zamanlarda fiziksel aktivitelerime odaklan...\n",
       "3           Bu ayın sonu gerçekten çok yorucu geçti.\n",
       "4  Şu sıralar öyle bir adam arıyorum ki, sadece b..."
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pmdd_dump = pd.read_excel('../Data/Depression_Disorders_Data/pmdd_dump.xlsx')\n",
    "\n",
    "pmdd_dump.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "8c0af705-79c1-4c3e-9714-5c556bcdac44",
   "metadata": {},
   "outputs": [],
   "source": [
    "new_pmdd_data = [sentence for sentence in pmdd_total_data['Text'].values if sentence not in pmdd_dump['Text'].values]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "id": "439d9b49-7aa4-4778-a54b-216377c88ab4",
   "metadata": {},
   "outputs": [],
   "source": [
    "distimi_df = pd.read_csv('../Data/Depression_Disorders_Data/distimi_eleme2.csv')\n",
    "distimi_df = distimi_df.rename(columns={'Text':'text'})\n",
    "distimi_df['labels'] = 'Distimi'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "id": "e102fa78-69a3-486c-9030-a8b9a3f91823",
   "metadata": {},
   "outputs": [],
   "source": [
    "cleaned_depression_df = pd.DataFrame()\n",
    "\n",
    "cleaned_depression_df['text'] = new_pmdd_data\n",
    "cleaned_depression_df['labels'] = 'PMDD'\n",
    "\n",
    "cleaned_depression_df = pd.concat([cleaned_depression_df, distimi_df], axis=0).reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "id": "d9222acb-6876-4085-a089-669e7bbc5ec3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>labels</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Çok yoğun ve düzensiz geçen günlerin ardından ...</td>\n",
       "      <td>PMDD</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Gerçekten çok kötü hissediyorum ve sakin kalma...</td>\n",
       "      <td>PMDD</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Her ay, kendime bunun hormonlar olduğunu ve ge...</td>\n",
       "      <td>PMDD</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Ağrım o kadar şiddetli ki bazen kendimi öldürm...</td>\n",
       "      <td>PMDD</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Bu bebeği gerçekten istiyorum ama aynı zamanda...</td>\n",
       "      <td>PMDD</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27592</th>\n",
       "      <td>Üç gün kadar kötü hissediyorum sonra toparlıyo...</td>\n",
       "      <td>Distimi</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27593</th>\n",
       "      <td>Anksiyete ve depresyon arasında gidip gelmek a...</td>\n",
       "      <td>Distimi</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27594</th>\n",
       "      <td>Etrafımdaki insanların beni anlamıyor olması, ...</td>\n",
       "      <td>Distimi</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27595</th>\n",
       "      <td>Mücadele ediyorum, çok daha fazla imar ediyoru...</td>\n",
       "      <td>Distimi</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27596</th>\n",
       "      <td>Bugün spora gitmek için enerjim yok... İlaçlar...</td>\n",
       "      <td>Distimi</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>27597 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    text   labels\n",
       "0      Çok yoğun ve düzensiz geçen günlerin ardından ...     PMDD\n",
       "1      Gerçekten çok kötü hissediyorum ve sakin kalma...     PMDD\n",
       "2      Her ay, kendime bunun hormonlar olduğunu ve ge...     PMDD\n",
       "3      Ağrım o kadar şiddetli ki bazen kendimi öldürm...     PMDD\n",
       "4      Bu bebeği gerçekten istiyorum ama aynı zamanda...     PMDD\n",
       "...                                                  ...      ...\n",
       "27592  Üç gün kadar kötü hissediyorum sonra toparlıyo...  Distimi\n",
       "27593  Anksiyete ve depresyon arasında gidip gelmek a...  Distimi\n",
       "27594  Etrafımdaki insanların beni anlamıyor olması, ...  Distimi\n",
       "27595  Mücadele ediyorum, çok daha fazla imar ediyoru...  Distimi\n",
       "27596  Bugün spora gitmek için enerjim yok... İlaçlar...  Distimi\n",
       "\n",
       "[27597 rows x 2 columns]"
      ]
     },
     "execution_count": 35,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cleaned_depression_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "3ae486ba-5b91-49e6-aa33-53118493a825",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "labels\n",
       "PMDD       14952\n",
       "Distimi    12645\n",
       "Name: count, dtype: int64"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cleaned_depression_df['labels'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "id": "4e6e74b9-0c11-43a2-ba65-80c5f01f4a11",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>labels</th>\n",
       "      <th>source</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Sıkışmış hissetmek (yerine tekrar giriş yok, y...</td>\n",
       "      <td>agoraphobia</td>\n",
       "      <td>Reddit</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Yakın zamanda başka bir şehre taşındım ve nele...</td>\n",
       "      <td>agoraphobia</td>\n",
       "      <td>Reddit</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Panik atak geçirmenin eşiğindeydim, sadece bun...</td>\n",
       "      <td>agoraphobia</td>\n",
       "      <td>Reddit</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Geçen hafta maruz kalma terapimi yaparken soka...</td>\n",
       "      <td>agoraphobia</td>\n",
       "      <td>Reddit</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Bazen özgüven ve benlik imajıyla çok mücadele ...</td>\n",
       "      <td>agoraphobia</td>\n",
       "      <td>Reddit</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13377</th>\n",
       "      <td>sosyal anksiyete diye bir seyi kimse isteyerek...</td>\n",
       "      <td>socialanxiety</td>\n",
       "      <td>Eksi</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13378</th>\n",
       "      <td>iyileştiniz mi cok merak ediyorum ilaci tamame...</td>\n",
       "      <td>socialanxiety</td>\n",
       "      <td>Youtube</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13379</th>\n",
       "      <td>arkadaşlar bende pani̇k atak anksi̇yete kaygi ...</td>\n",
       "      <td>socialanxiety</td>\n",
       "      <td>Youtube</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13380</th>\n",
       "      <td>Ben küçükken fazla ilgilenildim ve sevildim. H...</td>\n",
       "      <td>socialanxiety</td>\n",
       "      <td>Youtube</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13381</th>\n",
       "      <td>Özgür Koca Bak herkes ayni sekilde bunu yasaya...</td>\n",
       "      <td>socialanxiety</td>\n",
       "      <td>Youtube</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>13382 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    text         labels  \\\n",
       "0      Sıkışmış hissetmek (yerine tekrar giriş yok, y...    agoraphobia   \n",
       "1      Yakın zamanda başka bir şehre taşındım ve nele...    agoraphobia   \n",
       "2      Panik atak geçirmenin eşiğindeydim, sadece bun...    agoraphobia   \n",
       "3      Geçen hafta maruz kalma terapimi yaparken soka...    agoraphobia   \n",
       "4      Bazen özgüven ve benlik imajıyla çok mücadele ...    agoraphobia   \n",
       "...                                                  ...            ...   \n",
       "13377  sosyal anksiyete diye bir seyi kimse isteyerek...  socialanxiety   \n",
       "13378  iyileştiniz mi cok merak ediyorum ilaci tamame...  socialanxiety   \n",
       "13379  arkadaşlar bende pani̇k atak anksi̇yete kaygi ...  socialanxiety   \n",
       "13380  Ben küçükken fazla ilgilenildim ve sevildim. H...  socialanxiety   \n",
       "13381  Özgür Koca Bak herkes ayni sekilde bunu yasaya...  socialanxiety   \n",
       "\n",
       "        source  \n",
       "0       Reddit  \n",
       "1       Reddit  \n",
       "2       Reddit  \n",
       "3       Reddit  \n",
       "4       Reddit  \n",
       "...        ...  \n",
       "13377     Eksi  \n",
       "13378  Youtube  \n",
       "13379  Youtube  \n",
       "13380  Youtube  \n",
       "13381  Youtube  \n",
       "\n",
       "[13382 rows x 3 columns]"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.read_excel(\"../Data/Anxiety_Detection_Data/total_df_balanced.xlsx\")\n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "68d242af-095c-40ba-a3bc-bcb8f2439db2",
   "metadata": {},
   "source": [
    "## Convert to Multi Label Data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "id": "61bdbda1-201a-4c7a-b41e-9715f5cedea8",
   "metadata": {},
   "outputs": [],
   "source": [
    "one_hot_encoded = pd.get_dummies(cleaned_depression_df['labels'])\n",
    "\n",
    "concat_df = pd.concat([cleaned_depression_df['text'], one_hot_encoded], axis=1)\n",
    "concat_df = concat_df.dropna().reset_index(drop=True)\n",
    "\n",
    "concat_df.iloc[:, 1:] = concat_df.iloc[:, 1:].astype(int)\n",
    "\n",
    "concat_df['all_labels'] = concat_df.apply(lambda row: [label for label in one_hot_encoded.columns if row[label] == 1], axis=1)\n",
    "concat_df = concat_df.loc[:, ['text', 'Distimi', 'PMDD', 'all_labels']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "id": "46f7b2c5-22b7-4141-bdb1-8a3207613738",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>Distimi</th>\n",
       "      <th>PMDD</th>\n",
       "      <th>all_labels</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Çok yoğun ve düzensiz geçen günlerin ardından ...</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>[PMDD]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Gerçekten çok kötü hissediyorum ve sakin kalma...</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>[PMDD]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Her ay, kendime bunun hormonlar olduğunu ve ge...</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>[PMDD]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Ağrım o kadar şiddetli ki bazen kendimi öldürm...</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>[PMDD]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Bu bebeği gerçekten istiyorum ama aynı zamanda...</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>[PMDD]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27592</th>\n",
       "      <td>Üç gün kadar kötü hissediyorum sonra toparlıyo...</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27593</th>\n",
       "      <td>Anksiyete ve depresyon arasında gidip gelmek a...</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27594</th>\n",
       "      <td>Etrafımdaki insanların beni anlamıyor olması, ...</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27595</th>\n",
       "      <td>Mücadele ediyorum, çok daha fazla imar ediyoru...</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27596</th>\n",
       "      <td>Bugün spora gitmek için enerjim yok... İlaçlar...</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>[Distimi]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>27597 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    text  Distimi  PMDD  \\\n",
       "0      Çok yoğun ve düzensiz geçen günlerin ardından ...        0     1   \n",
       "1      Gerçekten çok kötü hissediyorum ve sakin kalma...        0     1   \n",
       "2      Her ay, kendime bunun hormonlar olduğunu ve ge...        0     1   \n",
       "3      Ağrım o kadar şiddetli ki bazen kendimi öldürm...        0     1   \n",
       "4      Bu bebeği gerçekten istiyorum ama aynı zamanda...        0     1   \n",
       "...                                                  ...      ...   ...   \n",
       "27592  Üç gün kadar kötü hissediyorum sonra toparlıyo...        1     0   \n",
       "27593  Anksiyete ve depresyon arasında gidip gelmek a...        1     0   \n",
       "27594  Etrafımdaki insanların beni anlamıyor olması, ...        1     0   \n",
       "27595  Mücadele ediyorum, çok daha fazla imar ediyoru...        1     0   \n",
       "27596  Bugün spora gitmek için enerjim yok... İlaçlar...        1     0   \n",
       "\n",
       "      all_labels  \n",
       "0         [PMDD]  \n",
       "1         [PMDD]  \n",
       "2         [PMDD]  \n",
       "3         [PMDD]  \n",
       "4         [PMDD]  \n",
       "...          ...  \n",
       "27592  [Distimi]  \n",
       "27593  [Distimi]  \n",
       "27594  [Distimi]  \n",
       "27595  [Distimi]  \n",
       "27596  [Distimi]  \n",
       "\n",
       "[27597 rows x 4 columns]"
      ]
     },
     "execution_count": 37,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "concat_df"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d30e8242-b241-41e0-82ca-d9893b9d01c8",
   "metadata": {},
   "source": [
    "## Push to Hub"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "9602c81e-2570-461c-9bb6-9c8ff0e7c796",
   "metadata": {},
   "outputs": [],
   "source": [
    "from datasets import Dataset, DatasetDict\n",
    "Dataset.cleanup_cache_files\n",
    "from sklearn.model_selection import train_test_split\n",
    "\n",
    "train, test = train_test_split(concat_df, test_size = 0.25, random_state=42)\n",
    "\n",
    "train_data = Dataset.from_pandas(train, preserve_index=False)\n",
    "test_data = Dataset.from_pandas(test, preserve_index=False)\n",
    "\n",
    "hg_data = DatasetDict({\n",
    "    \"train\": train_data,\n",
    "    \"test\": test_data\n",
    "})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "8178fe9a-51c6-4a20-b735-35cdc73b7dda",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "DatasetDict({\n",
       "    train: Dataset({\n",
       "        features: ['text', 'Distimi', 'PMDD', 'all_labels'],\n",
       "        num_rows: 20697\n",
       "    })\n",
       "    test: Dataset({\n",
       "        features: ['text', 'Distimi', 'PMDD', 'all_labels'],\n",
       "        num_rows: 6900\n",
       "    })\n",
       "})"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "hg_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "fd08cee7-0336-455d-99da-d3032c51c6ee",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Token will not been saved to git credential helper. Pass `add_to_git_credential=True` if you want to set the git credential as well.\n",
      "Token is valid (permission: write).\n",
      "Your token has been saved to C:\\Users\\halilibrahim.hatun\\.cache\\huggingface\\token\n",
      "Login successful\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "d0869250ea204435bfa347c403b3d183",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Uploading the dataset shards:   0%|          | 0/1 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "6fd480d21529455289f4c4ab7441eb7c",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Creating parquet from Arrow format:   0%|          | 0/21 [00:00<?, ?ba/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "881084c4ad7d4ad08d61109cfd7850b8",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Uploading the dataset shards:   0%|          | 0/1 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "57b95a5bf2d64ad384071d4222614875",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Creating parquet from Arrow format:   0%|          | 0/7 [00:00<?, ?ba/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Data was pushed :)\n"
     ]
    }
   ],
   "source": [
    "!huggingface-cli login --token=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\n",
    "\n",
    "hg_data.push_to_hub(\"halilibr/dilbazlar-depression-recognition-multilabel-augmented-cleaned-tr-dataset\")\n",
    "print(\"Data was pushed :)\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "694a42a5-85df-461f-b1e9-c20bd3b5a380",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "0cec031f3b104cdd8d2c142a85c0c2bb",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Saving the dataset (0/1 shards):   0%|          | 0/20697 [00:00<?, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "f84f8a30f6d448f3a379e14a1855b877",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Saving the dataset (0/1 shards):   0%|          | 0/6900 [00:00<?, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "hg_data.save_to_disk('../Data/Depression_Disorders_Data/depression_multilabel_augmented_cleaned_hg_dataset')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Psynexa Torch GPU (Python 3.11)",
   "language": "python",
   "name": "your_env_name"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}