kochatgpt_data_230320.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# KoChatGPT 데이터셋 구축\n",
    "\n",
    "230320, by wygo\n",
    "\n",
    "RLHF의 3단계 학습을 위한 데이터셋 구축"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## 1) 한국어 질문 데이터셋 seed 수집\n",
    "\n",
    "- data 폴더에 아래 데이터셋들 위치\n",
    "\n",
    "    - [data1, ChatbotData/11824문장](https://github.com/songys/Chatbot_data/blob/master/ChatbotData.csv)\n",
    "    - [data2, AI허브_한국어 대화/49711문장](https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=116)\n",
    "    - [data3, AI허브_일반상식/100268](https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=106)\n",
    "    - [data4, KorQuad/5774](https://korquad.github.io/KorQuad%201.0/)\n",
    "\n",
    "    - 총 167,577 질문셋 수집\n",
    "    - 12,000개 질문 랜덤 추출"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# data1, ChatbotData, 11824\n",
    "data_path_1 = './data/seed_data_original/korean_seed_data_1_chitchat.txt'\n",
    "import pandas as pd\n",
    "list_question = pd.read_csv(data_path_1, sep=',', encoding='UTF-8', header=0).dropna(axis=0)['Q'].tolist()\n",
    "with open('./data/seed_data_question/korean_seed_data_1_chitchat_question_%s.txt'%(len(list_question)), 'w', encoding='utf-8-sig') as f_write:\n",
    "    f_write.writelines('\\n'.join(list_question))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# data2, AI허브_한국어 대화, 49711\n",
    "data_path_2 = './data/seed_data_original/AI허브_한국어대화데이터/*.xlsx'\n",
    "import os, glob\n",
    "import pandas as pd\n",
    "from openpyxl import load_workbook\n",
    "\n",
    "list_question = []\n",
    "for tmp in glob.glob(data_path_2):\n",
    "    wb = load_workbook(tmp)\n",
    "    data = wb['Sheet1'].values\n",
    "    columns = next(data)[0:]\n",
    "    df = pd.DataFrame(data, columns=columns)\n",
    "    list_question.extend(df['MQ'].dropna(axis=0).tolist())\n",
    "\n",
    "data_path_2_ = './data/seed_data_original/AI허브_한국어대화데이터/J 민원/*.xlsx'\n",
    "for tmp in glob.glob(data_path_2_):\n",
    "    wb = load_workbook(tmp)\n",
    "    data = wb['Sheet2'].values\n",
    "    columns = next(data)[0:]\n",
    "    df = pd.DataFrame(data, columns=columns)\n",
    "    list_question.extend(df['question'].dropna(axis=0).tolist())\n",
    "    \n",
    "with open('./data/seed_data_question/korean_seed_data_2_aihub_korean_conversation_%s.txt'%(len(list_question)), 'w', encoding='utf-8-sig') as f_write:\n",
    "    f_write.writelines('\\n'.join(list_question))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# data3, AI허브_일반상식, 100268\n",
    "data_path_3 = './data/seed_data_original/AI허브_일반상식/ko_wiki_v1_squad.json'\n",
    "# read\n",
    "with open(data_path_3, 'r', encoding='UTF-8') as f_read:\n",
    "    json_data = json.load(f_read)\n",
    "\n",
    "    # json_data['data'][0]['paragraphs'][0]['qas'][0]['question']='다테 기미코가 최초로 은퇴 선언을 한게 언제지'\n",
    "\n",
    "    list_question = []\n",
    "    for tmp1 in json_data['data']:\n",
    "        for tmp2 in tmp1['paragraphs']:\n",
    "            for tmp3 in tmp2['qas']:\n",
    "                list_question.append(tmp3['question'])\n",
    "\n",
    "    with open('./data/seed_data_question/korean_seed_data_3_aihub_common_sense_kowiki_%s.txt'%(len(list_question)), 'w', encoding='utf-8-sig') as f_write:\n",
    "        f_write.writelines('\\n'.join(list_question))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# data4, korquad, 5774\n",
    "data_path_4 = './data/seed_data_original/korquad1.0/KorQuAD_v1.0_dev.json'\n",
    "# read\n",
    "with open(data_path_4, 'r', encoding='UTF-8') as f_read:\n",
    "    json_data = json.load(f_read)\n",
    "\n",
    "    # json_data['data'][0]['paragraphs'][0]['qas'][0]['question']\n",
    "\n",
    "    list_question = []\n",
    "    for tmp1 in json_data['data']:\n",
    "        for tmp2 in tmp1['paragraphs']:\n",
    "            for tmp3 in tmp2['qas']:\n",
    "                list_question.append(tmp3['question'])\n",
    "\n",
    "    with open('./data/seed_data_question/korean_seed_data_4_korquad1_%s.txt'%(len(list_question)), 'w', encoding='utf-8-sig') as f_write:\n",
    "        f_write.writelines('\\n'.join(list_question))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "## 데이터 선별, 12000개(3000개 x 4)\n",
    "import random\n",
    "random.seed(230315)\n",
    "list_question_sample = []\n",
    "for tmp in glob.glob('./data/seed_data_question/*.txt'):\n",
    "    with open(tmp, 'r', encoding='utf-8-sig') as f_read:\n",
    "        lines = f_read.readlines()\n",
    "        list_question = [tmp.strip() for tmp in lines]\n",
    "        list_question_sample.extend(random.sample(list_question, 3000))\n",
    "\n",
    "with open('./data/korean_seed_data.txt', 'w', encoding='utf-8-sig') as f_write:\n",
    "    random.shuffle(list_question_sample)\n",
    "    f_write.writelines('\\n'.join(list_question_sample))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "#### example of korean_seed_data.txt\n",
    "\n",
    "- 불고기용 고기 한우에요?\n",
    "- 쓰던 앱이 유료로 전환됐어\n",
    "- 여친이랑 다툼\n",
    "- 술 먹고 싶어\n",
    "- 잊고싶다.\n",
    "- 입냄새 안나나?\n",
    "- 새로운 사랑은 찾아와\n",
    "- 이명박 대통형은 어느 경축사를 통해 집권 후반기 국정운영에 대한 언급을 하였나?\n",
    "- 금액은 얼마에요\n",
    "- 리처드 닉슨이 43대 부통령직을 수행한 년도는?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2) GPT3 API 기반 ChatGPT 데이터 생성\n",
    "- 설치(python>=3.8)\n",
    "```python\n",
    ">> !pip install openai\n",
    ">> !pip install langchain==0.0.113\n",
    "```\n",
    "\n",
    "\n",
    "### reference\n",
    "- [chatllama 데이터 생성 예시 코드](https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama/artifacts)\n",
    "- [alpaca 데이터 생성(GPT3 이용)](https://github.com/tatsu-lab/stanford_alpaca)\n",
    "- [self-instruct 데이터 생성](https://github.com/yizhongw/self-instruct)\n",
    "- [52K 데이터 생성을 위한 SEED](https://github.com/yizhongw/self-instruct/blob/main/data/seed_tasks.jsonl)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.1) SFT 데이터셋 만들기\n",
    "\n",
    "- 다음 단어만 잘 생성하는 모델에서 질문에 '잘' 대답하는 모델 만들기\n",
    "- Human labling 필요\n",
    "- ChatGPT로 자동생성"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "#### 2.1.1) 한국어 QA 데이터셋의 질문으로 답변 자동 생성\n",
    "\n",
    "- 데이터셋 예시\n",
    "```json\n",
    "{\n",
    "    \"prompt\": \"술 먹고 싶어\",\n",
    "    \"completion\": \"'술은 알코올이 함유된 음료수이며, 건강에 나쁜 영향을 미칠 수 있습니다. 따라서 술을 마시기 전에 본인의 건강 상태와 함께 적당한 양을 마시는 것이 중요합니다. 술을 마시기 전에 반드시 20세 이상인지 확인하시고, 규정된 양 이내에서 적절하게 즐기시길 바랍니다. 또한 술을 마시고 운전하는 것은 절대 금지하시기 바랍니다.\",\n",
    "    \"tokens\": 189\n",
    "},\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# run GPT3 api example\n",
    "import openai\n",
    "\n",
    "API_KEY = 'sk-XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'  # 개인 API키 입력\n",
    "openai.api_key = API_KEY\n",
    "\n",
    "prompt= '세계 최초의 교내 총기사건이 벌어진 학교가 어디야'\n",
    "\n",
    "response = openai.Completion.create(\n",
    "    prompt = prompt,  # 질문\n",
    "    model = 'text-davinci-003',  # 사용할 openai 모델(text-davinci-003, gpt-3.5-turbo, ...)\n",
    "    max_tokens=1000, # 생성 최대 길이\n",
    "    temperature=0.9,  # 샘플링 정도, 0~1 (0은 정의된답, 1은 창의적인 답)\n",
    "    n=3,  # 완료여부 제어변수\n",
    "    stop=['---']  # ?\n",
    ")\n",
    "\n",
    "for result in response.choices:\n",
    "    print('- ', result.text.lstrip('?\\n\\n').strip())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# run ChatGPT api example\n",
    "import openai\n",
    "\n",
    "API_KEY = 'sk-XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'  # 개인 API키 입력\n",
    "openai.api_key = API_KEY\n",
    "\n",
    "prompt= '세계 최초의 교내 총기사건이 벌어진 학교가 어디야'\n",
    "\n",
    "completion = openai.ChatCompletion.create(\n",
    "    model=\"gpt-3.5-turbo\",  # 사용할 openai 모델명\n",
    "    messages=[{\"role\": \"user\", \"content\": prompt}]  # 입력 prompt\n",
    ")\n",
    "\n",
    "print('token: %d'%completion.usage.total_tokens)\n",
    "print('prompt: %s\\n\\nanwer : %s'%(prompt, completion['choices'][0]['message']['content'].strip()))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0,
     4
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# run ChatGPT api function\n",
    "import openai\n",
    "import time\n",
    "\n",
    "def run_chatgpt_api(prompt='세계 최초의 교내 총기사건이 벌어진 학교가 어디야', API_KEY='', max_tokens=200, verbose=False):\n",
    "    time_start = time.time()\n",
    "    openai.api_key = API_KEY\n",
    "    retry_count = 3\n",
    "    for i in range(0, retry_count):\n",
    "        while True:\n",
    "            try:\n",
    "                completion = openai.ChatCompletion.create(\n",
    "                    model=\"gpt-3.5-turbo\",  # 사용할 openai 모델명\n",
    "                    messages=[{\"role\": \"user\", \"content\": prompt}]  # 입력 prompt\n",
    "                )\n",
    "\n",
    "                answer = completion['choices'][0]['message']['content'].strip()\n",
    "                tokens = completion.usage.total_tokens\n",
    "\n",
    "                time_end = time.time()                \n",
    "                if verbose:\n",
    "                    print('prompt: %s | token: %d | %.1fsec\\nanwer : %s'%(prompt, tokens, (time_end - time_start), answer))\n",
    "                return prompt, answer, tokens\n",
    "    \n",
    "            except Exception as error:\n",
    "                print(f\"API Error: {error}\")\n",
    "                print(f\"Retrying {i+1} time(s) in 4 seconds...\")\n",
    "                \n",
    "                if i+1 == retry_count:\n",
    "                    return prompt, None, None\n",
    "                time.sleep(4)\n",
    "                continue\n",
    "\n",
    "\n",
    "API_KEY = 'sk-XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'  # 개인 API키 입력\n",
    "\n",
    "                \n",
    "prompt = '세계 최초의 교내 총기사건이 벌어진 학교가 어디야??'\n",
    "prompt, answer, tokens = run_chatgpt_api(prompt=prompt, API_KEY=API_KEY, verbose=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# 질문 응답 생성\n",
    "from datetime import datetime\n",
    "from tqdm import tqdm\n",
    "import os, shutil, json\n",
    "time_start = datetime.now()\n",
    "import pandas as pd\n",
    "\n",
    "# 질문 리스트 열기\n",
    "with open('./data/korean_seed_data.txt', 'r', encoding='utf-8-sig') as f_read:\n",
    "    lines = f_read.readlines()\n",
    "    list_question = [tmp.strip() for tmp in lines]\n",
    "    print('문장 개수: %d'%(len(list_question)))\n",
    "    print('문장 예시: %s'%(list_question[10]))\n",
    "\n",
    "# api 응답 얻기\n",
    "save_path_list  = './data_kochatgpt/kochatgpt_1_SFT.txt'\n",
    "save_path_jsonl = './data_kochatgpt/kochatgpt_1_SFT.jsonl'\n",
    "\n",
    "if os.path.isfile(save_path_list):\n",
    "    os.remove(save_path_list)\n",
    "if os.path.isfile(save_path_jsonl):\n",
    "    os.remove(save_path_jsonl)\n",
    "\n",
    "    \n",
    "list_api_result, list_api_result_jsonl = [], []\n",
    "for prompt in tqdm(list_question):\n",
    "    \n",
    "    try:\n",
    "        # run chatgpt\n",
    "        prompt, completion, tokens = run_chatgpt_api(prompt=prompt, API_KEY=API_KEY, verbose=False)\n",
    "        list_api_result.append((prompt, completion, tokens))\n",
    "\n",
    "        data = {}\n",
    "        data['prompt'] = prompt\n",
    "        data['completion'] = completion\n",
    "        data['tokens'] = tokens\n",
    "        list_api_result_jsonl.append(data)        \n",
    "        \n",
    "        if completion:\n",
    "            with open(save_path_list, 'a', encoding='utf-8') as f_write:\n",
    "                f_write.write('%s\\t\\t\\t%s\\t\\t\\t%s\\n'%(prompt, answer, tokens))\n",
    "                \n",
    "            with open(save_path_jsonl, 'a', encoding='utf-8') as f_write:\n",
    "                f_write.write('%s\\n'%(data))\n",
    "                \n",
    "    except Exception as error:\n",
    "        print('error 발생: %s'%(error))\n",
    "        continue\n",
    "                \n",
    "print('done, %.7s'%(datetime.now() - time_start))\n",
    "with open(save_path_jsonl, \"w\", encoding='utf-8') as json_file:\n",
    "    json.dump(list_api_result_jsonl, json_file, indent=4, ensure_ascii=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>prompt</th>\n",
       "      <th>completion</th>\n",
       "      <th>tokens</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>불고기용 고기 한우에요?</td>\n",
       "      <td>'저는 인공지능 챗봇이며, 직접적으로 식품에 관한 정보를 가지고 있지 않습니다. 하...</td>\n",
       "      <td>193</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>쓰던 앱이 유료로 전환됐어</td>\n",
       "      <td>'어떤 앱인지 모르기 때문에 정확한 답변을 드리기 어렵습니다. 하지만, 일반적으로 ...</td>\n",
       "      <td>288</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>여친이랑 다툼</td>\n",
       "      <td>'저는 인공지능이기 때문에 여친과의 다툼에 대해서는 조언을 드릴 수는 없습니다. 하...</td>\n",
       "      <td>153</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>술 먹고 싶어</td>\n",
       "      <td>'술은 알코올이 함유된 음료수이며, 건강에 나쁜 영향을 미칠 수 있습니다. 따라서 ...</td>\n",
       "      <td>189</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>잊고싶다.</td>\n",
       "      <td>'저도 인공지능 엔진으로써 사용자의 개인정보나 감정을 침해할 수 없습니다. 그렇기 ...</td>\n",
       "      <td>147</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11995</th>\n",
       "      <td>내일 개강총회인데 짝녀한테 어떻게 잘 보이지.</td>\n",
       "      <td>'제가 AI 모델이기 때문에 남성인점 참고 부탁드립니다. 다음과 같이 제안드립니다....</td>\n",
       "      <td>411</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11996</th>\n",
       "      <td>역세권이에요?</td>\n",
       "      <td>\"저는 인공지능 언어모델이어서 지리적인 개념을 이해하는 데 한계가 있습니다. 반면,...</td>\n",
       "      <td>232</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11997</th>\n",
       "      <td>암호화폐를 분산 저장하여 운영 관리 될 수 있도록 하는 인터넷상의 방식은?</td>\n",
       "      <td>'블록체인 기술을 사용하여 암호화폐를 분산 저장하여 운영 및 관리하는 것을 의미합니...</td>\n",
       "      <td>214</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11998</th>\n",
       "      <td>가출해도 갈 데가 없어</td>\n",
       "      <td>'그렇다면, 우선적으로 생활에 필요한 것들을 생각해보시는 것이 좋습니다. 가장 먼저...</td>\n",
       "      <td>473</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11999</th>\n",
       "      <td>목포극장 개업일은</td>\n",
       "      <td>'제가 알기로는 정확한 날짜를 알 수 없습니다. 재개발로 구조가 변경되고 리모델링 ...</td>\n",
       "      <td>120</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>12000 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                          prompt  \\\n",
       "0                                  불고기용 고기 한우에요?   \n",
       "1                                 쓰던 앱이 유료로 전환됐어   \n",
       "2                                        여친이랑 다툼   \n",
       "3                                        술 먹고 싶어   \n",
       "4                                          잊고싶다.   \n",
       "...                                          ...   \n",
       "11995                  내일 개강총회인데 짝녀한테 어떻게 잘 보이지.   \n",
       "11996                                    역세권이에요?   \n",
       "11997  암호화폐를 분산 저장하여 운영 관리 될 수 있도록 하는 인터넷상의 방식은?   \n",
       "11998                               가출해도 갈 데가 없어   \n",
       "11999                                  목포극장 개업일은   \n",
       "\n",
       "                                              completion  tokens  \n",
       "0      '저는 인공지능 챗봇이며, 직접적으로 식품에 관한 정보를 가지고 있지 않습니다. 하...     193  \n",
       "1      '어떤 앱인지 모르기 때문에 정확한 답변을 드리기 어렵습니다. 하지만, 일반적으로 ...     288  \n",
       "2      '저는 인공지능이기 때문에 여친과의 다툼에 대해서는 조언을 드릴 수는 없습니다. 하...     153  \n",
       "3      '술은 알코올이 함유된 음료수이며, 건강에 나쁜 영향을 미칠 수 있습니다. 따라서 ...     189  \n",
       "4      '저도 인공지능 엔진으로써 사용자의 개인정보나 감정을 침해할 수 없습니다. 그렇기 ...     147  \n",
       "...                                                  ...     ...  \n",
       "11995  '제가 AI 모델이기 때문에 남성인점 참고 부탁드립니다. 다음과 같이 제안드립니다....     411  \n",
       "11996  \"저는 인공지능 언어모델이어서 지리적인 개념을 이해하는 데 한계가 있습니다. 반면,...     232  \n",
       "11997  '블록체인 기술을 사용하여 암호화폐를 분산 저장하여 운영 및 관리하는 것을 의미합니...     214  \n",
       "11998  '그렇다면, 우선적으로 생활에 필요한 것들을 생각해보시는 것이 좋습니다. 가장 먼저...     473  \n",
       "11999  '제가 알기로는 정확한 날짜를 알 수 없습니다. 재개발로 구조가 변경되고 리모델링 ...     120  \n",
       "\n",
       "[12000 rows x 3 columns]"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# read jsonl\n",
    "import json\n",
    "import pandas as pd\n",
    "save_path_jsonl = './data_kochatgpt/korean_chatgpt_1_SFT.jsonl'\n",
    "with open(save_path_jsonl, \"r\", encoding='utf-8-sig') as json_file:\n",
    "    list_api_result_jsonl_load = json.load(json_file)\n",
    "\n",
    "df = pd.DataFrame(list_api_result_jsonl_load)\n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "#### 2.1.2) langchain을 이용한 채팅데이터 자동생성\n",
    "- [ref](https://github.com/juncongmoo/chatllama/blob/main/generate_dataset.py)\n",
    "```\n",
    "> pip install langchain\n",
    "```\n",
    "\n",
    "- **Multi-turn 데이터 예시**  \n",
    "<img src=\"img/0_langchain_1.png\" width=\"500\">  \n",
    "\n",
    "\n",
    "- **데이터셋 예시**  \n",
    "```\n",
    "<<start conversation>>\n",
    "<사람>: 그렇군요. 무엇에 대해 이야기하고 싶으세요?\n",
    "<챗봇>: 궁금하신 주제에 대해 이야기하고 싶으신가요? 예를 들어 여행, 식품, 스포츠, 등등 다양한 토론에 참여할 수 있습니다.\n",
    "<사람>: 그래서 스포츠에 대해 이야기해볼까요?\n",
    "<챗봇>: 그렇습니다. 스포츠에 대해 말씀하시겠습니까? 스포츠는 다양한 종목과 관련된 주제로 비슷한 경기를 비교하거나 새로운 경기를 분석할 수 있습니다. 또한 스포츠 관련 소식과 업데이트 등을 제공할 수 있습니다.\n",
    "<사람>: 괜찮습니다. 소식이나 업데이트는 어떻게 받을 수 있나요?\n",
    "<챗봇>: 귀하는 스포츠 관련 소식과 업데이트를 접할 수 있는 다양한 방법을 사용할 수 있습니다. 예를 들면 스포츠 사이트, 스포츠 앱, 스포츠 유튜브 채널 등을 통해 스포츠 소식과 업데이트를 받을 수 있습니다. 또한 소셜 미디어에서도 스포츠 소식과 업데이트를 받을 수 있습니다.\n",
    "<사람>: 감사합니다. 이제 스포츠 소식과 업데이트를 받아볼 준비가 되었습니다.\n",
    "<챗봇>: 그렇게 되었군요. 스포츠 소식과 업데이트를 받기 위해 귀하가 해야 할 준비는 무엇인가요? 스포츠 사이트, 스포츠 앱, 스포츠 유튜브 채널, 소셜 미디어 등을 통해 스포츠 소식과 업데이트를 받기 위해 준비해야 합니다.\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0,
     19,
     36,
     54,
     74
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# langchain을 이용한 채팅데이터 자동생성\n",
    "import os\n",
    "API_KEY = 'sk-XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'  # 개인 API키 입력\n",
    "\n",
    "from tqdm import tqdm\n",
    "\n",
    "num_conversations = 700\n",
    "CONVERSATION_LENGTH = 4\n",
    "max_answer_lenth = 1024  # 4092가 최대므로 4번 주고받으면 4092가 꽉 찬다\n",
    "\n",
    "save_path_conversation_jsonl = './data_kochatgpt/kochatgpt_1_SFT_conversation.jsonl'\n",
    "\n",
    "from langchain import OpenAI, LLMChain, PromptTemplate\n",
    "from langchain.chains.conversation.memory import (\n",
    "    ConversationBufferWindowMemory,\n",
    ")\n",
    "\n",
    "## 챗봇과 인간의 역할 정의\n",
    "# chatllama.langchain_modules.prompt_templates\n",
    "AI_CHATBOT_TEMPLATE = dict(\n",
    "    template=(\n",
    "        \"당신과 대화할 <챗봇>은 대규모 언어 모델입니다.\"\n",
    "        \"챗봇은 간단한 질문에 답하는 것부터 광범위한 주제에 대한 심층적인 설명 및 토론을 제공하는 것까지 다양한 작업을 지원할 수 있도록 설계되었습니다. 언어 모델로서 어시스턴트는 수신한 입력을 기반으로 사람과 유사한 텍스트를 생성할 수 있으므로 자연스러운 대화에 참여하고 당면한 주제와 일관되고 관련된 응답을 제공할 수 있습니다.\"\n",
    "        \"챗봇은 지속적으로 학습 및 개선되고 있으며 그 기능은 지속적으로 진화하고 있습니다.\"\n",
    "        \"많은 양의 텍스트를 처리하고 이해할 수 있으며 이 지식을 사용하여 광범위한 질문에 정확하고 유익한 답변을 제공할 수 있습니다. 또한 Assistant는 수신한 입력을 기반으로 자체 텍스트를 생성할 수 있으므로 토론에 참여하고 다양한 주제에 대한 설명과 설명을 제공할 수 있습니다.\"\n",
    "        \"전반적으로 챗봇은 광범위한 작업을 지원하고 다양한 주제에 대한 가치 있는 통찰력과 정보를 제공할 수 있는 강력한 도구입니다. 특정 질문에 대한 도움이 필요하거나 특정 주제에 대해 대화를 나누고 싶을 때 어시스턴트가 도와드립니다.\"\n",
    "        \"<사람> 대답을 생성하지 않습니다.\"\n",
    "        \"<챗봇> 대답만 생성하세요.\"\n",
    "        \"\\n\\n{history}\\n\\n\"\n",
    "        \"<사람>: {human_input}\\n\"\n",
    "        \"<챗봇>: \"\n",
    "    ),\n",
    "    input_variables=[\"history\", \"human_input\"],\n",
    ")\n",
    "\n",
    "\n",
    "PERSON_CHATBOT_TEMPLATE = dict(\n",
    "    template=(\n",
    "        \"당신은 챗봇과 대화하는 인간입니다.\"\n",
    "        \"챗봇은 대규모 언어 모델입니다.\"\n",
    "        \"챗봇은 간단한 질문에 답하는 것부터 다양한 주제에 대한 심도 있는 설명과 토론을 제공하는 것까지 다양한 작업을 지원하도록 설계되었습니다.\"\n",
    "        \"당신은 인간이고 챗봇에게 이야기합니다.\"\n",
    "        \"챗봇에게 질문하고 대답을 기다리세요.\"\n",
    "        \"챗봇에게 이야기를 해달라고 요청할 수도 있습니다.\"\n",
    "        \"<챗봇> 대답을 생성하지 않습니다.\"\n",
    "        \"AI 대답을 생성하지 않습니다.\"\n",
    "        \"<사람> 대답만 생성하세요.\"\n",
    "        \"\\n\\n{history}\\n\\n\"\n",
    "        \"<챗봇>: {chatbot_input}\"\n",
    "        \"<사람>: \"\n",
    "    ),\n",
    "    input_variables=[\"history\", \"chatbot_input\"],\n",
    ")\n",
    "\n",
    "def build_agents():\n",
    "    # be aware that too long completions will not fit the sequence length of possible critic or reward models ...\n",
    "    llm = OpenAI(max_tokens=max_answer_lenth, temperature=0.7)\n",
    "    \n",
    "    ## 사람\n",
    "    human_template = PromptTemplate(**PERSON_CHATBOT_TEMPLATE)\n",
    "    human_agent = LLMChain(\n",
    "        llm=llm,\n",
    "        prompt=human_template,\n",
    "        memory=ConversationBufferWindowMemory(k=4),\n",
    "    )\n",
    "    bot_template = PromptTemplate(**AI_CHATBOT_TEMPLATE)\n",
    "    bot_agent = LLMChain(\n",
    "        llm=llm,\n",
    "        prompt=bot_template,\n",
    "        memory=ConversationBufferWindowMemory(k=4),\n",
    "    )\n",
    "    return human_agent, bot_agent\n",
    "\n",
    "\n",
    "def create_conversation(human_agent: LLMChain, bot_agent: LLMChain):\n",
    "    conversation = []\n",
    "    chatbot_output = \"\"\n",
    "    for idx in range(CONVERSATION_LENGTH):\n",
    "        # Human agent goes first\n",
    "        human_output = human_agent.run(chatbot_input=chatbot_output).strip().replace('\\n', ' ')\n",
    "        human_output = human_output.split('<챗봇>')[0].strip()  # 챗봇이 생성한거 같은 글은 없애자\n",
    "        conversation.append(f\"<사람>: {human_output}\")\n",
    "        \n",
    "        \n",
    "        chatbot_output = bot_agent.run(human_input=human_output).strip().replace('\\n', ' ')\n",
    "        chatbot_output = chatbot_output.split('<사람>')[0].strip()  # 사람이 생성한거 같은 글은 없애자\n",
    "        conversation.append(f\"<챗봇>: {chatbot_output}\")\n",
    "\n",
    "    one_line_conversation = '\\n'.join(conversation)\n",
    "    return one_line_conversation\n",
    "\n",
    "\n",
    "success_idx = 0\n",
    "list_conversation = []\n",
    "for conv in tqdm(range(0, num_conversations)):\n",
    "    try:\n",
    "        human_agent, bot_agent = build_agents()\n",
    "        conversation = create_conversation(human_agent, bot_agent)\n",
    "        list_conversation.append(conversation)\n",
    "\n",
    "        with open(save_path_conversation_jsonl, 'a', encoding='utf-8') as f_write:\n",
    "            f_write.write('<<start conversation>>\\n%s\\n\\n'%(conversation))\n",
    "        \n",
    "        success_idx += 1\n",
    "    \n",
    "    except:\n",
    "        pass\n",
    "    \n",
    "    if success_idx > num_conversations: break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "### 2.2) RM 데이터셋 만들기\n",
    "#### 좋은글 채점기(RM, Reword Model) 만들기\n",
    "\n",
    "- ChatGPT로 두 문장 비교하는 기능은 성능이 안좋다. 항상 두번째 문장이 좋다고 한다\n",
    "\n",
    "<img src=\"img/0_data_2.png\" width=\"500\">  \n",
    "\n",
    "- 동일한 prompt에 대해 각기 다른 3개의 출력을 생성하자\n",
    "  - 1) ChatGPT로 생성\n",
    "  - 2) GPT3로 생성('text-davinci-003')\n",
    "  - 3) GPT3로 생성('text-ada-001')\n",
    "  \n",
    "  세 결과를 섞은 후 순위를 매기자  \n",
    "  \n",
    "  \n",
    "- 데이터셋 예시\n",
    "```json\n",
    "[\n",
    "    {\n",
    "        \"prompt\": \"번디는 자신이 탐정잡지, 범죄소설 그리고 성범죄 관련 실제 범죄 다큐멘터리들을 탐독했다고 누구에게 말했나?\",\n",
    "        \"completion_0\": \"번디는 다큐멘터리 방송 감독티비 에게 말했다.\",\n",
    "        \"completion_1\": \"라이언에게 말했다.\",\n",
    "        \"completion_2\": \"It is said that the doctor said to her: \\\"You are in a condition that makes you harmful to yourself and others, but do not worry, I will take care of you.\\\" \\n\\n\\\"I am not worried about myself, why should I be?\\\" \\n\\\"Because you are aLily and should as much as possible avoid touching yourself in order to protect yourself.\\\"\",\n",
    "        \"ranking\": [\n",
    "            1,\n",
    "            0,\n",
    "            2\n",
    "        ]\n",
    "    }, ...\n",
    "```\n",
    "  \n",
    "  \n",
    "```\n",
    "data = {}\n",
    "data['prompt'] = 'prompt'\n",
    "data['chosen'] = 'good_sentence'\n",
    "data['rejected'] = 'bad_sentence'\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# run ChatGPT api function\n",
    "import openai\n",
    "import time\n",
    "\n",
    "def run_chatgpt_api(prompt='세계 최초의 교내 총기사건이 벌어진 학교가 어디야', API_KEY='', max_tokens=200, verbose=False):\n",
    "    time_start = time.time()\n",
    "    openai.api_key = API_KEY\n",
    "    retry_count = 3\n",
    "    for i in range(0, retry_count):\n",
    "        while True:\n",
    "            try:\n",
    "                completion = openai.ChatCompletion.create(\n",
    "                    model=\"gpt-3.5-turbo\",  # 사용할 openai 모델명\n",
    "                    messages=[{\"role\": \"user\", \"content\": prompt}]  # 입력 prompt\n",
    "                )\n",
    "\n",
    "                answer = completion['choices'][0]['message']['content'].strip()\n",
    "                tokens = completion.usage.total_tokens\n",
    "\n",
    "                time_end = time.time()                \n",
    "                if verbose:\n",
    "                    print('prompt: %s | token: %d | %.1fsec\\nanwer : %s'%(prompt, tokens, (time_end - time_start), answer))\n",
    "                return prompt, answer, tokens\n",
    "    \n",
    "            except Exception as error:\n",
    "                print(f\"API Error: {error}\")\n",
    "                print(f\"Retrying {i+1} time(s) in 4 seconds...\")\n",
    "                \n",
    "                if i+1 == retry_count:\n",
    "                    return prompt, None, None\n",
    "                time.sleep(4)\n",
    "                continue\n",
    "\n",
    "\n",
    "API_KEY = 'sk-XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'  # 개인 API키 입력\n",
    "\n",
    "                \n",
    "prompt = '세계 최초의 교내 총기사건이 벌어진 학교가 어디야??'\n",
    "prompt, answer, tokens = run_chatgpt_api(prompt=prompt, API_KEY=API_KEY, verbose=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# run openai api function\n",
    "import openai\n",
    "import time\n",
    "\n",
    "def run_openai_api(prompt='세계 최초의 교내 총기사건이 벌어진 학교가 어디야', model_name='text-davinci-003', API_KEY='', max_tokens=200, verbose=False):\n",
    "    time_start = time.time()\n",
    "    openai.api_key = API_KEY\n",
    "    retry_count = 3\n",
    "    for i in range(0, retry_count):\n",
    "        while True:\n",
    "            try:\n",
    "                completion = openai.Completion.create(\n",
    "                    prompt = prompt,  # 질문\n",
    "                    model = model_name,  # 사용할 openai 모델(text-davinci-003, gpt-3.5-turbo, ...)\n",
    "                    max_tokens=300, # 생성 최대 길이\n",
    "                    temperature=0.1,  # 샘플링 정도, 0~1 (0은 정의된답, 1은 창의적인 답)\n",
    "                    n=1,  # 몇개의 텍스트 생성?\n",
    "                )                \n",
    "                \n",
    "                answer = completion.choices[0].text.lstrip('?\\n\\n').strip()\n",
    "                tokens = completion.usage.total_tokens\n",
    "                \n",
    "                \n",
    "                time_end = time.time()                \n",
    "                if verbose:\n",
    "                    print('prompt: %s | token: %d | %.1fsec\\nanwer : %s'%(prompt, tokens, (time_end - time_start), answer))\n",
    "                return prompt, answer, tokens, completion\n",
    "    \n",
    "            except Exception as error:\n",
    "                print(f\"API Error: {error}\")\n",
    "                print(f\"Retrying {i+1} time(s) in 4 seconds...\")\n",
    "                \n",
    "                if i+1 == retry_count:\n",
    "                    return prompt, None, None, None\n",
    "                time.sleep(4)\n",
    "                continue\n",
    "\n",
    "\n",
    "API_KEY = 'sk-XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'  # 개인 API키 입력\n",
    "model_name='text-davinci-003'  # 통과\n",
    "# model_name='text-ada-001'  # 꼴지\n",
    "\n",
    "\n",
    "prompt = '세계 최초의 교내 총기사건이 벌어진 학교가 어디야??'\n",
    "prompt, answer, tokens, completion = run_openai_api(prompt=prompt, model_name=model_name, API_KEY=API_KEY, verbose=True)\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>prompt</th>\n",
       "      <th>completion</th>\n",
       "      <th>tokens</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>불고기용 고기 한우에요?</td>\n",
       "      <td>'저는 인공지능 챗봇이며, 직접적으로 식품에 관한 정보를 가지고 있지 않습니다. 하...</td>\n",
       "      <td>193</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>쓰던 앱이 유료로 전환됐어</td>\n",
       "      <td>'어떤 앱인지 모르기 때문에 정확한 답변을 드리기 어렵습니다. 하지만, 일반적으로 ...</td>\n",
       "      <td>288</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>여친이랑 다툼</td>\n",
       "      <td>'저는 인공지능이기 때문에 여친과의 다툼에 대해서는 조언을 드릴 수는 없습니다. 하...</td>\n",
       "      <td>153</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>술 먹고 싶어</td>\n",
       "      <td>'술은 알코올이 함유된 음료수이며, 건강에 나쁜 영향을 미칠 수 있습니다. 따라서 ...</td>\n",
       "      <td>189</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>잊고싶다.</td>\n",
       "      <td>'저도 인공지능 엔진으로써 사용자의 개인정보나 감정을 침해할 수 없습니다. 그렇기 ...</td>\n",
       "      <td>147</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11995</th>\n",
       "      <td>내일 개강총회인데 짝녀한테 어떻게 잘 보이지.</td>\n",
       "      <td>'제가 AI 모델이기 때문에 남성인점 참고 부탁드립니다. 다음과 같이 제안드립니다....</td>\n",
       "      <td>411</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11996</th>\n",
       "      <td>역세권이에요?</td>\n",
       "      <td>\"저는 인공지능 언어모델이어서 지리적인 개념을 이해하는 데 한계가 있습니다. 반면,...</td>\n",
       "      <td>232</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11997</th>\n",
       "      <td>암호화폐를 분산 저장하여 운영 관리 될 수 있도록 하는 인터넷상의 방식은?</td>\n",
       "      <td>'블록체인 기술을 사용하여 암호화폐를 분산 저장하여 운영 및 관리하는 것을 의미합니...</td>\n",
       "      <td>214</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11998</th>\n",
       "      <td>가출해도 갈 데가 없어</td>\n",
       "      <td>'그렇다면, 우선적으로 생활에 필요한 것들을 생각해보시는 것이 좋습니다. 가장 먼저...</td>\n",
       "      <td>473</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11999</th>\n",
       "      <td>목포극장 개업일은</td>\n",
       "      <td>'제가 알기로는 정확한 날짜를 알 수 없습니다. 재개발로 구조가 변경되고 리모델링 ...</td>\n",
       "      <td>120</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>12000 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                          prompt  \\\n",
       "0                                  불고기용 고기 한우에요?   \n",
       "1                                 쓰던 앱이 유료로 전환됐어   \n",
       "2                                        여친이랑 다툼   \n",
       "3                                        술 먹고 싶어   \n",
       "4                                          잊고싶다.   \n",
       "...                                          ...   \n",
       "11995                  내일 개강총회인데 짝녀한테 어떻게 잘 보이지.   \n",
       "11996                                    역세권이에요?   \n",
       "11997  암호화폐를 분산 저장하여 운영 관리 될 수 있도록 하는 인터넷상의 방식은?   \n",
       "11998                               가출해도 갈 데가 없어   \n",
       "11999                                  목포극장 개업일은   \n",
       "\n",
       "                                              completion  tokens  \n",
       "0      '저는 인공지능 챗봇이며, 직접적으로 식품에 관한 정보를 가지고 있지 않습니다. 하...     193  \n",
       "1      '어떤 앱인지 모르기 때문에 정확한 답변을 드리기 어렵습니다. 하지만, 일반적으로 ...     288  \n",
       "2      '저는 인공지능이기 때문에 여친과의 다툼에 대해서는 조언을 드릴 수는 없습니다. 하...     153  \n",
       "3      '술은 알코올이 함유된 음료수이며, 건강에 나쁜 영향을 미칠 수 있습니다. 따라서 ...     189  \n",
       "4      '저도 인공지능 엔진으로써 사용자의 개인정보나 감정을 침해할 수 없습니다. 그렇기 ...     147  \n",
       "...                                                  ...     ...  \n",
       "11995  '제가 AI 모델이기 때문에 남성인점 참고 부탁드립니다. 다음과 같이 제안드립니다....     411  \n",
       "11996  \"저는 인공지능 언어모델이어서 지리적인 개념을 이해하는 데 한계가 있습니다. 반면,...     232  \n",
       "11997  '블록체인 기술을 사용하여 암호화폐를 분산 저장하여 운영 및 관리하는 것을 의미합니...     214  \n",
       "11998  '그렇다면, 우선적으로 생활에 필요한 것들을 생각해보시는 것이 좋습니다. 가장 먼저...     473  \n",
       "11999  '제가 알기로는 정확한 날짜를 알 수 없습니다. 재개발로 구조가 변경되고 리모델링 ...     120  \n",
       "\n",
       "[12000 rows x 3 columns]"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# config\n",
    "read_sft_jsonl_path = './data_kochatgpt/kochatgpt_1_SFT.jsonl'  # SFT에서 미리 구한 prompt와 chatgpt 응답을 가져오자\n",
    "save_RM_jsonl_path = './data_kochatgpt/kochatgpt_2_RM.jsonl'  # RM 데이터셋 저장 경로\n",
    "N_sample = 10000  # 몇개의 데이터를 만들까, (~12000)\n",
    "\n",
    "\n",
    "## 1) SFT에서 미리 구한 prompt와 chatgpt 응답을 가져오자\n",
    "import json\n",
    "import pandas as pd\n",
    "import random\n",
    "random.seed(230317)\n",
    "from tqdm import tqdm\n",
    "\n",
    "with open(read_sft_jsonl_path, \"r\", encoding='utf-8-sig') as json_file:\n",
    "    list_api_result_jsonl_load = json.load(json_file)\n",
    "\n",
    "df = pd.DataFrame(list_api_result_jsonl_load)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [],
   "source": [
    "## 2) 전체 질문 답 쌍중 N개 질문 추출 후 GPT3-davinci, GPT3-ada 모델을 돌리자\n",
    "df_sample = df.sample(n=N_sample, random_state=230317)\n",
    "\n",
    "# 500개의 질문만 선택\n",
    "list_prompt = df_sample['prompt'].tolist()\n",
    "# 미리 구해놓은 질문에 대한 chatgpt 응답 저장\n",
    "list_completion_chatgpt = df_sample['completion'].tolist()\n",
    "list_completion_chatgpt = [tmp.strip('\\'') for tmp in list_completion_chatgpt]\n",
    "\n",
    "# GPT3-davince와 GPT3-ada 모델로도 같은 질문에 대한 응답 구하기\n",
    "list_completion_davinci, list_completion_ada = [], []\n",
    "for idx, prompt in tqdm(enumerate(list_prompt)):\n",
    "    \n",
    "    try:\n",
    "        model_name='text-davinci-003'  # GPT3 성능 괜찮은 모델\n",
    "        _, completion_davinci, _, _ = run_openai_api(prompt=prompt, model_name=model_name, API_KEY=API_KEY, verbose=False)\n",
    "        list_completion_davinci.append(completion_davinci)\n",
    "\n",
    "        model_name='text-ada-001'  # GPT3중 성능 안좋은 모델\n",
    "        _, completion_ada, _, _ = run_openai_api(prompt=prompt, model_name=model_name, API_KEY=API_KEY, verbose=False)\n",
    "        list_completion_ada.append(completion_ada)\n",
    "    except Exception as error:\n",
    "        print(idx, error)\n",
    "        pass\n",
    "    \n",
    "    \n",
    "# # 한번에 20개씩 가능\n",
    "# window_size = 20\n",
    "\n",
    "# list_prompt_tmp_total, list_chatgpt_tmp_total = [], []\n",
    "# list_davinci_tmp_total, list_ada_tmp_total = [], []\n",
    "# for ii in tqdm(list(range(1940, 11000, 20))):\n",
    "\n",
    "#     try:\n",
    "\n",
    "#         prompt = list_prompt[ii : ii+window_size]\n",
    "#         tmp_chatgpt = list_completion_chatgpt[ii : ii+window_size]\n",
    "\n",
    "#         model_name='text-davinci-003'  # GPT3 성능 괜찮은 모델\n",
    "#         # _, completion_davinci, _, _ = run_openai_api(prompt=prompt, model_name=model_name, API_KEY=API_KEY, verbose=False)\n",
    "#         # list_completion_davinci.append(completion_davinci)\n",
    "\n",
    "\n",
    "#         completion = openai.Completion.create(\n",
    "#             prompt = prompt,  # 질문\n",
    "#             model = model_name,  # 사용할 openai 모델(text-davinci-003, gpt-3.5-turbo, ...)\n",
    "#             max_tokens=300, # 생성 최대 길이\n",
    "#             temperature=0.1,  # 샘플링 정도, 0~1 (0은 정의된답, 1은 창의적인 답)\n",
    "#             n=1,  # 몇개의 텍스트 생성?\n",
    "#         )\n",
    "\n",
    "#         completion_davinci = completion\n",
    "\n",
    "#         model_name='text-ada-001'   # GPT3 성능 괜찮은 모델\n",
    "#         # _, completion_davinci, _, _ = run_openai_api(prompt=prompt, model_name=model_name, API_KEY=API_KEY, verbose=False)\n",
    "#         # list_completion_davinci.append(completion_davinci)\n",
    "\n",
    "\n",
    "#         completion = openai.Completion.create(\n",
    "#             prompt = prompt,  # 질문\n",
    "#             model = model_name,  # 사용할 openai 모델(text-davinci-003, gpt-3.5-turbo, ...)\n",
    "#             max_tokens=300, # 생성 최대 길이\n",
    "#             temperature=0.1,  # 샘플링 정도, 0~1 (0은 정의된답, 1은 창의적인 답)\n",
    "#             n=1,  # 몇개의 텍스트 생성?\n",
    "#         )\n",
    "\n",
    "#         completion_ada = completion\n",
    "\n",
    "\n",
    "#         tmp_list_davinci_tmp = [tmp.text.lstrip('?\\n\\n').strip() for tmp in completion_davinci.choices]\n",
    "#         tmp_list_ada_tmp = [tmp.text.lstrip('?\\n\\n').strip() for tmp in completion_ada.choices]\n",
    "\n",
    "#         list_prompt_tmp_total.extend(prompt)\n",
    "#         list_chatgpt_tmp_total.extend(tmp_chatgpt)\n",
    "#         list_davinci_tmp_total.extend(tmp_list_davinci_tmp)\n",
    "#         list_ada_tmp_total.extend(tmp_list_ada_tmp)\n",
    "\n",
    "#     except Exception as error:\n",
    "#         print(f\"API Error: {error}\")                \n",
    "#         continue\n",
    "\n",
    "\n",
    "# dataframe으로 만들기\n",
    "df_RM_total = pd.DataFrame(zip(list_prompt, list_completion_chatgpt, list_completion_davinci, list_completion_ada), \n",
    "                     columns = ['prompt', 'chatgpt', 'davince', 'ada'])\n",
    "\n",
    "df_RM_total"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>prompt</th>\n",
       "      <th>chatgpt</th>\n",
       "      <th>davince</th>\n",
       "      <th>ada</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>번디는 자신이 탐정잡지, 범죄소설 그리고 성범죄 관련 실제 범죄 다큐멘터리들을 탐독...</td>\n",
       "      <td>라이언에게 말했다.</td>\n",
       "      <td>번디는 다양한 인터뷰자들과 뉴스홍보 담당자들과의 면담 때 밝혔다.</td>\n",
       "      <td>Allow me to answer your question. I know that ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>개포주공아파트는 몇 단지로 이루어져 있나?</td>\n",
       "      <td>개포주공아파트는 총 27개 단지로 이루어져 있습니다.</td>\n",
       "      <td>개포주공아파트는 다섯 단지로 이루어져 있습니다.</td>\n",
       "      <td>이날 목송에서 구글상위노</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>김영삼의 후보 시절 지역표심을 겨냥한 발언을 문제삼은 후보는?</td>\n",
       "      <td>이 질문은 조금 불분명합니다. 김영삼 대통령이 후보 시절에 어떤 발언을 했고, 누가...</td>\n",
       "      <td>김영삼의 후보 시절에 지역표심을 겨냥한 발언은 대통령 당선 전까지 대한민국 정부가 ...</td>\n",
       "      <td>The diameter of the Metallic domain is bigger ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>페르시아로부터 기원된 아랍요리의 특징이 뭐야</td>\n",
       "      <td>1. 다양한 스파이스와 허브 사용\\n2. 쌀, 콩, 나물, 고기, 양파 등 다양한 ...</td>\n",
       "      <td>- 아랍요리는 소금, 산 재료, 일부 채소, 고기, 생선 또는 난류의 조합으로 만들...</td>\n",
       "      <td>위한 태야 대표 기원들 개인이라 겪고 태야\\n\\n\\n귀식 걸 공개한 구문\\n\\n사띩...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>중화인민공화국의 기본 법률은 누가 제정 및 개정하는가?</td>\n",
       "      <td>중화인민공화국의 기본 법률은 중국인민대표대회(국회)가 제정하고 개정합니다.</td>\n",
       "      <td>중화인민공화국의 기본 법률은 중화인민공화국의 의회가 제정 및 개정합니다.</td>\n",
       "      <td>The limit of the Office of the Vice President is?</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10215</th>\n",
       "      <td>야세르 아라파트 국제공항은 어느 나라에 있어</td>\n",
       "      <td>야세르 아라파트 국제공항은 터키에 위치해 있습니다.</td>\n",
       "      <td>요?\\n\\n야세르 아라파트 국제공항은 아랍 에미리트 연합의 두바이에 있습니다.</td>\n",
       "      <td>야세르 국제공항은 어느 나라에 있어\\n\\n야세르 국제공항은 이상 국가 폭태들 국가 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10216</th>\n",
       "      <td>핸드폰이 잘 안돼</td>\n",
       "      <td>할 일:\\n\\n1. 배터리를 확인하세요. 배터리가 항상 충전되어 있지 않은 경우 핸...</td>\n",
       "      <td>요\\n\\n1. 먼저 핸드폰의 배터리를 꼭 확인해 보세요. 배터리가 부족한 경우 핸드...</td>\n",
       "      <td>가는 것 같았다.\\n\\nThey (the subject) said that.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10217</th>\n",
       "      <td>토트백은 없나요?</td>\n",
       "      <td>죄송합니다. 저는 AI 언어 모델로써 실시간으로 답변을 해드리고 있기 때문에, 어떤...</td>\n",
       "      <td>아직 제품이 출시되지 않았습니다.</td>\n",
       "      <td>사용자들 개인개석을 하고, 토트백을 하고, 기별 개인개석을 하고, 기별 개인개석을 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10218</th>\n",
       "      <td>딱 좋아</td>\n",
       "      <td>그러게요! 좋아하면 사랑하는 마음으로 즐겨보세요!</td>\n",
       "      <td>딱 좋아요! 나는 이 노래를 정말 좋아합니다. 노래는 정말 좋은 멜로디와 가사로 이...</td>\n",
       "      <td>한다고한다\\n\\n다시 그런데 태민이 개인을 토려한 것 같다는 것도 가지다\\n\\n\\n...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10219</th>\n",
       "      <td>아 네 선생님 서류 확인 하겠습니다. 차 번호 어떻게 됩니까?</td>\n",
       "      <td>죄송합니다. 저는 인공지능 어시스턴트이므로 차량 번호를 확인할 수 없습니다. 해당 ...</td>\n",
       "      <td>내 차번호는 번호판에 적힌 것과 동일합니다.</td>\n",
       "      <td>-아무래들 같은 것 같앗들 같앗 \\n\\n-다시 같은 것 같앗들 같앗 \\n\\n-다시 ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>10220 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                  prompt  \\\n",
       "0      번디는 자신이 탐정잡지, 범죄소설 그리고 성범죄 관련 실제 범죄 다큐멘터리들을 탐독...   \n",
       "1                                개포주공아파트는 몇 단지로 이루어져 있나?   \n",
       "2                     김영삼의 후보 시절 지역표심을 겨냥한 발언을 문제삼은 후보는?   \n",
       "3                               페르시아로부터 기원된 아랍요리의 특징이 뭐야   \n",
       "4                         중화인민공화국의 기본 법률은 누가 제정 및 개정하는가?   \n",
       "...                                                  ...   \n",
       "10215                           야세르 아라파트 국제공항은 어느 나라에 있어   \n",
       "10216                                          핸드폰이 잘 안돼   \n",
       "10217                                          토트백은 없나요?   \n",
       "10218                                               딱 좋아   \n",
       "10219                 아 네 선생님 서류 확인 하겠습니다. 차 번호 어떻게 됩니까?   \n",
       "\n",
       "                                                 chatgpt  \\\n",
       "0                                             라이언에게 말했다.   \n",
       "1                          개포주공아파트는 총 27개 단지로 이루어져 있습니다.   \n",
       "2      이 질문은 조금 불분명합니다. 김영삼 대통령이 후보 시절에 어떤 발언을 했고, 누가...   \n",
       "3      1. 다양한 스파이스와 허브 사용\\n2. 쌀, 콩, 나물, 고기, 양파 등 다양한 ...   \n",
       "4              중화인민공화국의 기본 법률은 중국인민대표대회(국회)가 제정하고 개정합니다.   \n",
       "...                                                  ...   \n",
       "10215                       야세르 아라파트 국제공항은 터키에 위치해 있습니다.   \n",
       "10216  할 일:\\n\\n1. 배터리를 확인하세요. 배터리가 항상 충전되어 있지 않은 경우 핸...   \n",
       "10217  죄송합니다. 저는 AI 언어 모델로써 실시간으로 답변을 해드리고 있기 때문에, 어떤...   \n",
       "10218                        그러게요! 좋아하면 사랑하는 마음으로 즐겨보세요!   \n",
       "10219  죄송합니다. 저는 인공지능 어시스턴트이므로 차량 번호를 확인할 수 없습니다. 해당 ...   \n",
       "\n",
       "                                                 davince  \\\n",
       "0                   번디는 다양한 인터뷰자들과 뉴스홍보 담당자들과의 면담 때 밝혔다.   \n",
       "1                             개포주공아파트는 다섯 단지로 이루어져 있습니다.   \n",
       "2      김영삼의 후보 시절에 지역표심을 겨냥한 발언은 대통령 당선 전까지 대한민국 정부가 ...   \n",
       "3      - 아랍요리는 소금, 산 재료, 일부 채소, 고기, 생선 또는 난류의 조합으로 만들...   \n",
       "4               중화인민공화국의 기본 법률은 중화인민공화국의 의회가 제정 및 개정합니다.   \n",
       "...                                                  ...   \n",
       "10215        요?\\n\\n야세르 아라파트 국제공항은 아랍 에미리트 연합의 두바이에 있습니다.   \n",
       "10216  요\\n\\n1. 먼저 핸드폰의 배터리를 꼭 확인해 보세요. 배터리가 부족한 경우 핸드...   \n",
       "10217                                 아직 제품이 출시되지 않았습니다.   \n",
       "10218  딱 좋아요! 나는 이 노래를 정말 좋아합니다. 노래는 정말 좋은 멜로디와 가사로 이...   \n",
       "10219                           내 차번호는 번호판에 적힌 것과 동일합니다.   \n",
       "\n",
       "                                                     ada  \n",
       "0      Allow me to answer your question. I know that ...  \n",
       "1                                          이날 목송에서 구글상위노  \n",
       "2      The diameter of the Metallic domain is bigger ...  \n",
       "3      위한 태야 대표 기원들 개인이라 겪고 태야\\n\\n\\n귀식 걸 공개한 구문\\n\\n사띩...  \n",
       "4      The limit of the Office of the Vice President is?  \n",
       "...                                                  ...  \n",
       "10215  야세르 국제공항은 어느 나라에 있어\\n\\n야세르 국제공항은 이상 국가 폭태들 국가 ...  \n",
       "10216         가는 것 같았다.\\n\\nThey (the subject) said that.  \n",
       "10217  사용자들 개인개석을 하고, 토트백을 하고, 기별 개인개석을 하고, 기별 개인개석을 ...  \n",
       "10218  한다고한다\\n\\n다시 그런데 태민이 개인을 토려한 것 같다는 것도 가지다\\n\\n\\n...  \n",
       "10219  -아무래들 같은 것 같앗들 같앗 \\n\\n-다시 같은 것 같앗들 같앗 \\n\\n-다시 ...  \n",
       "\n",
       "[10220 rows x 4 columns]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# # save dataframe to pickle file\n",
    "df_RM_total.to_pickle('./data_kochatgpt/df_RM_total.pkl')\n",
    "df_RM_total = pd.read_pickle('./data_kochatgpt/df_RM_total.pkl')#.reset_index(drop=True)\n",
    "df_RM_total"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>prompt</th>\n",
       "      <th>completion_0</th>\n",
       "      <th>completion_1</th>\n",
       "      <th>completion_2</th>\n",
       "      <th>ranking</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>번디는 자신이 탐정잡지, 범죄소설 그리고 성범죄 관련 실제 범죄 다큐멘터리들을 탐독...</td>\n",
       "      <td>Allow me to answer your question. I know that ...</td>\n",
       "      <td>라이언에게 말했다.</td>\n",
       "      <td>번디는 다양한 인터뷰자들과 뉴스홍보 담당자들과의 면담 때 밝혔다.</td>\n",
       "      <td>[1, 2, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>개포주공아파트는 몇 단지로 이루어져 있나?</td>\n",
       "      <td>이날 목송에서 구글상위노</td>\n",
       "      <td>개포주공아파트는 총 27개 단지로 이루어져 있습니다.</td>\n",
       "      <td>개포주공아파트는 다섯 단지로 이루어져 있습니다.</td>\n",
       "      <td>[1, 2, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>김영삼의 후보 시절 지역표심을 겨냥한 발언을 문제삼은 후보는?</td>\n",
       "      <td>The diameter of the Metallic domain is bigger ...</td>\n",
       "      <td>이 질문은 조금 불분명합니다. 김영삼 대통령이 후보 시절에 어떤 발언을 했고, 누가...</td>\n",
       "      <td>김영삼의 후보 시절에 지역표심을 겨냥한 발언은 대통령 당선 전까지 대한민국 정부가 ...</td>\n",
       "      <td>[1, 2, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>페르시아로부터 기원된 아랍요리의 특징이 뭐야</td>\n",
       "      <td>위한 태야 대표 기원들 개인이라 겪고 태야\\n\\n\\n귀식 걸 공개한 구문\\n\\n사띩...</td>\n",
       "      <td>1. 다양한 스파이스와 허브 사용\\n2. 쌀, 콩, 나물, 고기, 양파 등 다양한 ...</td>\n",
       "      <td>- 아랍요리는 소금, 산 재료, 일부 채소, 고기, 생선 또는 난류의 조합으로 만들...</td>\n",
       "      <td>[1, 2, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>중화인민공화국의 기본 법률은 누가 제정 및 개정하는가?</td>\n",
       "      <td>The limit of the Office of the Vice President is?</td>\n",
       "      <td>중화인민공화국의 기본 법률은 중화인민공화국의 의회가 제정 및 개정합니다.</td>\n",
       "      <td>중화인민공화국의 기본 법률은 중국인민대표대회(국회)가 제정하고 개정합니다.</td>\n",
       "      <td>[2, 1, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10215</th>\n",
       "      <td>야세르 아라파트 국제공항은 어느 나라에 있어</td>\n",
       "      <td>요?\\n\\n야세르 아라파트 국제공항은 아랍 에미리트 연합의 두바이에 있습니다.</td>\n",
       "      <td>야세르 아라파트 국제공항은 터키에 위치해 있습니다.</td>\n",
       "      <td>야세르 국제공항은 어느 나라에 있어\\n\\n야세르 국제공항은 이상 국가 폭태들 국가 ...</td>\n",
       "      <td>[1, 0, 2]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10216</th>\n",
       "      <td>핸드폰이 잘 안돼</td>\n",
       "      <td>요\\n\\n1. 먼저 핸드폰의 배터리를 꼭 확인해 보세요. 배터리가 부족한 경우 핸드...</td>\n",
       "      <td>할 일:\\n\\n1. 배터리를 확인하세요. 배터리가 항상 충전되어 있지 않은 경우 핸...</td>\n",
       "      <td>가는 것 같았다.\\n\\nThey (the subject) said that.</td>\n",
       "      <td>[1, 0, 2]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10217</th>\n",
       "      <td>토트백은 없나요?</td>\n",
       "      <td>죄송합니다. 저는 AI 언어 모델로써 실시간으로 답변을 해드리고 있기 때문에, 어떤...</td>\n",
       "      <td>아직 제품이 출시되지 않았습니다.</td>\n",
       "      <td>사용자들 개인개석을 하고, 토트백을 하고, 기별 개인개석을 하고, 기별 개인개석을 ...</td>\n",
       "      <td>[0, 1, 2]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10218</th>\n",
       "      <td>딱 좋아</td>\n",
       "      <td>딱 좋아요! 나는 이 노래를 정말 좋아합니다. 노래는 정말 좋은 멜로디와 가사로 이...</td>\n",
       "      <td>한다고한다\\n\\n다시 그런데 태민이 개인을 토려한 것 같다는 것도 가지다\\n\\n\\n...</td>\n",
       "      <td>그러게요! 좋아하면 사랑하는 마음으로 즐겨보세요!</td>\n",
       "      <td>[2, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10219</th>\n",
       "      <td>아 네 선생님 서류 확인 하겠습니다. 차 번호 어떻게 됩니까?</td>\n",
       "      <td>죄송합니다. 저는 인공지능 어시스턴트이므로 차량 번호를 확인할 수 없습니다. 해당 ...</td>\n",
       "      <td>내 차번호는 번호판에 적힌 것과 동일합니다.</td>\n",
       "      <td>-아무래들 같은 것 같앗들 같앗 \\n\\n-다시 같은 것 같앗들 같앗 \\n\\n-다시 ...</td>\n",
       "      <td>[0, 1, 2]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>10220 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                  prompt  \\\n",
       "0      번디는 자신이 탐정잡지, 범죄소설 그리고 성범죄 관련 실제 범죄 다큐멘터리들을 탐독...   \n",
       "1                                개포주공아파트는 몇 단지로 이루어져 있나?   \n",
       "2                     김영삼의 후보 시절 지역표심을 겨냥한 발언을 문제삼은 후보는?   \n",
       "3                               페르시아로부터 기원된 아랍요리의 특징이 뭐야   \n",
       "4                         중화인민공화국의 기본 법률은 누가 제정 및 개정하는가?   \n",
       "...                                                  ...   \n",
       "10215                           야세르 아라파트 국제공항은 어느 나라에 있어   \n",
       "10216                                          핸드폰이 잘 안돼   \n",
       "10217                                          토트백은 없나요?   \n",
       "10218                                               딱 좋아   \n",
       "10219                 아 네 선생님 서류 확인 하겠습니다. 차 번호 어떻게 됩니까?   \n",
       "\n",
       "                                            completion_0  \\\n",
       "0      Allow me to answer your question. I know that ...   \n",
       "1                                          이날 목송에서 구글상위노   \n",
       "2      The diameter of the Metallic domain is bigger ...   \n",
       "3      위한 태야 대표 기원들 개인이라 겪고 태야\\n\\n\\n귀식 걸 공개한 구문\\n\\n사띩...   \n",
       "4      The limit of the Office of the Vice President is?   \n",
       "...                                                  ...   \n",
       "10215        요?\\n\\n야세르 아라파트 국제공항은 아랍 에미리트 연합의 두바이에 있습니다.   \n",
       "10216  요\\n\\n1. 먼저 핸드폰의 배터리를 꼭 확인해 보세요. 배터리가 부족한 경우 핸드...   \n",
       "10217  죄송합니다. 저는 AI 언어 모델로써 실시간으로 답변을 해드리고 있기 때문에, 어떤...   \n",
       "10218  딱 좋아요! 나는 이 노래를 정말 좋아합니다. 노래는 정말 좋은 멜로디와 가사로 이...   \n",
       "10219  죄송합니다. 저는 인공지능 어시스턴트이므로 차량 번호를 확인할 수 없습니다. 해당 ...   \n",
       "\n",
       "                                            completion_1  \\\n",
       "0                                             라이언에게 말했다.   \n",
       "1                          개포주공아파트는 총 27개 단지로 이루어져 있습니다.   \n",
       "2      이 질문은 조금 불분명합니다. 김영삼 대통령이 후보 시절에 어떤 발언을 했고, 누가...   \n",
       "3      1. 다양한 스파이스와 허브 사용\\n2. 쌀, 콩, 나물, 고기, 양파 등 다양한 ...   \n",
       "4               중화인민공화국의 기본 법률은 중화인민공화국의 의회가 제정 및 개정합니다.   \n",
       "...                                                  ...   \n",
       "10215                       야세르 아라파트 국제공항은 터키에 위치해 있습니다.   \n",
       "10216  할 일:\\n\\n1. 배터리를 확인하세요. 배터리가 항상 충전되어 있지 않은 경우 핸...   \n",
       "10217                                 아직 제품이 출시되지 않았습니다.   \n",
       "10218  한다고한다\\n\\n다시 그런데 태민이 개인을 토려한 것 같다는 것도 가지다\\n\\n\\n...   \n",
       "10219                           내 차번호는 번호판에 적힌 것과 동일합니다.   \n",
       "\n",
       "                                            completion_2    ranking  \n",
       "0                   번디는 다양한 인터뷰자들과 뉴스홍보 담당자들과의 면담 때 밝혔다.  [1, 2, 0]  \n",
       "1                             개포주공아파트는 다섯 단지로 이루어져 있습니다.  [1, 2, 0]  \n",
       "2      김영삼의 후보 시절에 지역표심을 겨냥한 발언은 대통령 당선 전까지 대한민국 정부가 ...  [1, 2, 0]  \n",
       "3      - 아랍요리는 소금, 산 재료, 일부 채소, 고기, 생선 또는 난류의 조합으로 만들...  [1, 2, 0]  \n",
       "4              중화인민공화국의 기본 법률은 중국인민대표대회(국회)가 제정하고 개정합니다.  [2, 1, 0]  \n",
       "...                                                  ...        ...  \n",
       "10215  야세르 국제공항은 어느 나라에 있어\\n\\n야세르 국제공항은 이상 국가 폭태들 국가 ...  [1, 0, 2]  \n",
       "10216         가는 것 같았다.\\n\\nThey (the subject) said that.  [1, 0, 2]  \n",
       "10217  사용자들 개인개석을 하고, 토트백을 하고, 기별 개인개석을 하고, 기별 개인개석을 ...  [0, 1, 2]  \n",
       "10218                        그러게요! 좋아하면 사랑하는 마음으로 즐겨보세요!  [2, 0, 1]  \n",
       "10219  -아무래들 같은 것 같앗들 같앗 \\n\\n-다시 같은 것 같앗들 같앗 \\n\\n-다시 ...  [0, 1, 2]  \n",
       "\n",
       "[10220 rows x 5 columns]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 골고루 섞은 후 순위를 매기자\n",
    "list_prompt, list_completion_0, list_completion_1, list_completion_2, list_ranking = [], [], [], [], []\n",
    "for ii in range(len(df_RM_total)):\n",
    "\n",
    "    try:\n",
    "        ranking = [0, 1, 2]\n",
    "        random.shuffle(ranking)  # [2, 3, 1], 랜덤으로 변함\n",
    "\n",
    "        prompt = df_RM_total.iloc[ii].tolist()[0]\n",
    "\n",
    "        tmp_sentences = df_RM_total.iloc[ii].tolist()[1:]\n",
    "\n",
    "        completion_tmp = [None, None, None]\n",
    "        completion_tmp[ranking[0]] = tmp_sentences[0]\n",
    "        completion_tmp[ranking[1]] = tmp_sentences[1]\n",
    "        completion_tmp[ranking[2]] = tmp_sentences[2]\n",
    "\n",
    "        completion_0 = completion_tmp[0]\n",
    "        completion_1 = completion_tmp[1]\n",
    "        completion_2 = completion_tmp[2]\n",
    "\n",
    "        list_prompt.append(prompt)\n",
    "        list_completion_0.append(completion_0)\n",
    "        list_completion_1.append(completion_1)\n",
    "        list_completion_2.append(completion_2)\n",
    "        list_ranking.append(ranking)\n",
    "    except Exception as error:\n",
    "        print(ii, error)\n",
    "        pass\n",
    "        \n",
    "        \n",
    "# dataframe으로 만들기\n",
    "df_RM_순위 = pd.DataFrame(zip(list_prompt, list_completion_0, list_completion_1, list_completion_2, list_ranking),\n",
    "                        columns = ['prompt', 'completion_0', 'completion_1', 'completion_2', 'ranking'])\n",
    "# jsonl 형태로 저장\n",
    "df_to_jsonl = json.loads(df_RM_순위.to_json(orient = 'records'))\n",
    "with open(save_RM_jsonl_path, \"w\", encoding='utf-8') as json_file:\n",
    "    json.dump(df_to_jsonl, json_file, indent=4, ensure_ascii=False)\n",
    "\n",
    "df_RM_순위"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "### 2.3) PPO 학습 데이터셋 만들기\n",
    "\n",
    "- RLHF 훈련에 사용할 prompt 입력데이터\n",
    "- SFT 데이터셋에서 prompt만 가져와서 jsonl 형태로 변형후 저장\n",
    "\n",
    "```json\n",
    "[\n",
    "    {\n",
    "        \"prompt\": \"\"\n",
    "    },\n",
    "    {\n",
    "        \"prompt\": \"\"\n",
    "    }, ...    \n",
    "]\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>prompt</th>\n",
       "      <th>completion</th>\n",
       "      <th>tokens</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>불고기용 고기 한우에요?</td>\n",
       "      <td>'저는 인공지능 챗봇이며, 직접적으로 식품에 관한 정보를 가지고 있지 않습니다. 하...</td>\n",
       "      <td>193</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>쓰던 앱이 유료로 전환됐어</td>\n",
       "      <td>'어떤 앱인지 모르기 때문에 정확한 답변을 드리기 어렵습니다. 하지만, 일반적으로 ...</td>\n",
       "      <td>288</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>여친이랑 다툼</td>\n",
       "      <td>'저는 인공지능이기 때문에 여친과의 다툼에 대해서는 조언을 드릴 수는 없습니다. 하...</td>\n",
       "      <td>153</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>술 먹고 싶어</td>\n",
       "      <td>'술은 알코올이 함유된 음료수이며, 건강에 나쁜 영향을 미칠 수 있습니다. 따라서 ...</td>\n",
       "      <td>189</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>잊고싶다.</td>\n",
       "      <td>'저도 인공지능 엔진으로써 사용자의 개인정보나 감정을 침해할 수 없습니다. 그렇기 ...</td>\n",
       "      <td>147</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11995</th>\n",
       "      <td>내일 개강총회인데 짝녀한테 어떻게 잘 보이지.</td>\n",
       "      <td>'제가 AI 모델이기 때문에 남성인점 참고 부탁드립니다. 다음과 같이 제안드립니다....</td>\n",
       "      <td>411</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11996</th>\n",
       "      <td>역세권이에요?</td>\n",
       "      <td>\"저는 인공지능 언어모델이어서 지리적인 개념을 이해하는 데 한계가 있습니다. 반면,...</td>\n",
       "      <td>232</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11997</th>\n",
       "      <td>암호화폐를 분산 저장하여 운영 관리 될 수 있도록 하는 인터넷상의 방식은?</td>\n",
       "      <td>'블록체인 기술을 사용하여 암호화폐를 분산 저장하여 운영 및 관리하는 것을 의미합니...</td>\n",
       "      <td>214</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11998</th>\n",
       "      <td>가출해도 갈 데가 없어</td>\n",
       "      <td>'그렇다면, 우선적으로 생활에 필요한 것들을 생각해보시는 것이 좋습니다. 가장 먼저...</td>\n",
       "      <td>473</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11999</th>\n",
       "      <td>목포극장 개업일은</td>\n",
       "      <td>'제가 알기로는 정확한 날짜를 알 수 없습니다. 재개발로 구조가 변경되고 리모델링 ...</td>\n",
       "      <td>120</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>12000 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                          prompt  \\\n",
       "0                                  불고기용 고기 한우에요?   \n",
       "1                                 쓰던 앱이 유료로 전환됐어   \n",
       "2                                        여친이랑 다툼   \n",
       "3                                        술 먹고 싶어   \n",
       "4                                          잊고싶다.   \n",
       "...                                          ...   \n",
       "11995                  내일 개강총회인데 짝녀한테 어떻게 잘 보이지.   \n",
       "11996                                    역세권이에요?   \n",
       "11997  암호화폐를 분산 저장하여 운영 관리 될 수 있도록 하는 인터넷상의 방식은?   \n",
       "11998                               가출해도 갈 데가 없어   \n",
       "11999                                  목포극장 개업일은   \n",
       "\n",
       "                                              completion  tokens  \n",
       "0      '저는 인공지능 챗봇이며, 직접적으로 식품에 관한 정보를 가지고 있지 않습니다. 하...     193  \n",
       "1      '어떤 앱인지 모르기 때문에 정확한 답변을 드리기 어렵습니다. 하지만, 일반적으로 ...     288  \n",
       "2      '저는 인공지능이기 때문에 여친과의 다툼에 대해서는 조언을 드릴 수는 없습니다. 하...     153  \n",
       "3      '술은 알코올이 함유된 음료수이며, 건강에 나쁜 영향을 미칠 수 있습니다. 따라서 ...     189  \n",
       "4      '저도 인공지능 엔진으로써 사용자의 개인정보나 감정을 침해할 수 없습니다. 그렇기 ...     147  \n",
       "...                                                  ...     ...  \n",
       "11995  '제가 AI 모델이기 때문에 남성인점 참고 부탁드립니다. 다음과 같이 제안드립니다....     411  \n",
       "11996  \"저는 인공지능 언어모델이어서 지리적인 개념을 이해하는 데 한계가 있습니다. 반면,...     232  \n",
       "11997  '블록체인 기술을 사용하여 암호화폐를 분산 저장하여 운영 및 관리하는 것을 의미합니...     214  \n",
       "11998  '그렇다면, 우선적으로 생활에 필요한 것들을 생각해보시는 것이 좋습니다. 가장 먼저...     473  \n",
       "11999  '제가 알기로는 정확한 날짜를 알 수 없습니다. 재개발로 구조가 변경되고 리모델링 ...     120  \n",
       "\n",
       "[12000 rows x 3 columns]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# config\n",
    "read_sft_jsonl_path = './data_kochatgpt/kochatgpt_1_SFT.jsonl'  # SFT에서 미리 구한 prompt와 chatgpt 응답을 가져오자\n",
    "save_PPO_jsonl_path = './data_kochatgpt/kochatgpt_3_PPO.jsonl'  # RM 데이터셋 저장 경로\n",
    "N_sample = 12000  # 몇개의 데이터를 만들까, (~12000)\n",
    "\n",
    "\n",
    "## 1) SFT에서 미리 구한 prompt와 chatgpt 응답을 가져오자\n",
    "import json\n",
    "import pandas as pd\n",
    "import random\n",
    "random.seed(230317)\n",
    "from tqdm import tqdm\n",
    "\n",
    "with open(read_sft_jsonl_path, \"r\", encoding='utf-8-sig') as json_file:\n",
    "    list_api_result_jsonl_load = json.load(json_file)\n",
    "\n",
    "df = pd.DataFrame(list_api_result_jsonl_load)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "code_folding": [
     0
    ],
    "hidden": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[{'prompt': '번디는 자신이 탐정잡지, 범죄소설 그리고 성범죄 관련 실제 범죄 다큐멘터리들을 탐독했다고 누구에게 말했나?'}, {'prompt': '개포주공아파트는 몇 단지로 이루어져 있나?'}, {'prompt': '김영삼의 후보 시절 지역표심을 겨냥한 발언을 문제삼은 후보는?'}]\n"
     ]
    }
   ],
   "source": [
    "## 전체 질문 답 쌍중 N개 질문만 추출하여 jsonl 형태로 저장\n",
    "df_sample = df.sample(n=N_sample, random_state=230317)\n",
    "\n",
    "# 500개의 질문만 선택\n",
    "list_prompt = df_sample['prompt'].tolist()\n",
    "\n",
    "list_ppo_prompt = []\n",
    "for prompt in list_prompt:\n",
    "    data={}\n",
    "    data['prompt'] = prompt\n",
    "    list_ppo_prompt.append(data)\n",
    "\n",
    "print(list_ppo_prompt[:3])\n",
    "\n",
    "with open(save_PPO_jsonl_path, \"w\", encoding='utf-8') as json_file:\n",
    "    json.dump(list_ppo_prompt, json_file, indent=4, ensure_ascii=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## END!!!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "venv",
   "language": "python",
   "name": "venv"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.7"
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}