selenium_tutorial.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Python Selenium 사용법\n",
    "[참고 | Gorio Learning Y Tech Blog](https://greeksharifa.github.io/references/2020/10/30/python-selenium-usage/)\n",
    "### Chrome WebDriver\n",
    "- 브라우저 버전에 맞는 웹 드라이버 다운 받아서 파일과 같은 경로에 두기 (다른 경로에 두면 경로 따로 설정해야 함)\n",
    "\n",
    "\n",
    "### Import"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import selenium\n",
    "from selenium import webdriver\n",
    "from selenium.webdriver import ActionChains\n",
    "\n",
    "from selenium.webdriver.common.keys import Keys\n",
    "from selenium.webdriver.common.by import By\n",
    "\n",
    "from selenium.webdriver.support import expected_conditions as EC\n",
    "from selenium.webdriver.support.ui import Select\n",
    "from selenium.webdriver.support.ui import WebDriverWait"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Driver & Web Load\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "URL = \"https://securities.miraeasset.com/hki/hki3028/r01.do\"\n",
    "\n",
    "driver = webdriver.Chrome(executable_path=\"./chromedriver\") # 드라이버 로드, 확장자는 필요 없음 (상대 경로나 절대 경로 이용 가능)\n",
    "driver.get(URL)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'https://securities.miraeasset.com/hki/hki3028/r01.do'"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 현재 url 얻기\n",
    "driver.current_url"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 브라우저 닫기\n",
    "driver.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 로딩 대기\n",
    "브라우저에서 해당 웹 페이지의 요소들을 로드하는데 시간이 걸림  \n",
    "-> 요소가 존재하지 않는다는 에러를 보지 않기 위해서는 전부 로드 될때까지 대기해야 함\n",
    "### Implicit Waits (암묵적 대기)\n",
    "지정한 시간만큼 대기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.implicitly_wait(time_to_wait=5) # 초 단위, default=0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Explicit Waits (명시적 대기)\n",
    "`time.sleep` 함수를 이용해 무조건 몇 초간 대기하는 방법  \n",
    "-> 비효율적"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver = webdriver.Chrome(\"./chromedriver\")\n",
    "driver.get(url=\"https://www.google.com/\")\n",
    "try:\n",
    "    element = WebDriverWait(driver=driver, timeout=5).until(\n",
    "        EC.presence_of_all_elements_located((By.CLASS_NAME, \"gLFyf\"))\n",
    "    )\n",
    "finally:\n",
    "    driver.quit()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "`class`가 `gLFyf`인 어떤 요소를 찾을 수 있는지를 5초 동안 시도  \n",
    "`EC` 객체는 해당 요소를 찾았다면 `True`를, 찾지 못했다면 `False`를 반환  \n",
    "-> 다양한 조건들이 있음"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "from selenium.webdriver.support.expected_conditions import *"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "title_is\n",
    "title_contains\n",
    "presence_of_element_located\n",
    "visibility_of\n",
    "..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "커스텀 조건 설정도 가능  \n",
    "-> `__init__` 함수와 `__call__` 함수를 구현한 `class`를 작성해 사용  \n",
    "\n",
    "\n",
    "- `until(method, message=\"\")`는 `method`의 반환값이 `False`인 동안 실행\n",
    "- 반대는, `until_not(method, message=\"\")`\n",
    "\n",
    "## 요소 찾기 (Locating Elements)\n",
    "다양한 요소를 찾는 방법을 지원함 -> HTML 이용  \n",
    "찾을 요소를 `ctrl + shift + c`를 눌러 확인할 수 있음"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "URL = \"https://www.google.com/\"\n",
    "\n",
    "driver = webdriver.Chrome(executable_path=\"./chromedriver\")\n",
    "driver.get(URL)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "구글 검색창\n",
    "```html\n",
    "<input class=\"gLFyf gsfi\" jsaction=\"paste:puy29d;\" maxlength=\"2048\" name=\"q\" type=\"text\" aria-autocomplete=\"both\" aria-haspopup=\"false\" autocapitalize=\"off\" autocomplete=\"off\" autocorrect=\"off\" autofocus=\"\" role=\"combobox\" spellcheck=\"false\" title=\"검색\" value=\"\" aria-label=\"검색\" data-ved=\"0ahUKEwi1tYCC_L76AhUyBKYKHYVPA3YQ39UDCAY\">\n",
    "```\n",
    "\n",
    "각 요소에는, `class, XPath, id` 등 여러 속성이 존재  \n",
    "-> 특징적인 속성을 찾아 이용함"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "search_box = driver.find_element_by_class_name(\"gLFyf\")\n",
    "# 키보드를 입력해주는 코드\n",
    "search_box.send_keys(\"gorio\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "`find_element`로 시작하는 함수는 조건에 맞는 요소를 **하나만** 반환하고,  \n",
    "`find_elements`로 시작하는 함수는 해당 조건을 만족하는 모든 요소를 반복 가능한 (iterable) 형태로 반환\n",
    "\n",
    "#### find_element_by_xpath\n",
    "강력한 찾기 기능을 제공  \n",
    "-> 웹페이지 상에서 해당 요소의 전체 경로나 상대 경로를 갖고 찾기 기능을 수행\n",
    "\n",
    "xpath = `/html/body/div[1]/div[3]/form/div[1]/div[1]/div[1]/div/div[2]/input`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "search_box = driver.find_element_by_xpath(\"/html/body/div[1]/div[3]/form/div[1]/div[1]/div[1]/div/div[2]/input\")\n",
    "search_box.send_keys(\"Test Text\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "search_box = driver.find_element(By.XPATH, \"/html/body/div[1]/div[3]/form/div[1]/div[1]/div[1]/div/div[2]/input\")\n",
    "search_box.send_keys(\"Same Method\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "| 표현식 | 설명 |\n",
    "| :--- | :--- |\n",
    "| nodename | `nodename`을 name으로 갖는 모든 요소 선택 |\n",
    "| / | root 요소 선택 |\n",
    "| // | 현재 요소의 자손 요소 선택 |\n",
    "| . | 현재 요소를 선택 |\n",
    "| .. | 현재 요소의 부모 요소를 선택 |\n",
    "| @ | 속성 선택 |\n",
    "| * | 모든 요소에 매치 |\n",
    "| @* | 모든 속성 요소에 매치 |\n",
    "| node() | 모든 종류의 모든 요소에 매치 |\n",
    "| \\| | OR |\n",
    "\n",
    "## 텍스트 입력\n",
    "`send_keys(*value)` 함수는 문자열을 그대로 받고, 엔터와 같은 특수 키는 문자열로도 처리 가능하지만 `RETURN = \"\\ue006\"` 다음 같이 사용 가능"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "search_box = driver.find_element(By.XPATH, \"/html/body/div[1]/div[3]/form/div[1]/div[1]/div[1]/div/div[2]/input\")\n",
    "search_box.send_keys(\"xpath\", \"\\ue006\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "search_box = driver.find_element(By.XPATH, \"/html/body/div[1]/div[3]/form/div[1]/div[1]/div[1]/div/div[2]/input\")\n",
    "search_box.send_keys(\"xpath\", Keys.RETURN)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['ADD',\n",
       " 'ALT',\n",
       " 'ARROW_DOWN',\n",
       " 'ARROW_LEFT',\n",
       " 'ARROW_RIGHT',\n",
       " 'ARROW_UP',\n",
       " 'BACKSPACE',\n",
       " 'BACK_SPACE',\n",
       " 'CANCEL',\n",
       " 'CLEAR',\n",
       " 'COMMAND',\n",
       " 'CONTROL',\n",
       " 'DECIMAL',\n",
       " 'DELETE',\n",
       " 'DIVIDE',\n",
       " 'DOWN',\n",
       " 'END',\n",
       " 'ENTER',\n",
       " 'EQUALS',\n",
       " 'ESCAPE',\n",
       " 'F1',\n",
       " 'F10',\n",
       " 'F11',\n",
       " 'F12',\n",
       " 'F2',\n",
       " 'F3',\n",
       " 'F4',\n",
       " 'F5',\n",
       " 'F6',\n",
       " 'F7',\n",
       " 'F8',\n",
       " 'F9',\n",
       " 'HELP',\n",
       " 'HOME',\n",
       " 'INSERT',\n",
       " 'LEFT',\n",
       " 'LEFT_ALT',\n",
       " 'LEFT_CONTROL',\n",
       " 'LEFT_SHIFT',\n",
       " 'META',\n",
       " 'MULTIPLY',\n",
       " 'NULL',\n",
       " 'NUMPAD0',\n",
       " 'NUMPAD1',\n",
       " 'NUMPAD2',\n",
       " 'NUMPAD3',\n",
       " 'NUMPAD4',\n",
       " 'NUMPAD5',\n",
       " 'NUMPAD6',\n",
       " 'NUMPAD7',\n",
       " 'NUMPAD8',\n",
       " 'NUMPAD9',\n",
       " 'PAGE_DOWN',\n",
       " 'PAGE_UP',\n",
       " 'PAUSE',\n",
       " 'RETURN',\n",
       " 'RIGHT',\n",
       " 'SEMICOLON',\n",
       " 'SEPARATOR',\n",
       " 'SHIFT',\n",
       " 'SPACE',\n",
       " 'SUBTRACT',\n",
       " 'TAB',\n",
       " 'UP',\n",
       " '__class__',\n",
       " '__delattr__',\n",
       " '__dict__',\n",
       " '__dir__',\n",
       " '__doc__',\n",
       " '__eq__',\n",
       " '__format__',\n",
       " '__ge__',\n",
       " '__getattribute__',\n",
       " '__gt__',\n",
       " '__hash__',\n",
       " '__init__',\n",
       " '__init_subclass__',\n",
       " '__le__',\n",
       " '__lt__',\n",
       " '__module__',\n",
       " '__ne__',\n",
       " '__new__',\n",
       " '__reduce__',\n",
       " '__reduce_ex__',\n",
       " '__repr__',\n",
       " '__setattr__',\n",
       " '__sizeof__',\n",
       " '__str__',\n",
       " '__subclasshook__',\n",
       " '__weakref__']"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 사용 가능 특수키 목록\n",
    "dir(Keys)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 텍스트 입력 지우기\n",
    "특수키도 사용 가능"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "search_box.clear()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 파일 업로드\n",
    "파일을 받는 요소를 찾고 사용하면 됨"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "file_path = \"../AISCHOOL7/s_code/daily_til.md\"\n",
    "upload = driver.find_element_by_tag_name(\"input\")\n",
    "upload.send_keys(file_path)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 상호 작용\n",
    "### 클릭하기\n",
    "요소를 찾고 `click()` 함수 호출  \n",
    "`//*[@id=\"rso\"]/div[1]/div[2]/div/div[1]/div/a/h3` <- 검색 결과를 클릭하는 부분의 xpath"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "posting = driver.find_element_by_xpath('//*[@id=\"rso\"]/div[1]/div[2]/div/div[1]/div/a/h3')\n",
    "posting.click()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 옵션 선택 및 제출\n",
    "XPath 등으로 `select` 요소를 선택한 다음에 각 옵션을 선택할 수 있지만, 아래와 같이  \n",
    "`select` 객체 내에서 인덱스를 선택하거나, 옵션의 텍스트나 어떤 값을 통해 선택 가능"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "URL = \"https://phone.11st.co.kr/skbroadband/product.tmall?productNo=3901154914&internetProductId=NI00000901&btvProductId=NT00000772&setTopBoxProductId=T0027&combineLineCode=03\"\n",
    "\n",
    "driver = webdriver.Chrome(executable_path=\"./chromedriver\")\n",
    "driver.get(URL)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from selenium.webdriver.support.ui import Select\n",
    "\n",
    "select = Select(driver.find_element_by_name(\"select_name\"))\n",
    "\n",
    "select.select_by_index(index=2) # 인덱스\n",
    "select.select_by_visible_text(text=\"option_text\") # 옵션의 텍스트\n",
    "select.select_by_value(value=\"역사 보기\") # 특정 값"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "특정 선택 해제시, `deselect_~` 사용  \n",
    "\n",
    "선택된 옵션 리스트를 얻으려면, `select.all_selected_options`으로 얻을 수 있고,  \n",
    "첫 번째 선택된 옵션은 `select.first_selected_optoin`,  \n",
    "가능한 옵션을 모두 보려면 `select.options` 이용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 제출 요소를 찾고 click()을 수행해도 되지만 다음도 가능\n",
    "submit_btn.submit()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Drag and Drop\n",
    "어떤 일련의 동작을 수행하기 위해서는 `ActionChains`를 사용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "action_chains = ActionChains(driver)\n",
    "action_chains.drag_and_drop(source=source, target=target).perform() # source 요소에서 target 요소로 Drag & Drop을 수행"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Window / Frame 이동\n",
    "최신 웹 페이지에서는 frame 같은 것을 잘 사용하지 않지만, 예전에 만들어진 사이트라면 사용한 경우가 있음  \n",
    "->  frame 안에 들어 있는 요소는 `find_element` 함수를 써도 찾아지지 않음  \n",
    "-> 특정 frame으로 이동해야 함"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.switch_to_frame(\"frameName\")\n",
    "driver.switch_to_window(\"windowName\")\n",
    "# frame 내 subframe으로도 접근이 가능, .을 이용\n",
    "driver.switch_to_frame(\"frameName.0.child\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "windowName을 알고 싶다면 다음과 같은 링크가 있는지 찾아봐야 함  \n",
    "```html\n",
    "<a href=\"somewhere.html\" target=\"windowName\">Click here to open a new window</a>\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# frame 밖으로 나갈 때\n",
    "driver.switch_to_default_content()\n",
    "# 경고창으로 이동\n",
    "alert = driver.switch_to.alert"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### JavaScript 코드 실행"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Name이 search_box인 요소의 값을 query의 값으로 변경하는 코드\n",
    "driver.execute_script(\"document.getE\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 브라우저 창 다루기\n",
    "### 뒤로가기, 앞으로가기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.back()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.forward()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 화면 이동\n",
    "화면의 끝으로 내려가야 내용이 동적으로 추가되는 상황에서 사용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.execute_script(\"window.scrollTo(0, document.body.scrollHeight);\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.execute_script(\"window.scrollTo(0, 100);\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 특정 요소까지 계속 찾는 경우\n",
    "from selenium.webdriver import ActionChains\n",
    "\n",
    "some_tag = driver.find_element_by_xpath('//*[@id=\"rso\"]/div[7]/div/div/div[1]/div/a/h3')\n",
    "\n",
    "ActionChains(driver=driver).move_to_element(some_tag).perform()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 브라우저 최소화/최대화"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.minimize_window()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.maximize_window()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 스크린샷 저장"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "driver.save_screenshot(\"screenshot.png\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 옵션\n",
    "브라우저의 창 크기, 해당 기기의 정보 등을 설정 가능"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "options = webdriver.ChromeOptions()\n",
    "options.add_argument(\"window-size=1920, 1080\")\n",
    "\n",
    "driver = webdriver.Chrome(\"./chromedriver\", options=options)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "다양한 옵션을 지정해서 사용 할 수 있음"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ActionChains\n",
    "마우스, 키보드 입력 등 연속 동작 실행"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ActionChains(driver).move_to_element(menu).click(hidden_submenu).perform()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "actions = ActionChains(driver)\n",
    "actions.move_to_element(menu)\n",
    "actions.click(hidden_submenu)\n",
    "actions.perform()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 경고 창 다루기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from selenium.webdriver.common.alert import Alert\n",
    "\n",
    "# 수락\n",
    "Alert(driver).accept()\n",
    "# 거절\n",
    "Alert(driver).dismiss()\n",
    "# 내용 출력\n",
    "print(Alert(driver).text)\n",
    "# 특정 키 입력 전달\n",
    "Alert(driver).send_keys(keysToSend=Keys.ESCAPE)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.7.13 ('auto')",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.13"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "dc50a67e814ec69e50f4baabb47540832735f761766bafdbd304f349916f94b2"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}