CNN 1편

[kimkyuchul]

퍼셉트론

• 뉴런의 기본적인 원리를 설명
• 신호를 받아서 다른 신호를 제출하는 것 ⇒ 인공 뉴런이라고도 불림

• y가 1이면 활성화된다. 라고 표현
• input으로 x1과 x2가 있는데, 얘네들이 w1과 w2만큼의 가중치(Weight)받아서 들어왔고, 실제로 y라는 신호를 활성화하기 위해선 임계값보단 작으면 활성화 되지 않고 크면 활성화 된다 ⇒ 퍼셉트론이라고 부른다
• node들이 많아지면 ⇒ 깊다(deep)라고 표현, 중간층이 많은 함수골을 딥뉴런넷

다층퍼셉트론

• 층이 2개 이상인 multi-layer
• XOR 게이트 문제를 해결하기 위함
• 비선형성 ⇒ 다층을 꾸밈으로써 비선형적인 영역의 분할이 가능

신경망

• 퍼셉트론에서 신경망으로 진화
• layer라고 하는 층들이 존재
• 순서대로 입력층, 은닉층, 출력층
  • 은닉층은 아주 많아질 수 있다
• 위의 그림은 2층짜리다.
• 왜냐하면 실질적으로 신경망의 미지수는 가중치와 편향 그러므로 입력층에서 은닉층으로 이동하는 미지수들 1층 + 은닉층에서 출력층으로 이동하는 미지수들 1층을 더해 2층이라고 할 수 있음

활성화 함수

계단 함수

• 활성화가 0 아니면 1

시그모이드 함수

• 활성화가 0에서 부터 1 사이 (ex: 0.2, 0.8)

ReLU 함수

• x가 0보다 크면 활성화 (값이 무한히 커짐)
• x가 0보다 작거나 같으면 비활성화
• ReLU가 시그모이드보다 많이 쓰이고 학습 품질이 더 좋다

출력층(output layer)

분류

• 예를 들어 표현 하자면 “이것, 이것, 이것 중에 뭐야?”
• 무엇인가 판단해야하는 것이 객관식이면 분류문제라고 함
• 사진 속 남자가 남자야 여자야? ⇒ 분류 문제

회귀

• 주관식 문제
• ex: 사진을 주고 사진 속의 사람이 나이 맞추기
• ex: 사진을 주고 청소년, 중년, 노년 셋 중에 하나를 판단하기 ⇒ 분류 문제

출력층의 활성화 함수

항등함수

• y(x) = x (들어오는게 같다라는 의미)
• 회귀 문제에 사용 (값을 그대로 쓰기 때문이다.)

소프트맥스

• 실제로 나온 값들 중 가장 큰 값을 취하고 싶을 때
• ex: y0 (0.1), y2 (0.2), y3 (0.05), y4 (0.4), y5 (0.5)
• 위의 값들 중 소프트맥스 값은 y5라고 할 수 있음
• 가장 1에 근접한 값을 소프트맥스로 사용
• 분류 문제에 사용

배치(Batch)

• 실제로 학습을 할 때 데이터를 배치로 전달을 함 (ex: 배치 사이즈를 몇으로?)
• 어떤 입력이 있고 중간에 인공신경망이 있을 때 하나의 인풋이 있을 때 하나의 아웃풋이 나오는데, 인풋을 하나씩 전달하여 맞추지 않고 실제로는 여러개의 데이터를 묶어서 전달
• 값도 각각의 인풋의 값을 덩어리로 학습을 시킴
• 묶어서 전달하는 이유 ⇒ 학습이 빨라짐