자연어 처리 입문부터 최신 흐름을 이해하기 까지, 논문과 튜토리얼을 통해 달려보는 스터디 !
- 파이썬 프로그래밍 기본 문법
- 딥러닝 기본 지식: '모두를 위한 딥러닝' 강의를 완강하신 경험만 있으면 충분합니다 !
- 스터디 기간 중 최소 한 번 이상 발제를 할 용기
허 훈, 이인환, 남혜리, 박병준, 정민수, 김진원, 정지용, 허무지, 이명학, 전다해, 정민소, 임송현
🌝🌝🌗🌚🌚
- Theory: 딥러닝을 이용한 자연어 처리의 전반적 흐름을 논문과 아티클을 통해 학습합니다.
- Hands-on: 아직 한글을 지원하지는 않지만, 최근 텍스트 전처리에 널리 사용되는
spaCy라이브러리를 튜토리얼을 통해 학습합니다. - Hands-on:
PyTorchTutorial이 제공하는 자연어 처리 실습 코드를 돌려보며, 실제 자연어 처리 프로그램이 어떤 방식으로 학습되는지에 대해 학습합니다.
딥러닝을 이용한 자연어 처리의 발전 과정과 이에 사용되는 기본적인 모델에 대해 알아봅니다.
- Week 1: Recent Trends in Deep Learning Based Natural Language Processing
- Week 2: Recurrent Neural Network + spaCy Chapter 1: Finding words, phrases, names and concepts ( 명학 / 지용 )
- Week 3: Long Short-Term Memory + spaCy Chapter 2: Large-scale data analysis with spaCy ( 인환 / 훈 )
- Week 4: Gated Recurrent Unit + spaCy Chapter 3: Processing Pipelines ( 무지 / 훈 )
컴퓨터에게 인간의 언어를 이해시키기 위해 필요한 단어 임베딩 기법을 발전순으로 알아봅니다.
- Week 5: Word2Vec + spaCy Chapter 4: Training a neural network model ( 병준 / 민소 )
- Week 6: Glove + DEEP LEARNING WITH PYTORCH: A 60 MINUTE BLITZ ( 민수 / 명학 )
- Week 7: Fasttext + ELMo ( 혜리 / 무지 )
- Week 8: Word-Piece Model + DEEP LEARNING FOR NLP WITH PYTORCH #1 ( 지용 / 진원 )
수 많은 자연어 처리 Task 중 기계번역 Task의 발전사를 논문을 통해 알아봅니다.
- Week 9: Sequence-to-Sequence (PyTorch Implementation) + DEEP LEARNING FOR NLP WITH PYTORCH #2 ( 훈 / 인환 )
- Week 10: Attention + What is torch.nn really? ( 송현 / 훈 )
- Week 11: Transformer + Transformer Implementation ( 인환 / 훈 )
- Week 12: Natural Language Processing with. CNN + Closing party🎉 ( 다해 / all )