From d4801d219361fd3eae29f87ce0ea91669cb4f2ef Mon Sep 17 00:00:00 2001
From: emphasis10 <calmlamb@naver.com>
Date: Fri, 27 Sep 2024 03:32:12 +0000
Subject: [PATCH] Add papers

---
 README.md               |  4 +++
 summaries/2409.17280.md | 22 ++++++++++++++++
 summaries/2409.17422.md | 27 ++++++++++++++++++++
 summaries/2409.17481.md | 27 ++++++++++++++++++++
 summaries/2409.18042.md | 56 +++++++++++++++++++++++++++++++++++++++++
 5 files changed, 136 insertions(+)
 create mode 100644 summaries/2409.17280.md
 create mode 100644 summaries/2409.17422.md
 create mode 100644 summaries/2409.17481.md
 create mode 100644 summaries/2409.18042.md

diff --git a/README.md b/README.md
index 05465333..b8f37b0e 100644
--- a/README.md
+++ b/README.md
@@ -1,5 +1,9 @@
 # Paper List
 ## 2409
+#### [EMOVA: Empowering Language Models to See, Hear and Speak with Vivid Emotions](summaries/2409.18042.md)
+#### [MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models](summaries/2409.17481.md)
+#### [Discovering the Gems in Early Layers: Accelerating Long-Context LLMs with 1000x Input Token Reduction](summaries/2409.17422.md)
+#### [Disco4D: Disentangled 4D Human Generation and Animation from a Single Image](summaries/2409.17280.md)
 #### [Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Multimodal Models](summaries/2409.17146.md)
 #### [DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion](summaries/2409.17145.md)
 #### [Programming Every Example: Lifting Pre-training Data Quality like Experts at Scale](summaries/2409.17115.md)
diff --git a/summaries/2409.17280.md b/summaries/2409.17280.md
new file mode 100644
index 00000000..1842c29b
--- /dev/null
+++ b/summaries/2409.17280.md
@@ -0,0 +1,22 @@
+# Disco4D: Disentangled 4D Human Generation and Animation from a Single Image
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.17280.pdf](https://arxiv.org/pdf/2409.17280.pdf)
+
+### 1. 각 섹션의 주요 내용 요약
+
+#### 1.1 도입 (Introduction)
+본 논문은 서로 다른 부분들(의류와 신체)을 분리하여 4차원(시간을 포함한 3D) 인간 모델을 생성하고 애니메이션하는 새로운 프레임워크인 Disco4D를 제안합니다. 기존의 대부분의 방법들이 하나의 메쉬로 신체와 의류를 결합하여 생성하는 반면, 이 연구는 Gaussian 모델을 사용하여 신체와 의류를 각기 다른 모델로 다루어 생성의 유연성을 높입니다. 이를 통해 더 정교하고 사실적인 디지털 아바타를 생성할 수 있습니다.
+
+#### 1.2 방법론 (Methodology)
+Disco4D는 Gaussian Splatting 프레임워크를 사용하여 신체와 의류를 개별적으로 모델링합니다. 신체는 SMPL-X 모델로 표현되고, 의류는 Gaussian 모델로 표현됩니다. 이 과정에서 디퓨전 모델을 이용해 가려진 부분을 보완하며, 각 Gaussian에는 고유의 인코딩이 적용되어 의류와 신체를 분리하고 추출하는 기능을 제공합니다. 이를 바탕으로 4차원 애니메이션을 자연스럽게 지원합니다.
+
+#### 1.3 실험 결과 (Results)
+여러 실험을 통해 Disco4D의 우수성을 입증하였습니다. 신체와 의류의 분리를 통해 얻어진 3D 모델은 매우 정교하며, 시간 경과에 따른 애니메이션 또한 기존 방법론보다 뛰어난 결과를 보입니다. 실험 결과로 디지털 아바타 생성 및 애니메이션에서 최고의 성능을 보였음을 확인할 수 있습니다.
+
+#### 1.4 결론 (Conclusion)
+이 연구는 디지털 아바타 생성 기술에 있어서 새로운 가능성을 열었습니다. 신체와 의류를 분리하여 각각을 개별적으로 모델링하고, 디퓨전 모델을 통해 세부사항을 개선하는 혁신적 방법론을 제시하였습니다. 또한, 4차원 애니메이션을 통해 생동감 있는 디지털 아바타를 생성할 수 있는 가능성을 입증했습니다. 향후 연구에서는 모델링 과정의 세부사항을 더 개선하고, 장기간의 애니메이션 지원을 확대하는 방향으로 나아갈 수 있습니다.
+
+### 2. 전체 요약
+
+본 논문에서는 디지털 아바타 생성 및 애니메이션을 위한 새로운 프레임워크인 Disco4D를 소개합니다. 이 방법은 신체와 의류를 분리하여 각각을 Gaussian 모델로 표현함으로써, 더 유연하고 정교한 4차원 디지털 인간 모델을 생성할 수 있습니다. Disco4D는 디퓨전 모델을 통해 가려진 부분을 보완하고, 각 Gaussian에 고유 인코딩을 부여하여 의류와 신체를 분리하고 추출합니다. 여러 실험을 통해 Disco4D의 우수성을 입증하였으며, 디지털 아바타 생성과 애니메이션 분야에서 뛰어난 성능을 보였습니다. 이 연구는 향후 더 정교한 모델링과 장기간 애니메이션 지원을 위한 발전 가능성을 제시합니다.
\ No newline at end of file
diff --git a/summaries/2409.17422.md b/summaries/2409.17422.md
new file mode 100644
index 00000000..33d82cb9
--- /dev/null
+++ b/summaries/2409.17422.md
@@ -0,0 +1,27 @@
+# Discovering the Gems in Early Layers: Accelerating Long-Context LLMs with 1000x Input Token Reduction
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.17422.pdf](https://arxiv.org/pdf/2409.17422.pdf)
+
+### 1. 각 섹션 요약
+
+#### 1. 서론 (Introduction)
+이 섹션에서는 대형 언어 모델(LLM)의 발전과 장문 텍스트 처리 능력을 다룹니다. LLM은 긴 문맥 입력을 처리하는 능력을 갖추고 있으며, 이로 인해 계산 자원 소모 및 지연이 발생합니다. 이를 극복하기 위해 본 연구는 초기 레이어에서 중요한 토큰을 식별하고 입력 토큰을 선택 및 압축하는 알고리즘 'GemFilter'를 소개합니다. 이 알고리즘은 속도와 메모리 효율성을 크게 개선하여, LLM의 추론 과정을 가속화하고 GPU 메모리 사용을 줄입니다.
+
+#### 2. 관련 연구 (Related Work)
+이 섹션에서는 기존 연구들을 다룹니다. 많은 연구들이 긴 문맥 입력을 처리하기 위해 KV 캐시를 압축하거나 제거하는 방법들을 제안합니다. 하지만 대부분의 연구는 반복 생성 단계에서의 최적화에 집중해 왔지만, 'GemFilter'는 초반 레이어에서 중요한 정보를 선별하여 초기 단계부터 최적화를 달성합니다.
+
+#### 3. 방법 (Method)
+이 섹션에서는 'GemFilter' алгоритм의 세부 내용을 설명합니다. 알고리즘은 첫 번째로 LLM의 초기 레이어만을 실행하여 중요한 입력 토큰을 선택합니다. 이후 선택된 토큰을 전체 LLM에 입력하여 추론 과정을 진행합니다. 이는 처리 속도를 높이고 메모리 사용량을 줄이는 데 효과적입니다.
+
+#### 4. 실험 (Experiments)
+본 실험에서는 'GemFilter'의 성능을 다양한 벤치마크로 평가합니다. 'Needle in a Haystack' 실험에서 'GemFilter'는 기존 방법들보다 우수한 성능을 보였습니다. 또한, GPU 메모리 사용량과 실행 시간을 줄이는 데 성공하였습니다.
+
+#### 5. 결론 (Conclusion)
+'GemFilter'는 긴 문맥 입력에 대한 LLM의 추론 속도를 가속화하고 메모리 사용을 줄이는 새로운 접근법입니다. 이 알고리즘은 단순하고 훈련이 필요 없으며 다양한 LLM에 적용 가능합니다. 또한, 선택된 토큰을 직접 검사할 수 있어 해석 가능성을 높입니다.
+
+### 2. 전체 요약
+
+'GemFilter'는 긴 문맥 입력을 처리하는 대형 언어 모델(LLM)의 효율성을 크게 향상시키는 알고리즘입니다. 이 알고리즘은 LLM의 초기 레이어를 사용하여 중요한 토큰을 식별하고, 이를 압축하여 메모리 사용량을 줄이고 처리 속도를 높입니다. 실험 결과, 'GemFilter'는 기존 방법들보다 2.4배 빠르고 GPU 메모리 사용량을 30% 줄이는 성과를 보였습니다. 또한, 'GemFilter'는 훈련이 필요 없으며, 다양한 LLM에 적용할 수 있고, 선택된 토큰을 직접 검사할 수 있어 해석 가능성이 높습니다. 이 알고리즘은 LLM의 실제 배포에 실질적인 이점을 제공할 뿐만 아니라 LLM 내부 메커니즘에 대한 이해를 증진시킵니다.
+
+이 요약을 기반으로 프레젠테이션을 구성할 수 있습니다.
\ No newline at end of file
diff --git a/summaries/2409.17481.md b/summaries/2409.17481.md
new file mode 100644
index 00000000..c7418fbb
--- /dev/null
+++ b/summaries/2409.17481.md
@@ -0,0 +1,27 @@
+# MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.17481.pdf](https://arxiv.org/pdf/2409.17481.pdf)
+
+## 섹션 요약
+
+### 1. 소개 (Introduction)
+이 논문은 대형 언어 모델(LLMs)의 계산 비용을 줄이기 위해 MaskLLM이라는 학습 가능한 가지치기 방법을 소개합니다. MaskLLM은 Gumbel Softmax 샘플링을 통해 N:M 패턴을 학습 분포로 명확히 모델링하여 세미-구조화된 스파시티를 구현합니다. 이 방법은 고품질의 마스크 학습과 도메인 간 스파시티 이전 학습의 이점을 제공합니다.
+
+### 2. 관련 연구 (Related Works)
+여기서는 네트워크 가지치기에 관한 세 가지 주요 접근방식, 즉 구조화 가지치기, 비구조화 가지치기, 세미-구조화 가지치기에 대해 논의합니다. 기존의 방법들은 대형 언어 모델에서 선택적인 파라미터를 제거함으로써 효율성을 달성하려 노력했습니다. MaskLLM은 대규모 데이터셋을 활용하여 고품질의 마스크를 학습하는 데 중점을 둔 첫 시도입니다.
+
+### 3. 방법론 (Methods)
+#### 3.1 N:M 스파시티 (N:M Sparsity)
+N:M 스파시티는 연속된 M개의 파라미터 그룹 중 N개의 비영(非零) 파라미터가 존재하는 것을 의미합니다. 본 논문에서는 2:4 스파시티를 중점으로 다루며, 이는 차후 다른 패턴으로 확장 가능할 것입니다.
+#### 3.2 MaskLLM
+MaskLLM은 마스크 선택 문제를 확률적 관점에서 프레임화하여 샘플링 프로세스로 모델링합니다. Gumbel Softmax를 사용하여 샘플링의 무작위성을 독립 랜덤 변수로 재매개변수화함으로써, 각 마스크 후보의 확률을 최적화할 수 있습니다. 이를 통해 원래의 고밀도 LLM 품질을 유지하면서 최적 마스크 분포를 학습합니다.
+
+### 4. 실험 (Experiments)
+LLaMA-2, GPT-3 등 대형 언어 모델들에 대해 MaskLLM을 평가하였으며, 우리의 방법은 동일한 데이터셋에서 SparseGPT보다 낮은 퍼플렉서티(PPL)을 가지는 고품질의 마스크를 학습하는 데 성공했습니다. 또한, MaskLLM은 도메인별 마스크 학습을 통해 각각의 다운스트림 작업에서 손실 없는 압축을 달성할 수 있습니다.
+
+### 5. 결론 (Conclusion)
+MaskLLM은 LLM의 학습 가능한 가지치기 방법으로, 대규모 데이터셋에서 정확한 N:M 스파시티 마스크를 학습하여 추론 중 계산 오버헤드를 줄입니다. 저희의 실험은 MaskLLM의 확장성과 실질적인 응용 가능성을 입증합니다.
+
+## 전체 요약
+이 논문은 MaskLLM이라는 대형 언어 모델(LLMs)의 계산 효율성을 높이기 위한 학습 가능한 가지치기 방법을 제안합니다. MaskLLM은 Gumbel Softmax를 통해 N:M 스파시티 패턴을 학습하고 이를 통해 효율적인 마스크를 생성하여 원래 LLM의 품질을 유지하며 계산 오버헤드를 줄입니다. 실험 결과 MaskLLM은 기존의 SparseGPT보다 낮은 퍼플렉서티를 보이며, 도메인별 맞춤 마스크를 통해 손실 없는 압축을 이룰 수 있음을 보여줍니다.
\ No newline at end of file
diff --git a/summaries/2409.18042.md b/summaries/2409.18042.md
new file mode 100644
index 00000000..1e77f722
--- /dev/null
+++ b/summaries/2409.18042.md
@@ -0,0 +1,56 @@
+# EMOVA: Empowering Language Models to See, Hear and Speak with Vivid Emotions
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.18042.pdf](https://arxiv.org/pdf/2409.18042.pdf)
+
+### 요약: 논문의 중요한 내용과 혁신적인 부분
+
+#### 1. Introduction
+**요약**:
+- EMOVA(Emotionally Omni-present Voice Assistant)는 시각, 청각, 언어 처리를 통합한 새로운 대형 언어 모델입니다.
+- 이 모델은 시각 언어 성능을 유지하면서도 음성 인식 및 생성 기능을 지원합니다.
+- 기존 모델과 달리, EMOVA는 통합된 감성 표현을 통해 대화 중 다양한 감정 및 음조를 표현할 수 있습니다.
+
+**주요 기여 및 혁신**:
+1. 시각, 언어, 음성 데이터를 통합하여 통합된 멀티모달 대형 언어 모델을 구현.
+2. 텍스트 기반의 효율적인 멀티모달 정렬 방식을 도입하여 시각 언어 및 음성 능력을 향상.
+3. 세계 최첨단 성능을 달성하며 감정이 담긴 음성 대화 지원.
+
+#### 2. Related Work
+**요약**:
+- 기존의 시각 언어 대형 모델(VLLMs) 및 음성 언어 모델에 대해 설명.
+- EMOVA는 이러한 모델들의 한계를 극복하고 음성 생성 및 감정 표현 기능을 추가.
+
+**주요 기여 및 혁신**:
+1. 연속적인 비전 인코더와 의미-음향 분리된 음성 토크나이저를 사용한 통합 멀티모달 정렬.
+2. 텍스트 중심의 멀티모달 정렬 방법을 통해 기존 이모달 정렬보다 성능을 개선.
+
+#### 3. Method
+**요약**:
+- EMOVA의 전체 구조와 작동 방식을 설명.
+- 시각 인코더는 시각 정보를 연속적으로 캡처하고, 음성 토크나이저는 입력 음성을 불연속적인 단위로 변환하여 언어 모델에 입력.
+- 스타일 모듈을 통해 다양한 음성 스타일 및 감정 표현을 지원.
+
+**주요 기여 및 혁신**:
+1. 시각-언어 및 음성-언어 정렬을 동시에 수행하는 텍스트 중심의 멀티모달 정렬 기법.
+2. 의미-음향 분리를 통해 텍스트와 음성이 더 잘 정렬되고, 다양한 음성 스타일을 조절할 수 있는 유연한 구조 제공.
+
+#### 4. Experiments
+**요약**:
+- 다양한 벤치마크에서 EMOVA의 성능을 평가.
+- 텍스트 맞춤형 멀티모달 정렬 방법이 기존의 이모달 정렬 방법보다 더 높은 성능을 나타냄.
+- 감정과 음조를 조절하는 데 있어 80% 이상의 정확도를 달성.
+
+**주요 기여 및 혁신**:
+1. 공개된 이미지-텍스트 및 음성-텍스트 데이터를 사용하여 멀티모달 정렬을 달성하는 효율적인 방법 제시.
+2. 실험을 통해 세계 최첨단 성능을 달성했음을 입증.
+
+#### 5. Conclusion
+**요약**:
+- EMOVA는 시각, 언어, 음성 데이터를 통합한 통합 멀티모달 모델로서, 감정이 담긴 음성 대화를 지원.
+- 텍스트 기반의 멀티모달 정렬을 통해 시각 언어 및 음성 성능을 동시에 향상.
+- 세계 최첨단 성능을 기록하며, 멀티모달 데이터의 통합적 사용의 중요성 강조.
+
+### 종합 요약
+
+EMOVA는 시각, 언어, 음성 데이터를 통합한 멀티모달 대형 언어 모델로, 특히 감정을 표현하는 음성 대화를 지원하는 데 있어 혁신적입니다. 기존의 이모달 모델들을 넘어 텍스트 중심 정렬 방식을 도입하여 시각 언어 및 음성 성능을 동시에 개선하였으며, 실험 결과, 세계 최첨단 성능을 달성했습니다. 이 논문은 새로운 멀티모달 학습 방법과 그 효율성을 입증하며, 다양한 응용 가능성을 열어주고 있습니다.
\ No newline at end of file