Add papers

README.md

@@ -1,6 +1,17 @@
 # Paper List
 ## 2405
 #### [PaliGemma](summaries/2405.paligemma.md)
+#### [MotionLLM: Understanding Human Behaviors from Human Motions and Videos](summaries/2405.20340.md)
+#### [Xwin-LM: Strong and Scalable Alignment Practice for LLMs](summaries/2405.20335.md)
+#### [GECO: Generative Image-to-3D within a SECOnd](summaries/2405.20327.md)
+#### [DITTO-2: Distilled Diffusion Inference-Time T-Optimization for Music Generation](summaries/2405.20289.md)
+#### [MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model](summaries/2405.20222.md)
+#### [Jina CLIP: Your CLIP Model Is Also Your Text Retriever](summaries/2405.20204.md)
+#### [PLA4D: Pixel-Level Alignments for Text-to-4D Gaussian Splatting](summaries/2405.19957.md)
+#### [Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts](summaries/2405.19893.md)
+#### [Parrot: Efficient Serving of LLM-based Applications with Semantic Variable](summaries/2405.19888.md)
+#### [DevEval: A Manually-Annotated Code Generation Benchmark Aligned with Real-World Code Repositories](summaries/2405.19856.md)
+#### [DeMamba: AI-Generated Video Detection on Million-Scale GenVideo Benchmark](summaries/2405.19707.md)
 #### [Self-Exploring Language Models: Active Preference Elicitation for Online Alignment](summaries/2405.19332.md)
 #### [NPGA: Neural Parametric Gaussian Avatars](summaries/2405.19331.md)
 #### [MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series](summaries/2405.19327.md)

summaries/2405.19707.md

@@ -0,0 +1,68 @@
+# DeMamba: AI-Generated Video Detection on Million-Scale GenVideo Benchmark
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2405.19707.pdf](https://arxiv.org/pdf/2405.19707.pdf)
+
+### 1. 각 섹션 요약 및 주요 기여
+
+#### 1. 서론
+- **내용 요약**:
+  - AI 생성 영상 탐지의 필요성, 잘못된 정보 확산 방지 필요성.
+  - GenVideo 데이터셋 소개: 다양한 장면과 동작 변형을 포함한 AI 생성 영상 데이터셋.
+  - 실제 검증 과제 제시: 새로운 생성기에서의 영상 분류, 저해상도 및 압축 아티팩트가 있는 영상 분류 과제.
+- **주요 기여**:
+  - **GenVideo 데이터셋**: 다양한 장면과 모델을 포함한 AI 생성 영상의 첫 백만 규모 데이터셋.
+  - **DeMamba 모델**: 공간-시간 불일치를 통해 AI 생성 영상을 식별하는 플러그 앤 플레이 탐지기.
+
+#### 2. 관련 연구
+- **내용 요약**:
+  - 기존 AI 생성 및 탐지 방법 소개.
+  - 텍스트-영상 생성 (T2V)과 이미지-영상 생성 (I2V) 방법.
+  - 다양한 AI 생성 영상 탐지 기법 검토.
+- **주요 기여**:
+  - 최신 생성 방법들을 반영하여 다각적인 탐지기법 제안.
+
+#### 3. GenVideo 데이터셋
+- **내용 요약**:
+  - GenVideo 데이터셋 소개: 다양한 생성기와 다양한 장면을 포괄하는 2,262,086개의 영상 데이터.
+  - 사실적인 검증 환경 제공.
+- **주요 기여**:
+  - **데이터 규모와 다양성**: 다수의 생성기를 사용하여 폭넓은 내용의 AI 생성 영상 포함.
+  - **현실성 높은 검증 과제**: 새로운 생성기에서의 영상 분류, 저해상도 및 압축 아티팩트가 있는 영상 분류로 구분.
+
+#### 4. DeMamba 모델
+- **내용 요약**:
+  - DeMamba 모델 소개: 공간-시간 불일치 탐지.
+  - 기존 모델들과의 통합 실험 결과.
+- **주요 기여**:
+  - **플러그 앤 플레이**: 기존 탐지기에 쉽게 통합 가능.
+  - **고성능 탐지**: 다양한 생성 환경에서도 높은 정확도 및 정밀도 보여줌.
+
+#### 5. 실험 및 결과
+- **내용 요약**:
+  - 다양한 탐지 모델 포함하여 성능 비교 실험.
+  - DeMamba 모델의 성능 검증 실험.
+- **주요 기여**:
+  - **광범위한 검증**: 장면, 모델, 동작 요소 모두 검증.
+  - **실제 환경 적용 가능성**: 다양한 조건에서의 높은 탐지 성능 확인.
+
+#### 6. 종합적인 영향
+- **내용 요약**:
+  - 실생활에서의 잘못된 정보 확산 방지 노력.
+  - 기술적, 윤리적 사용 강조.
+- **주요 기여**:
+  - **디지털 콘텐츠 보호**: 잘못된 정보 확산 방지, 개인정보 보호.
+  - **기술 윤리 강조**: 올바른 기술 사용 촉진.
+
+#### 7. 결론 및 제한 사항
+- **내용 요약**:
+  - GenVideo 데이터셋의 중요성, DeMamba 모델의 성과 정리.
+  - 모델의 훈련 효율성 문제.
+- **주요 기여**:
+  - **연구 방향 제시**: 효율성과 일반화된 경량화 모델 필요성 제안.
+  - **추후 연구 방향 강조**: AI 생성 콘텐츠 규제 위한 추가 연구 필요.
+
+### 2. 전체 요약
+이 논문은 AI가 생성한 비디오를 탐지하기 위해 최초로 백만 규모의 데이터셋인 GenVideo를 소개하며, 다양한 생성 환경과 장면을 포괄한 데이터셋을 제공하여 탐지기의 일반화 성능을 강화하고자 한다. DeMamba 모델을 제안하여 공간-시간 불일치를 통해 AI 생성 영상의 진위를 판단하며, 다양한 실험 결과에서 우수한 성능을 보였다. 이 연구는 디지털 콘텐츠 보호와 잘못된 정보 확산 방지를 위한 기여를 목표로 하며, 기술의 윤리적 사용을 강조한다. 추가로, 효율적이고 일반화된 탐지 모델의 필요성을 제안하여 연구 방향을 제시하고 있다.
+
+, , 

summaries/2405.19856.md

@@ -0,0 +1,40 @@
+# DevEval: A Manually-Annotated Code Generation Benchmark Aligned with Real-World Code Repositories
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2405.19856.pdf](https://arxiv.org/pdf/2405.19856.pdf)
+
+### 1. 섹션별 요약 및 주요 기여 내용
+
+#### 1.1 소개 (Introduction)
+- **내용 요약**: 코드 생성 대형 언어 모델(LLMs)의 발전과 연구에 대한 관심이 높아지면서, 이들을 평가할 새로운 지표의 필요성이 제기됨. 기존 벤치마크들이 실제 소프트웨어 개발 환경과 일치하지 않음을 지적하며, 실제 코드 저장소와 일치하는 새로운 벤치마크인 DevEval을 소개.
+- **주요 기여**: 실제 코드 저장소를 바탕으로 한 벤치마크를 제안해, LLMs의 실제 활용 가능성을 평가할 수 있는 새로운 기준을 제공함.
+
+#### 1.2 DevEval 개요 (Overview of DevEval)
+- **내용 요약**: DevEval 벤치마크는 117개의 실제 코드 저장소에서 1,874개의 함수 샘플을 수집하여 구성됨. 각 샘플은 요구사항, 참조 코드, 의존성 등으로 상세하게 주석 처리되어 있음.
+- **주요 기여**: 기존 벤치마크와 비교할 때 실제 코드 분포와 응용 시나리오에 더 가까운 데이터를 제공함으로써, LLMs의 성능을 더욱 정확히 평가할 수 있게 함.
+
+#### 2. 방법론 (Methodology)
+- **내용 요약**: DevEval의 구성 프로세스와 데이터 수집 방법론에 대해 설명. 사용된 코드 저장소의 선택 기준 및 주석 작성 방법에 대해 상세히 다룸.
+- **주요 기여**: 실제 환경에 기반한 평가를 위해 체계적인 데이터 수집 및 주석 방법론을 제시함.
+
+#### 3. 결과 (Results)
+- **내용 요약**: 8개의 인기 있는 LLMs를 DevEval 벤치마크로 평가한 결과를 제시. 이전 벤치마크에서 높은 성능을 보였던 모델들도 DevEval에서는 성능이 크게 저하됨을 보여줌.
+- **주요 기여**: DevEval을 활용하여 최신 LLMs의 실제 코드 저장소에서의 한계점을 명확히 드러냄.
+
+#### 4. 관찰된 경험적 교훈 (Empirical Lessons)
+- **내용 요약**: DevEval을 통해 얻은 4가지 주요 교훈을 제시. 기존 LLMs의 한계와 더불어 향후 연구 방향에 대해 조언함.
+- **주요 기여**: LLMs의 개발 및 평가에 필요한 실제적인 가이드라인을 제공함으로써, 연구자들이 더 나은 모델을 개발할 수 있도록 도움.
+
+#### 5. 논의 (Discussion)
+- **내용 요약**: DevEval의 결과를 통한 LLMs의 성능 향상을 위한 다양한 방안을 제안. 코드 맥락을 고려한 생성 방법의 중요성을 강조함.
+- **주요 기여**: 보다 실질적인 코드 생성 모델 평가 방법론을 제시함으로써, 연구 커뮤니티에 기여함.
+
+#### 6. 결론 및 향후 연구 방향 (Conclusion and Future Work)
+- **내용 요약**: DevEval의 주요 기능과 향후 확장 계획을 요약. 멀티언어 지원, 더 많은 프로젝트 및 테스트 케이스 추가 계획을 밝힘.
+- **주요 기여**: DevEval을 기반으로 보다 실제적인 LLMs 평가를 통해 AI 기술 발전에 기여할 방안을 제시.
+
+### 2. 전체 요약
+
+이 논문은 코드 생성 대형 언어 모델(LLMs)의 성능을 실제 코드 저장소 맥락에서 평가할 수 있는 새로운 벤치마크인 DevEval을 제안합니다. 기존 벤치마크와 달리 DevEval은 실제 코드 저장소의 데이터를 반영하여 LLMs의 실제 활용 가능성을 보다 정확히 평가할 수 있습니다. 논문은 DevEval의 데이터 수집 및 주석 방법론을 상세히 설명하며, 8개의 최신 LLMs를 평가한 결과를 제시합니다. 결과적으로, DevEval은 기존 벤치마크에서 높은 성능을 보인 모델들도 실제 코드 저장소에서는 성능이 저하됨을 보여주며, LLMs의 한계를 명확히 드러냅니다. 또한, 연구자들이 LLMs의 성능을 향상시키기 위해 고려해야 할 다양한 방안을 제안하고, DevEval의 향후 확장 계획을 밝혀 멀티언어 지원 및 추가 테스트 케이스를 통해 더욱 정교한 평가를 목표로 합니다.
+
+이 논문은 LLMs의 실제적인 평가를 통해 AI 기술 발전에 중요한 기여를 하고 있으며, 연구자들에게 실질적인 평가 기준과 향후 연구 방향을 제시합니다.

summaries/2405.19888.md

@@ -0,0 +1,48 @@
+# Parrot: Efficient Serving of LLM-based Applications with Semantic Variable
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2405.19888.pdf](https://arxiv.org/pdf/2405.19888.pdf)
+
+### 1. 각 섹션 요약 및 주요 기여와 혁신 부분 (한국어)
+
+#### 1. 서론
+- **내용 요약**: 대형 언어 모델(LLMs)의 놀라운 언어 이해 능력은 애플리케이션 개발에 혁신을 일으킴. 여러 AI 에이전트 또는 공동 작업자가 자연어 대화를 통해 LLM과 소통하여 작업을 수행함.
+- **주요 기여**: 다양한 LLM 애플리케이션 간의 복잡한 워크플로우 패턴을 소개함.
+- **혁신 부분**: 공용 LLM 서비스가 개별 요청의 최적화를 넘어서 애플리케이션 레벨의 정보를 활용할 수 있는 기회를 제공함.
+
+#### 2. 배경
+- **내용 요약**: LLM 기반 애플리케이션의 요청 간 상호 연결성과 공통성을 이해하는 것이 중요함.
+- **주요 기여**: 여러 연속적인 LLM 요청들이 서로 의존적일 때 효율이 높아진다는 점을 강조함.
+- **혁신 부분**: 다양한 LLM 기반 애플리케이션의 복잡한 대화 패턴에 대한 설명.
+
+#### 3. LLM 애플리케이션 제공의 문제점
+- **내용 요약**: 개인별 요청 최적화로 인한 전체 애플리케이션 성능 저하 문제.
+- **주요 기여**: 애플리케이션 레벨 정보를 이용하여 최적화를 도모해야 한다는 점을 강조.
+- **혁신 부분**: 애플리케이션 정보의 결여가 LLM 서비스의 전반적인 성능을 저해한다는 점을 표시함.
+
+#### 4. Parrot 디자인
+- **내용 요약**: Parrot은 LLM 기반 애플리케이션의 종합적인 경험을 개선하기 위해 설계됨.
+- **주요 기여**: Semantic Variable 도입으로 LLM 요청 간 상호작용을 분석할 수 있는 구조를 제공.
+- **혁신 부분**: 데이터 흐름 분석을 통해 LLM 요청 간의 상호 연결성을 발견할 수 있게 함.
+
+#### 5. Semantic Variable 및 상호 요청 분석의 원리
+- **내용 요약**: 요청의 입력/출력 변수를 주석(annotation)하여 여러 LLM 요청을 연결하는 데이터 파이프라인을 형성함.
+- **주요 기여**: Semantic Variable을 통해 종합적인 데이터 흐름 분석 가능.
+- **혁신 부분**: 여러 LLM 요청의 상호 연결성을 새롭게 발견할 수 있는 최적화 공간을 제안함.
+
+#### 6. 최적화 방법
+- **내용 요약**: 의존적인 요청 처리, 성능 목표 유도, 프롬프트 접두어 공유, 애플리케이션 중심 스케줄링 등의 최적화 방법을 소개.
+- **주요 기여**: 프롬프트 접두어의 공유를 통해 GPU 메모리 절약 및 연산 효율성 증가.
+- **혁신 부분**: 종합적인 LLM 애플리케이션 성능을 개선하기 위한 다양한 최적화 방법 도입.
+
+#### 7. 실험
+- **내용 요약**: Parrot의 성능을 다양한 설정에서 평가하여 기존 솔루션 대비 성능 향상 증명.
+- **주요 기여**: Parrot이 기존의 상태-of-아트 솔루션 대비 최대 11.7배 향상된 성능을 제공함.
+- **혁신 부분**: 모든 유형의 요청을 개별적으로 처리하는 대신, 애플리케이션 전체의 최적화를 목표로 하는 접근법.
+
+### 2. 전체 요약 (한국어)
+- **Parrot 개요**: Parrot은 LLM 기반 애플리케이션의 최적화를 목표로한 시스템으로, Semantic Variable이라는 새로운 개념을 도입하여 애플리케이션 레벨의 데이터를 분석하고 최적화 함.
+- **주요 기여**: 여러 LLM 요청 간의 상호 의존성을 활용하여 종합적인 애플리케이션 성능을 크게 향상시킴.
+- **혁신 부분**: 개별 요청 단위의 최적화를 넘어서 LLM 애플리케이션 전체의 성능을 최적화할 수 있는 방법을 제시함. Parrot은 기존 솔루션 대비 최대 11.7배 향상된 성능을 제공하며, 다양한 LLM 애플리케이션에서 효과적으로 사용될 수 있음.
+
+이 내용들은 발표 자료 준비 시 유용하며, Parrot 시스템의 주요 특징과 장점을 잘 드러냄으로써 청중의 이해를 돕는 데 도움이 됩니다.

summaries/2405.19893.md

@@ -0,0 +1,28 @@
+# Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2405.19893.pdf](https://arxiv.org/pdf/2405.19893.pdf)
+
+### 1. 섹션별 요약
+
+#### 1.1 소개 (Introduction)
+최근 대형 언어 모델(LLM)들은 언어 이해 및 생성 능력 덕분에 다양한 작업에서 뛰어난 성과를 보였습니다. 하지만, 최신 지식의 업데이트 주기와 비용 문제, 그리고 환각(hallucination) 문제로 인해 지식 집약적인 작업에서 많이 활용되지 못하고 있습니다. 이 문제의 해결책으로 검색 증강 생성(RAG) 접근 방식이 사용될 수 있습니다. 하지만 기존의 RAG 모델들은 주로 쿼리와 문서 간의 유사성에 의존해 정보를 검색하고, 이 유사성만으로는 성능이 저하되는 경우가 발생합니다. 이에 따라, 본 연구에서는 유사성 외에도 다양한 층위의 생각을 도입한 METRAG를 제안합니다  .
+
+#### 1.2 관련 연구 (Related Work)
+기존의 RAG 접근 방식은 검색된 문서를 LLM의 입력으로 사용해 더 나은 결과를 도출하는 방식입니다. 그러나 이 방법은 문서의 유틸리티(유용성)를 제대로 반영하지 못하는 경우가 많습니다. 따라서 본 연구는 유사성뿐만 아니라 유틸리티와 컴팩트성까지 고려하는 다층적 접근 방식을 제안합니다  .
+
+#### 1.3 제안된 접근 방식 (The Proposed Approach)
+본 연구에서는 METRAG 프레임워크를 제안합니다. 이 프레임워크는 먼저 LLM의 감독을 받아 유틸리티 기반의 생각을 도입하고, 다음으로 유사성과 유틸리티 기반의 문서를 통합하여 성능을 향상시키며, 마지막으로 작업 적응형 요약기를 통해 압축 지향적인 생각을 도입합니다. 이 다층적 접근을 통해 최종적으로 지식 증강 생성에 활용됩니다  .
+
+#### 1.4 실험 (Experiments)
+METRAG의 성능을 다양한 지식 집약적인 작업에서 실험한 결과, 기존 방법보다 우수한 성과를 보였습니다. 여러 데이터셋을 활용한 실험에서 METRAG가 다른 RAG 모델에 비해 성능이 뛰어나다는 것을 확인했습니다. 특히, 검색을 통한 정보추출이 성능 향상에 크게 기여했음을 발견했습니다  .
+
+#### 1.5 결론 및 한계 (Conclusion and Limitations)
+본 연구에서는 METRAG라는 다층적 생각을 도입한 RAG 프레임워크를 제안했습니다. 이 접근 방식은 다양한 지식 집약적 작업에서 성능이 우수한 것으로 나타났습니다. 하지만, 이 방법의 효과는 강력한 LLM의 감독에 크게 의존하며, 법률 문서나 의료 문서와 같이 많은 자료를 읽어야 하는 복잡한 상황에 대해서는 아직 해결되지 않았습니다. 향후 연구로는 이러한 상황을 다룰 수 있는 프레임워크로 확장하는 것이 필요합니다 .
+
+### 2. 전체 요약 (Overall Summary)
+본 논문에서는 기존의 검색 증강 생성 모델들이 유사성 기준에만 의존해 발생하는 문제를 해결하기 위한 METRAG 프레임워크를 제안합니다. METRAG는 LLM을 이용해 문서 유틸리티를 평가하고, 유사성과 유틸리티를 종합하여 검색 성능을 향상시키며, 요약기를 통해 필요한 정보를 압축하는 다층적 접근 방식을 취합니다. 실험 결과 METRAG는 다양한 지식 집약적 작업에서 기존 방법들보다 뛰어난 성능을 보였습니다. 그러나 이 방법은 강력한 LLM의 지원에 크게 의존하며, 대규모의 복잡한 자료를 다루는 데는 한계가 있어 향후 연구가 필요합니다. 
+
+---
+
+이 요약은 해당 논문을 바탕으로 프레젠테이션 자료를 작성하는 데 충분한 정보를 제공합니다. 논문에서 제시한 주요 기여와 혁신적인 부분을 이해하는 데 도움이 될 것입니다.