Add papers

README.md

@@ -1,5 +1,13 @@
 # Paper List
 ## 2406
+#### [WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild](summaries/2406.04770.md)
+#### [CRAG -- Comprehensive RAG Benchmark](summaries/2406.04744.md)
+#### [Mixture-of-Agents Enhances Large Language Model Capabilities](summaries/2406.04692.md)
+#### [Boosting Large-scale Parallel Training Efficiency with C4: A Communication-Driven Approach](summaries/2406.04594.md)
+#### [Proofread: Fixes All Errors with One Tap](summaries/2406.04523.md)
+#### [NATURAL PLAN: Benchmarking LLMs on Natural Language Planning](summaries/2406.04520.md)
+#### [GenAI Arena: An Open Evaluation Platform for Generative Models](summaries/2406.04485.md)
+#### [Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive?](summaries/2406.04391.md)
 #### [BitsFusion: 1.99 bits Weight Quantization of Diffusion Model](summaries/2406.04333.md)
 #### [ShareGPT4Video: Improving Video Understanding and Generation with Better Captions](summaries/2406.04325.md)
 #### [SF-V: Single Forward Video Generation Model](summaries/2406.04324.md)

summaries/2406.04391.md

@@ -0,0 +1,26 @@
+# Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive?
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2406.04391.pdf](https://arxiv.org/pdf/2406.04391.pdf)
+
+### 논문의 요약 및 분석
+
+#### 1. 각 섹션의 요약
+
+**서론 (Introduction)**:
+이 논문의 서론에서는 GPT-4, Claude, Gemini와 같은 최첨단 AI 시스템의 예측 가능한 확장성 행동의 중요성을 강조합니다. 특히, 사전 훈련 성능의 확장법칙이 잘 정립되어 있는 반면, 특정 다운스트림 성능의 확장 예측에 대한 문헌은 불확실하다고 설명합니다  . 
+
+**방법론 (Methodology)**:
+이 섹션은 서로 다른 모델 군과 여러 선택형 NLP 벤치마크를 사용하여 특정 작업에 대한 다운스트림 능력이 확장됨에 따라 어떻게 변화하는지 연구하기 위해 데이터를 생성하는 과정을 설명합니다. 여기에는 Pythia, Cerebras-GPT, OLMo, INCITE, LLM360 등의 모델이 포함됩니다. 또한, AI2 Reasoning Challenge, HellaSwag, MathQA 등 12개의 널리 사용되는 벤치마크가 평가됩니다  .
+
+**결과 (Results)**:
+결과 섹션에서는 여러 선택형 벤치마크에서 모델의 성능이 확장을 통해 어떻게 변하는지를 나타냅니다. 특히, 성능 메트릭이 로그 확률에서 변환되는 일련의 과정을 통해 점차 통계적 관계가 저하된다고 설명합니다. 이 섹션은 또한 잘못된 선택지에 대한 확률 질량의 변동을 예측하는 것이 다운스트림 성능을 정확하게 예측하기 위해 필수적임을 강조합니다  .
+
+**토의와 미래 방향 (Discussion and Future Directions)**:
+이 섹션에서는 다중 선택 평가에서 일어나는 예측 불가능한 요인과 그 메커니즘을 설명하고, 미래의 평가 시스템 설계 방법을 제안합니다. 특히, 복잡하고 중요한 모델 능력에 대한 확장성을 예측할 수 있는 평가 시스템의 필요성을 강조합니다. 또한, 다중 선택 외의 평가 방식으로의 확장이 필요함을 제안합니다  .
+
+#### 2. 전반적인 요약
+
+이 논문은 GPT-4를 포함한 최첨단 AI 모델의 성능 확장성을 예측하는 데 있어서의 도전과 해결 방안을 제공합니다. 특히, 널리 사용되는 다중 선택 질문-답변 벤치마크에서 성능이 로그 확률에서 변환되는 일련의 과정에서 예측 가능성이 저하된다는 새로운 요인을 식별합니다. 이를 통해 예측이 어려운 이유를 설명하며, 모델의 다운스트림 성능을 예측하기 위해 잘못된 선택지에 대한 확률 질량의 변동도 함께 예측해야 함을 강조합니다. 이러한 연구 결과는 미래의 AI 모델 평가 시스템 설계에 큰 영향을 미칠 수 있으며, 복잡하고 중요한 모델 능력에 대한 예측 가능성을 높이는 데 기여할 수 있습니다.
+
+결론적으로, 이 논문은 확장성 예측에 있어 중요한 통찰을 제공하며, AI 평가를 더 예측 가능하고 신뢰할 수 있도록 설계하는 방법에 대한 중요한 가이드를 제공합니다. 이 연구는 AI 시스템의 개발과 배포 시 중요한 의사 결정을 하는 데 기여할 수 있습니다.

summaries/2406.04485.md

@@ -0,0 +1,45 @@
+# GenAI Arena: An Open Evaluation Platform for Generative Models
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2406.04485.pdf](https://arxiv.org/pdf/2406.04485.pdf)
+
+### 1. 요약 - 각 섹션의 중요 내용과 주 기여 및 혁신적인 부분
+
+#### 1. 소개 (Introduction)
+이 논문은 GenAI-Arena라는 새로운 플랫폼을 소개합니다. 기존의 자동 평가 지표가 사용자의 만족도를 제대로 반영하지 못하는 단점을 해결하기 위해, 이 플랫폼은 사용자의 피드백과 투표를 통해 모델 성능을 평가합니다. 이 플랫폼은 텍스트-이미지 생성, 텍스트-비디오 생성, 이미지 편집의 세 가지 영역을 다루며, 현재 27개의 오픈소스 생성 모델을 평가하고 있습니다. 
+
+**주 기여 및 혁신**: 
+- 사용자 피드백을 활용한 투명하고 민주적인 모델 평가 방식 도입.
+
+#### 2. 관련 연구 (Related Work)
+다양한 생성 AI 모델 평가 지표와 플랫폼에 대해 리뷰합니다. 기존의 CLIPScore, IS, FID 등의 지표는 모델 성능을 측정할 수 있지만, 인간의 선호도를 완전히 반영하지 못합니다. 여러 평가 플랫폼은 모델 기반 평가에 의존하며 신뢰성이 낮은 단점이 있습니다.
+
+**주 기여 및 혁신**:
+- 기존 평가 지표와 플랫폼의 한계점을 식별하고, 이를 보완할 평가 방법론 제안.
+
+#### 3. GenAI-Arena: 디자인과 구현 (Design and Implementation)
+GenAI-Arena의 설계 및 구현 방식을 설명합니다. 주요 기능으로는 익명화된 투표 시스템, 전투 경기장, 직접 생성 탭, 리더보드 등이 포함됩니다. 다양한 아키텍처와 훈련 데이터를 사용하는 모델을 포함하여 포괄적인 평가를 진행합니다.
+
+**주 기여 및 혁신**:
+- 사용자 투표에 기반한 공정한 모델 비교를 위한 표준화된 추론 절차 도입.
+
+#### 4. 실험 결과 (Experiments and Results)
+플랫폼의 운영 결과를 분석합니다. 2024년 2월부터 6,000개 이상의 사용자가 투표를 진행하였으며, PlayGround V2.5, MagicBrush, T2V-Turbo 모델이 각각 텍스트-이미지 생성, 이미지 편집, 텍스트-비디오 생성에서 가장 뛰어난 성능을 보였습니다.
+
+**주 기여 및 혁신**:
+- 사용자 투표를 통한 모델 평가 및 순위화 시스템의 유효성 증명.
+
+#### 5. GenAI-Bench (GenAI-Bench)
+GenAI-Bench는 사용자 투표 데이터를 활용한 모델 평가 벤치마크입니다. 여러 멀티모달 모델을 활용해 인간의 투표와의 상관성을 점수화하고, 모델들의 평가 능력을 비교합니다.
+
+**주 기여 및 혁신**:
+- 자동 평가 지표와 사용자 피드백의 상관성 분석을 통한 멀티모달 모델 평가 능력 조사.
+
+#### 6. 결론 (Conclusion)
+GenAI-Arena와 GenAI-Bench 플랫폼의 성과와 향후 계획을 요약합니다. 지속적인 사용자 투표 수집과 새로운 멀티모달 모델 개발을 통해 평가 시스템을 개선할 계획입니다.
+
+**주 기여 및 혁신**:
+- 플랫폼의 지속적인 운영과 발전, 커뮤니티 연구 기여의 중요성 강조.
+
+### 2. 전반적인 요약
+논문은 기존 생성 AI 모델의 평가 방식이 사용자 만족도를 반영하지 못하는 문제를 해결하기 위해, GenAI-Arena라는 사용자 참여 기반 평가 플랫폼을 제안합니다. 이 플랫폼은 다양한 텍스트-이미지, 텍스트-비디오 생성 및 이미지 편집 모델을 포괄적으로 평가하며, 사용자 투표 데이터를 활용한 GenAI-Bench 벤치마크를 통해 모델의 평가 능력을 측정합니다. GenAI-Arena는 사용자의 피드백을 반영하여 모델을 공정하고 투명하게 평가하는 민주적인 접근 방식을 도입함으로써, AI 발전에 기여하고 있습니다.

summaries/2406.04520.md

@@ -0,0 +1,30 @@
+# NATURAL PLAN: Benchmarking LLMs on Natural Language Planning
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2406.04520.pdf](https://arxiv.org/pdf/2406.04520.pdf)
+
+### 1. 각 섹션의 요약
+
+#### 1.1 도입 (Introduction)
+도입 섹션에서는 대규모 언어 모델(LLM)이 자연어 이해, 추론, 코드 생성 등의 복잡한 작업을 처리할 수 있다는 점을 강조합니다. 그러나 이들 모델의 계획 능력은 여전히 인간 수준에 미치지 못하며, 이를 향상시키기 위한 현실적인 벤치마크의 필요성을 설명합니다 .
+
+#### 1.2 NATURAL PLAN
+NATURAL PLAN은 LLM이 자연어로 표현된 계획 작업을 얼마나 잘 처리할 수 있는지 평가하기 위해 설계된 벤치마크입니다. 이 벤치마크는 3가지 핵심 작업(여행 계획, 회의 계획, 일정 잡기)을 포함합니다. 각 작업에서 Google Flights, Google Maps, Google Calendar 등의 도구에서 나온 데이터를 컨텍스트로 제공해 모델의 도구 사용 능력을 배제하고 계획 능력만을 평가합니다. 초기 실험 결과, NATURAL PLAN은 최신 모델들에게 매우 어려운 벤치마크임을 보여줍니다  .
+
+#### 1.3 데이터셋 카테고리 (Dataset Categories)
+- **여행 계획 (Trip Planning)**: 주어진 제약 조건 하에서 여행 일정을 계획하는 작업.
+- **회의 계획 (Meeting Planning)**: 여러 명의 친구와 주어진 제약 조건에 따라 회의를 계획하는 작업.
+- **일정 잡기 (Calendar Scheduling)**: 여러 명의 사람들과 주어진 일정과 제약 조건을 고려해 회의 일정을 잡는 작업.
+이 각 섹션은 다양한 실제 도구와 데이터를 사용하여 현실 세계의 시나리오를 반영합니다 .
+
+#### 1.4 데이터셋 구성 (Dataset Construction)
+NATURAL PLAN 데이터셋은 각 작업 카테고리 별로 다양한 제약 조건을 적용해 생성합니다. 예를 들어 여행 계획에서는 유럽의 주요 도시들 간 직항 비행 시간 정보를 적용하고, 회의 계획에서는 Google Maps API를 통해 이동 시간을 계산합니다  .
+
+#### 1.5 결과 및 분석 (Results and Analysis)
+NATURAL PLAN의 초기 실험 결과, 모든 모델들이 절반 이하의 정확도를 보였으며, 작업 난이도가 증가할수록 성능이 크게 감소한다는 것을 확인했습니다. 특히, 자기 수정 과정에서는 오히려 성능이 저하되는 경향을 보였고, 제약 복잡성 분석에서는 도시 수가 증가할수록 성능이 크게 떨어졌습니다  .
+
+#### 1.6 결론 (Conclusion)
+NATURAL PLAN은 현실 세계의 계획 작업을 평가하기 위한 유망한 벤치마크임을 확인했습니다. 연구 결과, NATURAL PLAN은 최신 LLM에게도 매우 어려운 과제임이 드러났으며, 모델들이 작업의 복잡성이 증가할수록 성능이 크게 떨어진다는 것을 발견했습니다. 그러나 장기 컨텍스트를 활용한 계획의 가능성은 유망했습니다 .
+
+### 2. 전체 요약
+이 논문은 대규모 언어 모델(LLM)의 계획 능력을 평가하기 위한 새로운 벤치마크인 NATURAL PLAN을 소개합니다. NATURAL PLAN은 현실 세계의 시나리오를 반영한 여행 계획, 회의 계획, 일정 잡기 등 3가지 주요 작업을 포함합니다. 실험 결과, 최신 모델들은 전체적으로 절반 이하의 성능을 보였으며, 작업의 난이도가 증가할수록 성능이 크게 떨어지는 경향을 보였습니다. 특히, 자기 수정 과정에서 성능이 저하되고, 도시 수나 사람 수가 증가할수록 성능이 크게 감소하는 패턴을 확인했습니다. 그러나 장기 컨텍스트를 활용한 계획 작업에서는 성능 향상의 가능성을 발견했습니다. 이 논문은 NATURAL PLAN이 LLM의 계획 능력을 평가하는 데 매우 유용한 도구가 될 것임을 시사합니다.

summaries/2406.04523.md

@@ -0,0 +1,66 @@
+# Proofread: Fixes All Errors with One Tap
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2406.04523.pdf](https://arxiv.org/pdf/2406.04523.pdf)
+
+### 요약
+
+#### 1. 섹션별 요약
+
+**서론**
+
+서론에서는 Gboard라는 통계적 디코딩 기반의 키보드가 어떻게 만들었고, "큰 손가락" 문제로 인한 입력 오류를 해결해야 하는 이유를 설명합니다. 입력 오류율이 8%~9%에 달하며, 이를 해결하기 위해 자동 교정 기능과 수동 교정 기능을 제공합니다  . 
+
+**관련 연구**
+
+문법 오류 수정(GEC)의 역사를 개괄적으로 설명하며, 기존의 규칙 기반 방법에서 통계적 방법, 그리고 신경망 모델로의 발전 과정을 설명합니다. 
+
+**제어 가능한 텍스트 생성**
+
+제어 가능한 텍스트 생성의 다양한 응용 분야를 설명하며, 본 논문이 문법 오타 수정을 위한 단일 애플리케이션에 초점을 맞춘 이유를 설명합니다. 
+
+**문법 오류 수정(GEC)**
+
+최근 LLM(Large Language Models)을 활용한 GEC 연구의 동향과 현대 연구들의 비교를 다룹니다. LLM을 기반으로 한 맞춤형 데이터 생성 및 최적화 방법을 설명합니다.
+
+**명령 설정(Instruction Tuning, IT)**
+
+명령 기반 튜닝이 모델 성능을 향상시키는 효과와 이를 위해 강화 학습 및 휴리스틱 모델을 활용하는 방법을 설명합니다.
+
+**지연 시간 최적화**
+
+모델의 추론 속도를 높이기 위한 여러 가지 최적화 기법을 설명합니다. 모델 압축 및 훈련 과정에서의 다양한 기능을 통한 최적화 기법을 설명합니다.
+
+**데이터셋**
+
+웹 크롤링 데이터를 이용하여 대용량 데이터셋을 생성하고, 이를 통해 웹 크롤링 데이터의 문법 오류를 수정하는 과정을 설명합니다 .
+
+**메트릭**
+
+모델이 실제 사용자 경험에 맞게 성능을 평가하는 메트릭을 정의합니다. 주요 메트릭은 정확한 일치 비율(EM), 정규화된 일치 비율(NEM), 오류 비율, 의미 차이 비율, 좋은 결과 비율(Good Ratio), 나쁜 결과 비율(Bad Ratio)입니다 .
+
+**모델 튜닝**
+
+다중 단계의 모델 튜닝 과정을 설명합니다. 먼저 명령 기반 튜닝을 거쳐, 후속으로 데이터 튜닝과 강화 학습을 통해 모델의 성능을 최적화합니다 .
+
+**모델 서빙**
+
+TPUv5e를 이용하여 최적화된 지연 시간과 메모리 효율성을 고려해 모델을 배포하고 서비스를 제공합니다. 8비트 양자화, 버킷 추론, 텍스트 분할, 추정 디코딩을 통한 최적화 방법을 설명합니다 .
+
+**결론**
+
+논문의 주된 공헌을 요약하며, 혁신적인 LLM을 통한 사용자 경험의 향상을 강조합니다. 향후 연구 방향으로는 실제 사용자 데이터를 활용한 모델 성능 검증, 다국어 지원, 개인화된 문체 지원, 프라이버시 보호를 위한 온디바이스 솔루션 등을 제시합니다.
+
+#### 2. 전체 요약
+
+이 논문은 Google의 Gboard를 기반으로 하는 새로운 프로프리드(Proofread) 기능을 소개하며, 이를 위해 사용된 LLM의 데이터 생성, 메트릭 디자인, 모델 튜닝 및 배포 과정에 대해 설명합니다. 주요 혁신점으로는 명령 기반 튜닝 및 강화 학습을 통한 모델 최적화, TPUv5e를 활용한 효율적인 모델 배포가 포함됩니다. 이 기능은 현재 Pixel 8 사용자에게 제공되어 일상적으로 활용되고 있으며, 수십 개의 인터넷 상의 문법 오류 데이터를 수정하는 과정을 통해 높은 정확도를 나타냈습니다. 앞으로는 다국어 지원, 개인화된 문체 지원, 그리고 온디바이스 프라이버시 보호 솔루션 등이 연구될 예정입니다.
+
+### 결론
+
+이 논문은 Gboard 사용자들에게 새로운 문법 오류 수정 기능을 제공함으로써, 더 빠르고 효율적인 타이핑 경험을 제공합니다. 새로운 메트릭과 최적화된 데이터 생성 기법을 통해 높은 정확성을 유지하면서도 사용자 경험을 크게 향상시킵니다 .
+
+**주요 기여:**
+1. LLM을 활용한 새로운 문법 오류 수정 기능 개발.
+2. 다양하고 복잡한 데이터 셋 및 메트릭 디자인.
+3. 강화 학습을 통한 모델 성능 최적화.
+4. TPUv5e를 활용한 최적화된 모델 배포   .

summaries/2406.04594.md

@@ -0,0 +1,21 @@
+# Boosting Large-scale Parallel Training Efficiency with C4: A Communication-Driven Approach
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2406.04594.pdf](https://arxiv.org/pdf/2406.04594.pdf)
+
+### 1. 요약
+
+#### 1.1 소개 (Introduction)
+이 논문은 대규모 AI 클러스터에서 거대 언어 모델(LLM)을 효율적으로 학습시키기 위한 새로운 통신 중심 접근 방식인 C4 시스템을 제안합니다. LLM의 발전으로 인해 수천 개의 GPU를 사용해 모델을 학습하는 병렬 학습 기술이 필요해졌으나, 현재의 병렬 학습 효율성은 하드웨어 오류와 네트워크 병목 현상 때문에 최적화되지 않습니다. 이를 해결하기 위해 C4는 신속한 오류 탐지 및 격리, 네트워크 혼잡 감소를 목표로 합니다.
+
+#### 1.2 배경 및 도전 과제 (Background and Challenges)
+엣 AI 클러스터 운영에서 발생하는 주요 문제는 하드웨어 오류와 통신 지연입니다. 학습 도중 발생하는 오류를 신속히 탐지하고 격리하는 것이 중요합니다. 또한, 동기화 지점에서 발생하는 네트워크 혼잡을 줄이는 것도 중요합니다. 이러한 문제를 해결하기 위해 C4는 실시간 오류 탐지와 네트워크 트래픽 관리 기능을 구현하였습니다.
+
+#### 1.3 주요 기여 및 혁신 (Main Contributions)
+C4 시스템은 두 가지 주요 하위 시스템으로 구성됩니다: C4D와 C4P. C4D는 실시간 시스템 오류 탐지 및 격리를 통해 학습 안정성을 높이고, C4P는 네트워크 연결 경로를 최적화하여 네트워크 혼잡을 줄입니다. 이 두 시스템을 통해 AI 클러스터의 오류로 인한 오버헤드를 약 30% 줄이고, 통신 비용을 절감함으로써 처리량을 15% 향상시키는 효과를 얻을 수 있었습니다.
+
+#### 1.4 방법론 (Methods)
+C4D는 하드웨어 오류를 신속히 감지하고, 해당 노드를 격리한 후 애플리케이션을 마지막 체크포인트에서 재시작합니다. 반면 C4P는 통신 라이브러리를 개선하여 경로 할당 요청 기능을 추가하고, 실시간 네트워크 상태에 따라 경로를 동적으로 재분배합니다.
+
+### 2. 종합 요약 (Overall Summary)
+대규모 AI 클러스터에서 LLM을 효율적으로 학습시키기 위해서는 하드웨어 오류와 네트워크 혼잡 문제를 해결하는 것이 중요합니다. C4는 이러한 문제를 해결하기 위해 설계된 시스템으로, 실시간 오류 탐지 및 격리 시스템(C4D)과 네트워크 경로 최적화 시스템(C4P)으로 구성됩니다. 이를 통해 AI 클러스터의 오류로 인한 오버헤드를 크게 줄이고, 통신 효율성을 향상시키는 데 성공하였습니다. 이러한 혁신적인 접근 방식을 통해 AI 모델 학습의 안정성과 효율성을 크게 향상시킬 수 있습니다.