Add papers

README.md

@@ -3,13 +3,19 @@
 #### [ConvKGYarn: Spinning Configurable and Scalable Conversational Knowledge Graph QA Datasets with Large Language Models](summaries/2408.convkgyarn.md)
 #### [Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders](summaries/2408.15998.md)
 #### [TEDRA: Text-based Editing of Dynamic and Photoreal Actors](summaries/2408.15995.md)
+#### [Distribution Backtracking Builds A Faster Convergence Trajectory for One-step Diffusion Distillation](summaries/2408.15991.md)
+#### [In-Context Imitation Learning via Next-Token Prediction](summaries/2408.15980.md)
 #### [Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models](summaries/2408.15915.md)
 #### [LLaVA-MoD: Making LLaVA Tiny via MoE Knowledge Distillation](summaries/2408.15881.md)
+#### [Knowledge Navigator: LLM-guided Browsing Framework for Exploratory Search in Scientific Literature](summaries/2408.15836.md)
+#### [Efficient LLM Scheduling by Learning to Rank](summaries/2408.15792.md)
 #### [Towards Realistic Example-based Modeling via 3D Gaussian Stitching](summaries/2408.15708.md)
+#### [Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts](summaries/2408.15664.md)
 #### [Dolphin: Long Context as a New Modality for Energy-Efficient On-Device Language Models](summaries/2408.15518.md)
 #### [ReMamba: Equip Mamba with Effective Long-Sequence Modeling](summaries/2408.15496.md)
 #### [Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation](summaries/2408.15239.md)
 #### [The Mamba in the Llama: Distilling and Accelerating Hybrid Models](summaries/2408.15237.md)
+#### [BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline](summaries/2408.15079.md)
 #### [Diffusion Models Are Real-Time Game Engines](summaries/2408.14837.md)
 #### [Build-A-Scene: Interactive 3D Layout Control for Diffusion-Based Image Generation](summaries/2408.14819.md)
 #### [Platypus: A Generalized Specialist Model for Reading Text in Various Forms](summaries/2408.14805.md)

summaries/2408.15079.md

@@ -0,0 +1,29 @@
+# BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2408.15079.pdf](https://arxiv.org/pdf/2408.15079.pdf)
+
+### 1. 각 섹션 요약 및 분석
+
+#### Abstract (초록)
+이 논문에서는 BaichuanSEED라는 7억 매개변수의 대형 언어 모델(LLM)을 소개하고, 이 모델이 광범위한 데이터 수집과 중복 제거를 통해 데이터 처리 파이프라인의 효과를 검증한다고 설명합니다. 이 모델은 구체적인 다운스트림 작업 최적화 없이 3조 토큰을 사용하여 사전 훈련되었으며, 이후 간단하지만 효과적인 감독 학습을 통해 미세 조정됩니다. BaichuanSEED는 여러 상업용 LLM과 비교해 경쟁력 있는 성능을 보여줍니다. 
+
+#### Introduction (서론)
+대형 언어 모델(LLM)은 다양한 도메인에서 뛰어난 성능을 보여왔습니다. 하지만 이러한 모델을 사전 훈련하는 것은 매우 비용이 많이 들며, 재현하기 어렵습니다. 기존 대부분의 연구는 데이터 선택에 집중하여 계산 비용을 줄이고 다운스트림 작업 성능을 높이는 데 주력했습니다. 여러 상업용 모델은 구체적인 최적화를 통해 특정 벤치마크에서 우수한 성능을 보이도록 설계되었습니다. BaichuanSEED는 이러한 최적화 없이도 모델의 순수한 성능을 측정하도록 설계되었습니다. 
+
+#### Pre-training (사전 훈련)
+사전 훈련 데이터 구축의 원칙은 다양성과 고품질입니다. 모델이 다양한 응용 시나리오에 적응할 수 있도록 다양한 주제, 언어 스타일 및 형식을 포함합니다. 또한, 높은 품질의 데이터를 사용하여 지식 밀도를 높이고 정보 중복을 줄이는 것을 목표로 합니다. 이를 위해 데이터 수집, 다단계 데이터 중복 제거, PII 및 유해한 콘텐츠 필터링과 같은 여러 단계를 거쳤습니다.
+
+#### Evaluation (평가)
+BaichuanSEED와 다른 최첨단 7B 모델을 다양한 벤치마크에서 비교 평가하였습니다. BaichuanSEED는 Llama와 Qwen 시리즈와 같은 상업용 모델과 비슷한 성능을 보이며, 특히 중국어 평가에서 뛰어난 성능을 보였습니다. 이를 통해 모델이 지식 집약적인 데이터를 효과적으로 습득할 수 있다는 것을 알 수 있었습니다.
+
+#### Conclusions (결론)
+BaichuanSEED는 고품질의 데이터를 사용하여 사전 훈련을 수행하며, 다양한 벤치마크에서 경쟁력 있는 성능을 보여줍니다. 이 논문은 모델의 사전 훈련 과정과 데이터 처리 파이프라인의 세부 사항을 공개하여 커뮤니티에 이바지하고자 합니다.
+
+### 2. 전체 요약
+이 논문은 BaichuanSEED라는 7억 매개변수의 대형 언어 모델을 통해 데이터 수집과 중복 제거의 중요한 역할을 강조하고 있습니다. BaichuanSEED는 데이터 수집과 재가중치 후, 다양한 주제와 높은 품질의 데이터를 사용하여 사전 훈련을 수행했습니다. 이 모델은 특정 최적화 없이도 다양한 벤치마크에서 상업용 모델과 비슷한 성능을 보였으며, 특히 중국어 평가에서 뛰어났습니다. 
+
+논문은 모델의 훈련 과정과 데이터 처리 파이프라인의 세부 사항을 투명하게 공개하여, 커뮤니티에서 이러한 모델의 실제 강점과 약점을 이해하고 평가할 수 있도록 지원하고자 합니다. 이를 통해 대형 언어 모델 분야에서 더 나은 연구와 개발이 이루어질 수 있을 것입니다.
+
+---
+이 정보가 AI 발전에 도움이 되시기를 바랍니다. 추가 질문이 있으시면 언제든지 알려주세요!

summaries/2408.15664.md

@@ -0,0 +1,30 @@
+# Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2408.15664.pdf](https://arxiv.org/pdf/2408.15664.pdf)
+
+### 논문 요약:
+
+#### 1. 요약 (섹션별):
+##### 소개 (Introduction):
+이 논문은 대규모 언어 모델을 확장하는 과정에서 발생하는 계산 비용 문제를 해결하기 위해 Mixture-of-Experts (MoE) 구조를 사용하는 방법을 다룹니다. MoE 구조는 컴퓨팅 비용을 관리하면서 모델 성능을 최적화합니다. 하지만, MoE 모델의 훈련 과정에서 발생하는 전문가 로드 불균형 문제는 모델 성능에 악영향을 미칩니다.
+
+##### 배경 (Background):
+MoE 구조는 트랜스포머 모델에서 사용되는 MLP 계층을 수정하여 전문가(Expert) 계층을 추가함으로써 작동합니다. 기존의 로드 균형 방법은 주로 보조 손실(auxiliary loss)를 사용하여 전문가 로드를 균형잡지만, 이는 원하는 손실 기울기 외에 방해 기울기를 생성하여 모델 성능을 저하시킨다는 문제점이 있습니다.
+
+##### 보조 손실 없는 로드 균형 전략 (Auxiliary-Loss-Free Load Balancing Strategy):
+방해 기울기를 생성하지 않고 로드를 균형잡는 'Loss-Free Balancing' 방법을 제안합니다. 이는 각 학습 스텝 후 전문가에게 바이어스를 적용하여 토큰 할당을 조정합니다. 이 방법은 기존의 보조 손실 전략보다 더 일관된 로드 균형을 유지하며, 방해 기울기를 생성하지 않아 모델 성능을 향상시킵니다.
+
+##### 실험 (Experiments):
+1B 및 3B 파라미터를 가진 MoE 모델을 대규모 데이터셋에서 훈련하여 실험을 진행했습니다. 그 결과, Loss-Free Balancing은 기존 방법보다 더 나은 검증 손실과 로드 균형을 달성했습니다.
+- Loss-Free Balancing은 전체 및 배치 수준에서 월등한 로드 균형을 보여줍니다.
+- 성능 상의 이점을 유지하면서 소개된 방법은 대규모 MoE 모델 훈련에 자연스럽게 호환됩니다.
+
+##### 논의 (Discussion):
+Loss-Free Balancing은 전문가 병렬 처리와 호환 가능하여 대규모 MoE 모델의 훈련과 추론 시 효율성을 높입니다. 또한, 각 샘플의 토큰 할당을 균형있게 유지하여 효율성을 극대화합니다. Loss-Free Balancing은 기존의 보조 손실 전략의 딜레마를 해결하면서도 모델의 전반적인 성능을 저해하지 않습니다.
+
+##### 결론 (Conclusion):
+이 논문에서는 MoE 구조의 로드 균형 문제를 해결하기 위한 'Loss-Free Balancing' 전략을 제안합니다. 실험 결과, 이 접근 방식은 검증 손실을 줄이고, 로드 균형을 개선하며, 대규모 MoE 모델 훈련 시 성능 향상을 가져옵니다.
+
+#### 2. 전체 요약:
+이 논문은 대규모 언어 모델의 성능을 최적화하기 위해 Mixture-of-Experts (MoE) 구조를 사용하고, 훈련 과정에서 발생하는 전문가 로드 불균형 문제를 해결하기 위한 'Loss-Free Balancing' 전략을 제안합니다. 이 새로운 전략은 기존의 보조 손실 기법이 가지는 방해 기울기 문제를 해결하고, 더 일관된 로드 균형을 유지하면서 모델 성능을 향상시킵니다. 실험을 통해 Loss-Free Balancing의 우수한 성능과 로드 균형 능력을 입증했습니다. 이 연구는 대규모 언어 모델의 효율적인 훈련과 성능 향상에 기여할 중요한 이정표를 제시합니다.

summaries/2408.15792.md

@@ -0,0 +1,48 @@
+# Efficient LLM Scheduling by Learning to Rank
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2408.15792.pdf](https://arxiv.org/pdf/2408.15792.pdf)
+
+### 요약
+
+**논문의 주제**: 이 논문은 대형 언어 모델(LLM)의 효율적인 스케줄링을 다루며, 특히 요청의 출력 길이를 예측함으로써 처리 시간을 최적화하는 방법을 제안합니다.
+
+#### Introduction (소개)
+
+대형 언어 모델(LLM)은 많은 인터넷 서비스 및 애플리케이션의 핵심이 되었습니다. 그러나 수많은 사용자 요청을 처리해야 하는 상황에서 FCFS(First-come-first-serve) 스케줄링 방식은 Head-Of-Line (HOL) 차단을 초래해 서비스 품질을 저하시킬 수 있습니다. 이 연구는 요청의 정확한 생성 길이를 예측하는 것은 불가능하지만, 상대적인 순위를 예측하여 요청을 효과적으로 스케줄링할 수 있음을 제시합니다.
+
+#### Related Work (관련 연구)
+
+이전 연구에서는 주로 FCFS 스케줄링을 사용하며, 이는 HOL 차단 문제를 해결하지 못했습니다. 일부 연구는 생성 길이를 예측하려고 시도했지만 정확도가 떨어졌습니다. 이 논문은 상대적인 순위를 사용하여 스케줄링을 최적화하는 새로운 접근법을 제안합니다.
+
+#### Problem Formulation (문제 정의)
+
+생성 길이의 정확한 예측보다 상대적인 순위 예측이 더 중요합니다. Kendall의 타우(Kendall’s Tau)를 사용하여 예측된 스케줄과 이상적인 SJF/SRTF 스케줄 사이의 유사성을 측정합니다. 높은 유사성은 실질적으로 더 낮은 대기 시간으로 이어집니다.
+
+#### Method (방법)
+
+**Generation Length Ranking Predictor (생성 길이 순위 예측기)**:
+- 작은 보조 모델(예: OPT-125M)을 사용해 요청의 생성 길이 순위를 예측합니다. 이 모델은 거의 비용이 들지 않습니다.
+
+**Request Scheduling with Rankings (순위 기반 요청 스케줄링)**:
+- 학습된 순위를 기반으로 요청을 스케줄링합니다. 이 방식은 온라인, 오프라인 모두 적용 가능하며, 실시간으로 요청을 처리합니다.
+
+#### Evaluation (평가)
+
+다양한 작업에서 제안된 방법이 기존 방법보다 성능이 뛰어남을 확인했습니다.
+- 챗봇 서비스에서는 대기 시간이 2.8배 감소했습니다.
+- 합성 데이터 생성에서는 처리량이 6.5배 증가했습니다.
+
+#### Limitations (한계)
+
+Kendall의 타우를 사용한 순위 측정에는 한계가 있습니다. 일부 경우에는 늦은 요청이 과도하게 대기하는 문제도 발생할 수 있습니다. 이러한 한계를 극복하기 위해 추가적인 연구가 필요합니다.
+
+#### Conclusion (결론)
+
+간단하고 저비용인 이 방법은 실제 LLM 서비스 시스템에 쉽게 통합될 수 있으며, 서비스 품질을 개선하고 비용을 절감할 수 있습니다. 챗봇 서비스에서 대기 시간은 2.8배 감소하고, 합성 데이터 생성에서는 처리량이 6.5배 증가했습니다.
+
+---
+
+### 전체 요약
+
+이 논문은 대형 언어 모델(LLM)의 효율적인 요청 스케줄링 방법을 제안합니다. 요청의 정확한 길이를 예측하는 것은 어려울 수 있지만, 상대적인 순위를 예측하는 방식으로 대기 시간을 줄이고 처리량을 증가시킬 수 있음을 보였습니다. 제안된 방법은 작은 보조 모델을 통해 요청의 순위를 예측하고, 이를 기반으로 실시간으로 요청을 스케줄링합니다. 이 방법은 챗봇 서비스와 합성 데이터 생성 등 다양한 애플리케이션에서 기존 방법보다 성능이 뛰어나며, 실제 시스템에 쉽게 통합될 수 있는 간단하고 저비용의 솔루션을 제공합니다.

summaries/2408.15836.md

@@ -0,0 +1,48 @@
+# Knowledge Navigator: LLM-guided Browsing Framework for Exploratory Search in Scientific Literature
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2408.15836.pdf](https://arxiv.org/pdf/2408.15836.pdf)
+
+### 요약 제공
+
+#### 1. 각 섹션의 중요한 내용 요약 (한국어로)
+
+**1. 서론**
+
+이 논문은 AI와 대형 언어 모델(LLM)을 이용하여 과학 문헌 탐색을 효율적으로 개선하는 방법을 제안합니다. 기존 검색 시스템은 방대한 문헌을 처리하는 데 한계가 있음을 지적하며, 'Knowledge Navigator'라는 새로운 접근 방식을 소개합니다.
+
+**2. 관련 연구**
+
+기존의 클러스터링 및 정보 검색 방법론은 데이터 표현의 한계로 인해 상용화되지 못했으나, 최근 LLM의 발전으로 새로운 가능성이 열렸습니다. 이 논문은 특히 LLM을 통해 문서를 주제별로 클러스터링하고 탐색하는 방법을 제안합니다.
+
+**3. 방법론**
+
+'Knowledge Navigator' 시스템은 다음과 같은 단계로 구성됩니다:
+1. 과학 문헌의 코퍼스를 생성합니다.
+2. 문서의 임베딩 및 클러스터링을 수행합니다.
+3. 클러스터를 설명하고 이름을 붙입니다.
+4. 관련 없는 클러스터를 필터링합니다.
+5. 클러스터를 주제적 계층 구조로 그룹화합니다.
+6. 하위 주제 쿼리를 생성합니다.
+
+**4. 실험 및 결과**
+
+이 시스템은 다양한 LLM을 이용해 평가되었으며, 결과적으로 'Knowledge Navigator'는 각 구성 요소에서 효율적으로 동작하며, 전반적으로 과학적 지식을 조직화하고 개요를 제공하는 데 훌륭함을 입증했습니다.
+
+**5. 토론**
+
+LLM 기반의 'Knowledge Navigator'는 새로운 분야의 과학 문헌을 탐색하고 조직화하는 데 큰 도움이 됩니다. 그러나, 시스템의 성능은 코퍼스의 질과 회수 능력에 따라 달라질 수 있으며, 문서 할당 전략의 개선이 필요합니다.
+
+**6. 결론 및 향후 연구**
+
+이 연구는 LLM을 이용한 클러스터 기반 탐색의 가능성을 보여주며, 이는 현대적 브라우징 시스템의 개발에 기여할 수 있습니다. 또한, 향후 연구에서는 이 프레임워크의 출력물을 다른 시스템의 프롬프트로 사용하거나 에이전트의 계획 작업에 사용할 것을 제안합니다.
+
+#### 2. 전체 요약 (한국어로)
+
+이 논문은 AI, 특히 대형 언어 모델(LLM)을 활용하여 과학 문헌 탐색을 효율적으로 개선할 수 있는 'Knowledge Navigator'라는 시스템을 제안합니다. 이 시스템은 특정 주제에 대한 광범위한 문헌을 계층적 하위 주제로 조직화하여 사용자가 효율적으로 탐색할 수 있도록 합니다. 주요 기여는 다음과 같습니다:
+
+1. LLM을 이용하여 과학 문헌을 다단계, 주제별로 조직화.
+2. 주제 클러스터를 생성하고 관련 없는 내용을 필터링하여 사용자에게 적합한 결과만 제공.
+3. 하위 주제 쿼리를 자동 생성하여 사용자가 깊이 있는 탐색을 할 수 있도록 지원.
+
+이 논문은 LLM 기술을 통해 방대한 과학 문헌의 탐색을 보다 체계적이고 효율적으로 만들 수 있는 방법을 제안하며, 이는 현대적 정보 탐색 시스템 발전에 기여할 수 있습니다. Future work includes further refinement of corpus retrieval methods and application of outputs in other systems to enhance their performance and usefulness.

summaries/2408.15980.md

@@ -0,0 +1,29 @@
+# In-Context Imitation Learning via Next-Token Prediction
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2408.15980.pdf](https://arxiv.org/pdf/2408.15980.pdf)
+
+### 1. 각 섹션 요약 및 주요 기여 내용
+
+#### 1.1. 서론 (Introduction)
+본 논문은 차세대 토큰 예측 모델을 사용하여 현실 세계 로봇에 대한 컨텍스트 학습을 수행하는 방법을 제시합니다. 특정 작업에 대한 로봇의 센서 모터 궤적을 통해 모델이 새로운 환경 설정에서 작업을 수행할 수 있게 합니다.
+
+#### 1.2. 관련 연구 (Related Works)
+이 섹션에서는 로봇 모방 학습, 특히 행동복제 및 에너지 기반 모델과 같은 다양한 접근 방식을 다룹니다. 기존 연구에서는 대부분의 모델이 각 작업에 대해 별도의 학습이 필요하다는 한계를 가지고 있습니다.
+
+#### 1.3. 문제 정의 (Problem Statement)
+본 논문에서는 연속 제어 환경에서 현실 세계 로봇의 컨텍스트 모방 학습 문제를 연구합니다. 본 모델은 새로운 데모 없이 주어진 작업을 수행할 수 있는 능력을 갖추고자 합니다.
+
+#### 1.4. 접근 방식 (Approach)
+본 논문에서는 시각 모터 궤적 데이터를 활용하여 트랜스포머 기반 정책 및 그 훈련 공식을 소개합니다. 데이터는 RGB 카메라의 이미지와 로봇의 운동 데이터로 구성됩니다.
+
+#### 1.5. 결과 및 평가 (Results and Evaluation)
+본 모델의 물리 실험 결과, ICRT가 제공된 프롬프트에 따라 새로운 작업을 효과적으로 수행할 수 있으며, 다양한 난이도의 작업에서 우수한 성과를 보였습니다.
+
+#### 1.6. 한계 및 결론 (Limitations and Conclusion)
+본 연구의 한계로는 모델이 처음 보는 프리미티브를 일반화하는 데 어려움이 있다는 점과 로봇 형태의 제약이 있다는 점을 들 수 있습니다. 미래 연구에서는 모델 용량 확장 및 데이터셋 확장을 통해 이러한 한계를 극복할 필요가 있습니다.
+
+### 2. 전체 요약
+본 논문은 차세대 토큰 예측 모델을 이용한 로봇의 컨텍스트 학습을 다루며, 이를 통해 복잡한 손실 함수나 키포인트 선택 없이 로봇의 행동을 제어할 수 있음을 입증합니다. 주요 기여로는 ICRT 모델의 소개, 새로운 다중 작업 로봇 데이터셋 및 훈련 패러다임 제안, 그리고 다양한 난이도의 작업에서 모델의 성능을 평가한 물리 실험이 있습니다. 특히 프롬프트를 통해 새로운 작업을 식별하고 적절한 행동을 실행하는 능력이 강조되었습니다.
+
+이 요약을 토대로 프레젠테이션 자료를 제작할 수 있으며, 논문이 AI와 로봇학습의 특정 문제를 해결하는 데 중요한 기여를 했음을 강조할 수 있습니다.