Add papers

README.md

@@ -11,6 +11,7 @@
 #### [Disco4D: Disentangled 4D Human Generation and Animation from a Single Image](summaries/2409.17280.md)
 #### [Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Multimodal Models](summaries/2409.17146.md)
 #### [DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion](summaries/2409.17145.md)
+#### [Turn Every Application into an Agent: Towards Efficient Human-Agent-Computer Interaction with API-First LLM-Based Agents](summaries/2409.17140.md)
 #### [Programming Every Example: Lifting Pre-training Data Quality like Experts at Scale](summaries/2409.17115.md)
 #### [Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors](summaries/2409.17058.md)
 #### [Game4Loc: A UAV Geo-Localization Benchmark from Game Data](summaries/2409.16925.md)
@@ -34,6 +35,7 @@
 #### [OmniBench: Towards The Future of Universal Omni-Language Models](summaries/2409.15272.md)
 #### [Boosting Healthcare LLMs Through Retrieved Context](summaries/2409.15127.md)
 #### [AIM 2024 Sparse Neural Rendering Challenge: Dataset and Benchmark](summaries/2409.15041.md)
+#### [Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely](summaries/2409.14924.md)
 #### [Reducing the Footprint of Multi-Vector Retrieval with Minimal Performance Impact via Token Pooling](summaries/2409.14683.md)
 #### [Instruction Following without Instruction Tuning](summaries/2409.14254.md)
 #### [The Imperative of Conversation Analysis in the Era of LLMs: A Survey of Tasks, Techniques, and Trends](summaries/2409.14195.md)
@@ -50,6 +52,7 @@
 #### [MuCodec: Ultra Low-Bitrate Music Codec](summaries/2409.13216.md)
 #### [An adapted large language model facilitates multiple medical tasks in diabetes care](summaries/2409.13191.md)
 #### [RRM: Robust Reward Model Training Mitigates Reward Hacking](summaries/2409.13156.md)
+#### [Can we only use guideline instead of shot in prompt?](summaries/2409.12979.md)
 #### [CLAIR-A: Leveraging Large Language Models to Judge Audio Captions](summaries/2409.12962.md)
 #### [Oryx MLLM: On-Demand Spatial-Temporal Understanding at Arbitrary Resolution](summaries/2409.12961.md)
 #### [LVCD: Reference-based Lineart Video Colorization with Diffusion Models](summaries/2409.12960.md)

summaries/2409.12979.md

@@ -0,0 +1,37 @@
+# Can we only use guideline instead of shot in prompt?
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.12979.pdf](https://arxiv.org/pdf/2409.12979.pdf)
+
+### 1. 각 섹션 요약
+
+#### **1. 서론**
+이 논문은 AI와 기계 학습에서 중요한 역할을 하는 프롬프트 기술을 탐구하며, 특히 샷 방식과 가이드라인 방식에 중점을 둡니다. 샷 방식은 선택된 예제를 따라 모델이 문제를 해결하도록 유도하는 반면, 가이드라인 방식은 작업별 지침을 통해 모델이 문제를 해결하도록 명시적으로 지시합니다. 이 연구는 샷 방식을 사용하는 대신 가이드라인만을 사용하여 문제를 해결할 수 있는지를 조사합니다.
+
+#### **2. 관련 연구**
+대규모 언어 모델(LLM) 기반 시스템의 발전을 설명하며, 특히 프롬프트 생성과 개선에 관한 다양한 접근 방식을 다룹니다. 주된 초점은 자동 프롬프트 생성과 개선, 특히 LLM을 활용한 프롬프트의 자동 최적화에 있습니다.
+
+#### **3. 문제 제기**
+질문과 답변, 프롬프트 및 언어 모델 간의 관계를 공식화하고, 피드백 에이전트, 가이드라인 에이전트, 트리-가더 에이전트로 구성된 프레임워크를 제안합니다. 이 프레임워크는 데이터에서 가이드라인을 학습하여 최종 프롬프트를 생성합니다.
+
+#### **4. 메서드**
+제안된 프레임워크는 세 가지 에이전트로 구성됩니다:
+- 피드백 에이전트: 각 질문과 답변 쌍을 분석하여 피드백을 생성.
+- 가이드라인 에이전트: 피드백을 기반으로 일반화된 지침을 도출.
+- 트리-가더 에이전트: 모든 지침을 계층 구조로 정리하여 최종 프롬프트 생성.
+
+#### **5. 실험 설정**
+실험은 Big-bench-hard(BBH) 데이터셋을 사용하여 세 가지 주요 작업(수학 계산, 논리적 추론, 문맥 이해)으로 나누어 진행했습니다. GPT-4 모델을 사용하여 실험을 수행하며, 정확성을 주요 평가 척도로 사용했습니다.
+
+#### **6. 결과 및 비교**
+- 샷 방식과 다수 샷 방식과 비교하여, 제안된 가이드라인 기반 프레임워크가 논리적 추론 및 수학 계산에서 더 높은 성능을 보였습니다.
+- 프롬프트에 "답변이 아닌 과정을 제시해 주세요"라는 지시문을 포함하면 성능이 향상됨을 확인했습니다.
+
+#### **7. 결론**
+이 연구는 샷을 사용하지 않고 가이드라인만으로도 높은 성능을 발휘할 수 있는지를 탐구하며, 제안된 FGT 프레임워크가 다수의 작업에서 우수한 성능을 달성함을 입증합니다. 이로써 데이터에서 자동으로 학습된 가이드라인의 중요성을 강조합니다.
+
+### 2. 전체 요약
+
+이 논문은 AI와 기계 학습에서 중요한 역할을 하는 프롬프트 기술 중 샷 방식과 가이드라인 방식을 비교하며, 특히 가이드라인 방식만으로 문제를 해결할 수 있는지를 탐구합니다. 기존의 샷 방식은 선택된 예제를 따라 모델이 문제를 해결하도록 유도하지만, 이 연구는 피드백 에이전트, 가이드라인 에이전트, 트리-가더 에이전트로 구성된 FGT 프레임워크를 제안하여 데이터에서 가이드라인을 자동으로 학습하는 방식을 제안합니다.
+
+실험 결과, 샷 방식이나 다수 샷 방식과 비교하여 제안된 가이드라인 기반 프레임워크가 수학 계산과 논리적 추론에서 더 높은 성능을 보였습니다. 또한, 프롬프트에 "과정을 제시해 주세요"라는 지시문을 포함하면 성능이 더욱 향상됨을 확인했습니다. 이로써 이 프레임워크가 데이터에서 자동으로 학습된 가이드라인의 중요성과 효과를 입증합니다.

summaries/2409.14924.md

@@ -0,0 +1,43 @@
+# Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.14924.pdf](https://arxiv.org/pdf/2409.14924.pdf)
+
+### 논문의 주요 내용을 섹션별로 요약
+
+#### 1. 서론
+인공지능(AI)과 대형 언어 모델(LLMs)은 다양한 분야에서 뛰어난 성능을 보여주고 있습니다. 하지만 특정 전문 분야에서 효과적으로 활용하기 위해서는 외부 데이터의 통합이 필요한 경우가 많습니다. 외부 데이터를 통합하면 모델의 도메인 전문성과 시의성을 강화하여 잘못된 정보 발생을 줄이고, 결과의 통제 가능성과 설명 가능성을 높일 수 있습니다. 대표적인 기법으로는 Retrieval-Augmented Generation(RAG)와 파인 튜닝(**fine-tuning**)이 있습니다.
+
+#### 2. 문제 정의
+데이터 보강 LLM 응용 프로그램은 도메인 특정 데이터에 기반한 질의응답 봇, 복잡한 데이터 파이프라인의 의미론적 처리 운영자 또는 다중 에이전트 시스템에서 특정 단계를 처리하는 에이전트 등 여러 형태로 존재합니다. 이런 응용 프로그램의 개발 과정에서는 외부 데이터의 효과적인 검색 및 사용자가 원하는 정보를 정확히 파악하고, 복잡한 작업을 위한 LLM의 추론 기능을 최대한 활용하는 등의 도전 과제를 포함합니다.
+
+#### 3. 질의의 계층화
+
+##### 명시적 사실 질의 (L1)
+이 수준의 질의는 질문에 대해 존재하는 명시적 사실을 기반으로 답변을 생성합니다. 주로 RAG를 사용하여 데이터를 정확히 검색하고, 필요한 정보를 빼내어 답변을 만듭니다. 이 과정에서 데이터 처리의 어려움과 데이터 검색의 어려움을 해결해야 합니다.
+
+##### 암묵적 사실 질의 (L2)
+암묵적 사실 질의는 관련된 여러 사실을 종합하여 답변을 생성합니다. 반복적인 RAG와 그래프 또는 트리 구조 상의 RAG 구현을 통해 관련된 여러 데이터를 병행하여 검색하고 연관 짓는 것이 중요합니다. 이 수준의 질의는 다중 단계 추론을 필요로 합니다.
+
+##### 해석 가능한 논리 질의 (L3)
+해석 가능한 논리 질의는 명확한 논리를 제공할 수 있는 질의를 말합니다. 프롬프트 튜닝(prompt tuning)을 통하여 LLM이 외부 지시를 준수하여 높은 수준의 논리를 제공하도록 개선할 수 있습니다.
+
+##### 숨겨진 논리 질의 (L4)
+숨겨진 논리 질의는 방대한 데이터 세트에서 스스로 문제 해결 접근 방법을 종합해야 하는 질의입니다. 이러한 질의를 처리하기 위해 오프라인 학습, 인컨텍스트 학습(in-context learning) 및 파인 튜닝 등의 방법이 사용됩니다.
+
+#### 4. 결과 및 논의
+데이터 보강 LLM 응용 프로그램 개발 시의 주요 도전 과제와 이를 극복하기 위한 방안을 논의합니다. 예를 들어, 적절한 데이터 세분화 및 검색 메커니즘 개발, 성능 평가 기준 마련 등이 포함됩니다. 또한, 단순 RAG를 넘어 파인 튜닝, 작은 모델의 활용 등 다양한 기술적 대안도 소개합니다.
+
+#### 5. 결론
+데이터 보강 LLM 응용 프로그램은 다양한 특화된 분야에서 능력을 발휘할 수 있으며, 이를 통해 더 정밀한 답변 제공, 낮은 오류율, 향상된 관리 가능성과 설명 가능성을 제공할 수 있습니다. 특히, 특정 도메인 전문가 데이터를 이용하여 더 전문적이고 시의성 있는 결과를 얻을 수 있습니다.
+
+### 전체 요약
+이 논문은 대형 언어 모델(LLM)을 특화된 분야에서 효과적으로 활용하기 위한 데이터 보강 기법을 탐구합니다. 주요 내용은 다음과 같습니다:
+
+1. **서론**: LLM의 활용과 외부 데이터 통합의 필요성.
+2. **문제 정의**: 데이터 보강 LLM 응용 프로그램의 다양한 형태와 도전 과제.
+3. **질의의 계층화**: 질의를 명시적 사실, 암묵적 사실, 해석 가능한 논리, 숨겨진 논리로 구분하여 다루는 방법.
+4. **결과 및 논의**: 데이터 세분화, 검색 메커니즘, 성능 평가 등의 기술적 도전과 해결 방안.
+5. **결론**: 데이터 보강을 통한 LLM의 개선 사항과 그 중요성.
+
+이 자료를 토대로 프레젠테이션을 구성할 수 있으며, AI 기술의 발전을 위해 유용한 정보를 제공할 것입니다.

summaries/2409.17140.md

@@ -0,0 +1,36 @@
+# Turn Every Application into an Agent: Towards Efficient Human-Agent-Computer Interaction with API-First LLM-Based Agents
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.17140.pdf](https://arxiv.org/pdf/2409.17140.pdf)
+
+### Paper Summary in Korean
+
+#### 1. 각 섹션의 중요한 내용을 요약
+
+**초록 (Abstract):**
+이 논문은 사용자 인터페이스(UI) 대신 애플리케이션 프로그래밍 인터페이스(API)를 우선시하는 새로운 LLM 기반 에이전트 프레임워크(AXIS)를 제안합니다. 이 프레임워크는 애플리케이션을 자동으로 탐색하고 API를 생성하여 작업 완료 효율을 크게 향상시킵니다. 실험 결과, AXIS는 작업 완료 시간을 65%-70%, 인지 부하를 38%-53% 감소시키면서도 인간 수준의 정확도를 유지했습니다. 
+
+**서론 (Introduction):**
+컴퓨터와 모바일 디바이스의 보급으로 인해 소프트웨어 애플리케이션의 복잡성이 증가하고 있습니다. 이를 해결하기 위해 LLM 및 다중 모달 LLM을 이용한 UI 에이전트가 개발되었으나, 높은 지연 시간과 신뢰성 문제를 안고 있습니다. 이 문제를 극복하기 위해 API 기반의 LLM 에이전트 프레임워크 AXIS를 제안합니다. 
+
+**관련 연구 (Related Work):**
+LLM 기반의 UI 에이전트는 주로 좁은 환경에서 활용되며, 다중 애플리케이션 간의 협업이 요구되는 일반적인 컴퓨터 작업에서 한계가 있습니다. 이에 따라 API 기반 접근 방식의 필요성이 부각되고 있습니다. 다양한 연구와 벤치마킹 환경이 이러한 문제 해결에 기여하고 있습니다.
+
+**AXIS 설계 (Design of AXIS):**
+AXIS는 애플리케이션을 자동으로 탐색하고, 수집된 정보를 바탕으로 새로운 "기술"을 생성하는 자가 탐색 LLM 기반 프레임워크입니다. AXIS 시스템은 앱 환경, 기술, 워크플로우 등 세 가지 주요 모듈로 구성되어 있으며, 각각 애플리케이션과의 상호작용을 통해 작업을 수행합니다.
+
+**실험 (Experiments):**
+AXIS를 활용하여 Microsoft Word에서 작업을 수행한 결과, 기존의 UI 에이전트나 수동 작업과 비교해 월등한 효율성을 보였습니다. 작업 완료 시간, 성공률, 작업 단계, 비용 측면에서 AXIS가 가장 우수한 성과를 나타냈습니다.
+
+**결론 (Conclusion):**
+AXIS는 전통적인 UI 기반 접근 방식의 한계를 극복하고, API 호출을 통해 작업 완료 효율성을 크게 향상시킵니다. AXIS를 통한 애플리케이션의 에이전트화는 효율성을 높이고, 사용자의 인지 부하를 줄이는 데 기여합니다.
+
+#### 2. 전체 요약
+이 논문에서는 LLM 및 다중 모달 LLM의 한계를 극복하기 위해 API 우선 접근 방식을 제안합니다. AXIS라고 불리는 이 프레임워크는 애플리케이션을 자동으로 탐색하여 새로운 API를 생성하고, 이를 통해 작업을 효율적으로 완료합니다. Microsoft Word 실험 결과, AXIS는 작업 완료 시간과 인지 부하를 크게 줄이면서도 높은 정확도를 유지했습니다. 결론적으로, AXIS는 효율적이고 신뢰할 수 있는 작업 환경을 제공하며, 이는 에이전트 운영 체제(Agent-OS)로의 발전 가능성을 열어줍니다.
+
+**결론:**
+- AXIS는 API 기반 접근 방식을 통해 다중 모달 LLM의 한계를 극복.
+- 실험 결과, AXIS는 작업 완료 시간, 인지 부하, 정확도에서 탁월한 성과.
+- 이 프레임워크는 사용자의 인지 부하를 줄이고, 효율성을 높이며, 애플리케이션을 에이전트로 전환할 수 있는 가능성을 확인.
+
+이 요약을 기반으로 프레젠테이션 자료를 만들 수 있습니다. 논문에서 제시된 AXIS의 혁신적인 부분과 실험 결과를 강조하여 설명하면 좋겠습니다.