Add papers

README.md

@@ -1,5 +1,10 @@
 # Paper List
 ## 2409
+#### [DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors](summaries/2409.08278.md)
+#### [FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally](summaries/2409.08270.md)
+#### [Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale](summaries/2409.08264.md)
+#### [TextBoost: Towards One-Shot Personalization of Text-to-Image Models via Fine-tuning Text Encoder](summaries/2409.08248.md)
+#### [Source2Synth: Synthetic Data Generation and Curation Grounded in Real Data Sources](summaries/2409.08239.md)
 #### [Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models](summaries/2409.07452.md)
 #### [VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos](summaries/2409.07450.md)
 #### [Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering](summaries/2409.07441.md)

summaries/2409.08239.md

@@ -0,0 +1,37 @@
+# Source2Synth: Synthetic Data Generation and Curation Grounded in Real Data Sources
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.08239.pdf](https://arxiv.org/pdf/2409.08239.pdf)
+
+### 요약 - Source2Synth 논문
+
+#### 1. 논문의 주요 기여와 혁신 부분 요약
+
+1. **서론 (Introduction)**
+   - 대형 언어 모델(LLMs)은 인간과 유사한 텍스트를 생성하지만, 복잡한 다중 단계 추론, 도구 사용, 구조화된 데이터 처리에 어려움을 겪음.
+   - 이러한 과제를 해결하기 위해, 인간이 주석을 달아주는 데이터는 시간과 비용이 많이 소요됨.
+   - 이 논문에서는 Source2Synth라는 외부 실제 데이터 소스를 기반으로 한 합성 데이터 생성 방법을 제안함.
+   - Source2Synth는 실제 데이터에 기반하여 더욱 현실적이고 다양한 데이터를 생성하고, 이를 통해 복잡한 작업에서의 성능을 향상시킴.
+
+2. **방법론 (Methods)**
+   - **데이터셋 생성 (Dataset Generation)**: 웹의 테이블이나 관련 위키피디아 기사와 같은 데이터를 선택해 해당 작업에 맞는 합성 데이터를 생성.
+   - **데이터 큐레이션 (Dataset Curation)**: 생성된 합성 데이터를 품질 관리를 통해 두 개의 슬라이스로 나눠서 처리. 첫 번째 슬라이스는 중간 모델을 미세 조정하며, 두 번째 슬라이스는 필터링과 보완 단계를 거쳐 더 높은 품질의 데이터셋을 생성.
+   - **모델 미세 조정 (Model Fine Tuning)**: 최종 모델은 큐레이션을 거친 데이터셋으로 미세 조정되어 주어진 작업에서 더 나은 성능을 제공.
+
+3. **실험 및 결과 (Experiments and Results)**
+   - 다중 단계 질문 응답과 SQL을 이용한 테이블 기반 질문 응답 두 가지 작업에서 Source2Synth의 성능을 입증.
+   - HotPotQA 데이터셋에서 다중 단계 추론 작업에서 22.57% 향상, WikiSQL 데이터셋에서 테이블 질문 응답 작업에서 25.51% 향상을 보여줌.
+
+4. **결론 (Conclusion)**
+   - Source2Synth는 실제 데이터 소스를 기반으로 한 합성 데이터 생성 및 큐레이션 방법으로, 복잡한 작업에서 인간 주석 없이도 성능을 향상시킴.
+   - 기타 저데이터 환경에서도 유용하게 사용될 수 있으며, 향후 생물학, 화학, 의학과 같은 다양한 분야에 적용 가능성 있음.
+
+#### 2. 전반적인 요약
+
+Source2Synth 논문은 복잡한 다중 단계 추론 및 도구 사용과 같은 작업에서 대형 언어 모델(LLMs)의 성능을 향상시키기 위해 합성 데이터를 생성하고 큐레이션하는 새로운 방법론을 제시합니다. 이 방법론은 웹의 테이블이나 위키피디아 기사 등 외부 실제 데이터를 기반으로 하여 더욱 현실적이고 다양한 데이터를 생성합니다. 또한, 품질 관리 절차를 통해 더 높은 품질의 데이터셋을 생성함으로써, 인간 주석 없이도 복잡한 작업에서 주어진 모델의 성능을 크게 향상시킵니다. 이를 통해 다중 단계 질문 응답과 SQL 기반 테이블 질문 응답 작업에서 각각 22.57% 및 25.51%의 성능 향상을 입증하였습니다. 이 방법론은 생물학, 화학, 의학 등 다양한 분야에서도 유용하게 적용될 수 있습니다.
+
+**주요 기여와 혁신 부분:**
+
+1. **합성 데이터 생성 기법**: 기존의 비싼 인간 주석 작업 없이도 합성 데이터를 생성하고, 외부 실제 데이터를 기반으로 현실적이고 다양한 데이터셋을 생성.
+2. **큐레이션 방법**: 품질 관리를 통해 데이터셋을 두 개의 슬라이스로 나누어 처리하고, 더 높은 품질의 데이터셋을 생성.
+3. **높은 성능 입증**: 다중 단계 추론과 SQL 기반 테이블 질문 응답 작업에서 각각 22.57% 및 25.51%의 성능 향상을 보여줌.

summaries/2409.08248.md

@@ -0,0 +1,33 @@
+# TextBoost: Towards One-Shot Personalization of Text-to-Image Models via Fine-tuning Text Encoder
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.08248.pdf](https://arxiv.org/pdf/2409.08248.pdf)
+
+### 논문 요약
+
+#### 1. 각 섹션 요약
+
+**1. 도입 (Introduction)**:
+이 논문은 텍스트 투 이미지 (text-to-image) 모델의 개인화에 관한 연구이다. 기존 방법들은 고품질의 이미지를 생성하기 위해 최소 3에서 5개의 참조 이미지가 필요하고, 단일 참조 이미지로는 효과적으로 사용자 텍스트 프롬프트에 반응하지 못한다. 이에 반해, 본 연구는 텍스트 인코더의 미세 조정에 초점을 맞춰 단일 참조 이미지로 고품질의 이미지를 생성하는 방법을 제안한다. 세 가지 주요 기술 - 증강 토큰, 지식 보존 손실, SNR 가중 샘플링 - 을 도입하여 개인화 성능을 향상시켰다.
+
+**2. 배경 (Background)**:
+텍스트 투 이미지 디퓨전 모델은 원본 데이터 분포를 학습하여 텍스트 프롬프트를 통해 이미지를 생성한다. 주요한 구조로는 U-Net을 포함한 Stable Diffusion 모델이 사용된다.
+
+**3. 텍스트 인코더 미세 조정 필요성 (Need for Fine-tuning Text Encoder)**:
+기존 방법의 한계로 인해 단일 참조 이미지로 작업할 경우 과적합 문제가 발생한다. 이미지 모듈을 직접 미세 조정하는 방법보다는 텍스트 인코더의 가중치를 미세 조정하는 것이 더 효과적임을 제안하고 있다. 기존 연구에서는 이미지 생성 모듈의 다양한 부분을 미세 조정하려고 했으나, 본 연구는 텍스트 인코더의 변화가 더 크다는 것을 발견했다.
+
+**4. 방법론 (Method)**:
+이 섹션에서는 세 가지 새로운 기술을 제안한다:
+  - 증강 토큰 (Augmentation Token): 주제 관련 및 주제 비관련 특징을 분리하도록 한다.
+  - 지식 보존 손실 (Knowledge Preservation Loss): 텍스트 인코더가 언어 드리프트를 방지하도록 하고 다양한 프롬프트에 대해 일반화된 성능을 유지하도록 한다.
+  - SNR 가중 샘플링 (SNR-weighted Sampling): 훈련 효율성을 높인다.
+
+**5. 실험 (Experiments)**:
+다양한 텍스트 프롬프트와 주제를 통해 제안된 방법의 성능을 입증했다. 양적 평가, 사용자 연구, 그리고 다양성과 분리 능력에 대한 질적 평가를 포함한 다양한 실험을 통해 본 방법의 우수함을 입증했다. 예를 들어, 사용자 연구에서는 제안된 방법이 다른 방법들에 비해 더 많은 사용자 선호도를 받았다.
+
+**6. 결론 (Conclusion)**:
+텍스트 인코더를 미세 조정하는 새로운 접근 방식을 통해 단일 참조 이미지로 고품질 개인화된 텍스트 투 이미지 생성을 할 수 있음을 증명했다. 이 방법은 메모리와 저장 효율성 측면에서도 우수하다.
+
+#### 2. 전체 요약
+
+이 논문은 텍스트 투 이미지 모델의 개인화를 위한 혁신적인 접근 방식을 제안한다. 기존 방법들은 높은 품질의 이미지를 생성하려면 여러 개의 참조 이미지가 필요하고, 과적합 문제로 인해 단일 참조 이미지로는 높은 품질의 이미지를 생성하는 데 어려움이 있었다. 이를 해결하기 위해 연구팀은 텍스트 인코더를 미세 조정하는 접근 방식을 도입하고, 증강 토큰, 지식 보존 손실, SNR 가중 샘플링 등의 기술을 적용하여 단일 참조 이미지로도 효율적이고 고품질의 이미지를 생성할 수 있도록 했다. 다양한 실험을 통해 이 방법의 효율성과 실용성을 입증하였다. 이러한 접근 방식은 실세계의 다양한 응용에 있어 실용적인 개인화된 이미지 생성이 가능하게 하여, AI와 머신러닝 분야에 큰 기여를 할 수 있다.

summaries/2409.08264.md

@@ -0,0 +1,29 @@
+# Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.08264.pdf](https://arxiv.org/pdf/2409.08264.pdf)
+
+### 1. 섹션별 요약
+
+#### Introduction
+이 논문은 다중 모달 AI 에이전트의 성능 평가를 위한 새로운 플랫폼인 WINDOWSAGENTARENA를 소개합니다. 이 플랫폼은 Windows 운영 체제 내에서 작동하며, 사용자가 실제로 사용하는 다양한 응용 프로그램과 도구, 웹 브라우저를 사용할 수 있게 합니다. 주요 목표는 휴먼 수준의 성능을 가진 에이전트를 개발하고 평가하는 것입니다.
+
+#### Related Work
+이 섹션에서는 기존 연구들을 검토하며, 특히 LLM (대형 언어 모델)과 다중 모달 모델의 발전에 중점을 둡니다. 또한 각종 벤치마크와 평가 방법론을 비교하여 이 연구의 독창성을 강조합니다. 다양한 기존 플랫폼 및 도구들이 비교 평가됩니다.
+
+#### Approach (방법론)
+WINDOWSAGENTARENA는 마이크로소프트 Azure 클라우드 환경에서 테스트를 수행하며, 150개가 넘는 다양한 태스크를 포함하고 있습니다. 이 태스크들은 기획, 화면 이해, 도구 사용 같은 다양한 에이전트 능력을 요구합니다. 이 플랫폼은 빠르고 확장 가능한 평가를 위해 병렬 처리가 가능하도록 설계되었습니다.
+
+#### Evaluation (평가)
+평가는 벤치마크 태스크를 수행하는 에이전트의 성능을 측정하는 데 중점을 둡니다. 예를 들어, Navi라는 새로운 다중 모달 에이전트는 Windows 및 웹 기반 벤치마크에서 테스트되었습니다. 결과적으로, Navi는 인간이 수행하는 것보다 낮은 성공률을 보였으나, 이는 개선의 여지가 있음을 의미합니다. 구체적인 성능 지표와 함께 에이전트의 강점과 약점이 분석됩니다.
+
+#### Conclusion (결론)
+WINDOWSAGENTARENA는 다중 모달 에이전트를 테스트하고 개발하는 데 있어 현실적이고 재현 가능한 환경을 제공합니다. 이 플랫폼은 다양하고 복잡한 태스크를 포함하며, 에이전트 성능에 대한 정량적, 정성적 분석을 통해 향후 연구 방향에 대한 귀중한 통찰력을 제공합니다. 또한, 코드와 벤치마크를 공개하여 연구자들이 더 나은 에이전트를 개발하는 데 기여할 수 있도록 했습니다.
+
+### 2. 전체 요약
+
+이 논문은 WINDOWSAGENTARENA라는 새로운 벤치마크 플랫폼을 통해 다중 모달 AI 에이전트의 성능을 평가하고 개발하는 방법을 제안합니다. 이 플랫폼은 Windows 운영 체제에서 작동하며, Azure 클라우드 환경에서 빠르고 효율적으로 다양한 태스크를 병렬로 처리할 수 있습니다. 결과적으로, 다중 모달 에이전트 Navi는 다양한 벤치마크 태스크에서 인간보다 낮은 성과를 보였지만, 이는 향후 개선을 위한 도전과제를 제시합니다. 이러한 연구는 다중 모달 AI 에이전트의 개발과 평가 방법론에 중요한 기여를 하며, 공개된 코드와 데이터를 통해 추가 연구를 촉진합니다.
+
+---
+
+이 요약을 기반으로 프레젠테이션을 만들 때, 각각의 섹션에 대해 더 자세히 설명하고 각 섹션의 주요 기여와 혁신적인 부분을 강조하면 효과적일 것입니다.

summaries/2409.08270.md

@@ -0,0 +1,28 @@
+# FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.08270.pdf](https://arxiv.org/pdf/2409.08270.pdf)
+
+### 1. 논문 각 섹션의 요약
+
+#### 소개 (Introduction)
+이 논문은 2D 마스크로부터 3D Gaussian Splatting (3D-GS) 세그멘테이션을 효과적으로 수행하는 새로운 방법을 소개합니다. 기존 방법들은 3D Gaussian 각각에 라벨을 할당하기 위해 반복적인 그래디언트 디센트를 사용하는데, 이는 느리고 최적의 솔루션을 찾기 어렵습니다. 반면 제안된 방법은 선형 프로그래밍을 사용하여 빠르고 전역 최적의 라벨 할당을 수행합니다. 이 방법의 적응력은 백그라운드 노이즈에 대한 강인성을 높이고, 최적화 시간을 다른 방법들보다 50배 줄이는 데 있습니다.
+
+#### 관련 연구 (Related Work)
+이 섹션은 3D Gaussian Splatting 및 3D 신경 장면 세그멘테이션의 최신 연구들을 검토합니다. 3D Gaussian Splatting은 2D 이미지에서 3D 장면을 복원하는 중요한 방법으로 최근 주목받고 있습니다. 다양한 연구가 3D Gaussian을 사용하여 정적 및 동적 장면을 효과적으로 잘 나타내고 있으며, 우리의 연구는 이러한 방법들을 향상시킵니다.
+
+#### 방법론 (Methodology)
+이 섹션에서는 3D Gaussian Splatting의 렌더링 프로세스를 설명하고, 이것이 어떻게 선형 프로그래밍 최적화 문제로 정식화될 수 있는지 보여줍니다. 제안된 방법은 2D 마스크의 노이즈를 줄이기 위해 소프트 최적 할당을 도입하였으며, 이를 통해 정확하고 빠른 3D 세그멘테이션이 가능하게 만듭니다. 또한, 깊이 정보를 활용해 새로운 관점에서 2D 마스크를 렌더링하는 방법도 제시합니다.
+
+#### 실험 (Experiments)
+다양한 데이터셋을 사용하여 제안된 방법의 효율성과 성능을 검증하였습니다. 기존 방법들과 비교하여 최소 평균 교차 더블 한계점(Mean Intersection over Union, mIoU)과 평균 정확도(mean accuracy)에서 더 나은 성능을 보였으며, 최적화 시간도 크게 단축되었습니다. 또한, 오브젝트 제거와 인페인팅에서 높은 성능을 보여줍니다.
+
+#### 결과 (Results)
+실험 결과, 제안된 방법은 기존 방법들에 비해 더 높은 정확도와 효율성을 보였습니다. 특히, 백그라운드 노이즈에 강인하고, 3D 세그멘테이션 과정에서 빠른 최적화를 실현합니다. 이는 다양한 장면에 대해 유리한 결과를 보여줍니다.
+
+#### 결론 (Conclusion)
+이 논문의 주요 기여는 3D Gaussian Splatting 세그멘테이션을 단일 단계 최적화로 해결할 수 있는 방법을 제안한 것입니다. 이는 백그라운드 노이즈에 강인하며, 최적화 시간을 크게 줄이고, 다양한 응용 분야에서 뛰어난 성능을 발휘합니다. 이 연구는 미래의 3D 장면 이해와 조작에 기여할 것입니다.
+
+### 2. 전체 요약
+
+이 논문은 2D 마스크로부터 3D Gaussian Splatting(3D-GS) 세그멘테이션을 수행하는 새로운 방법인 FlashSplat을 제안합니다. 이 방법은 전통적인 반복적 그래디언트 디센트 방식을 사용하지 않고, 선형 프로그래밍을 통해 단일 단계로 최적의 라벨 할당을 수행하여 세그멘테이션 시간을 대폭 줄이고 효율성을 높입니다. 실험을 통해 FlashSplat의 효율성과 강인성을 검증하였으며, 기존 방법들에 비해 성능이 우수함을 보여주었습니다. 이를 통해 향후 3D 장면 이해와 조작에 중요한 기여를 할 수 있을 것으로 기대됩니다.

summaries/2409.08278.md

@@ -0,0 +1,30 @@
+# DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.08278.pdf](https://arxiv.org/pdf/2409.08278.pdf)
+
+## 1. 섹션 별 요약
+
+### 1. 도입 (Introduction)
+이 논문은 텍스트 설명에 따라 주어진 3D 인간 모델을 다양한 3D 객체와 자연스럽게 상호작용하도록 만드는 방법을 제안합니다. 이를 통해 가상 환경을 자동으로 인구 밀도가 높은 상태로 만들 수 있으며, 이는 영화, 비디오 게임 제작 등에 중요한 영향을 미칠 수 있습니다. 주요 도전 과제는 인간 모델의 원하는 변형이 객체의 실제 기하학에 따라 다르다는 점입니다.
+
+### 2. 관련 연구 (Related Work)
+이전에 시도된 3D 생성 연구는 대부분 단일 뷰 또는 소수의 뷰를 사용한 재구성 작업에 중점을 두었으나, 이러한 모델들은 카테고리별로 특화되어 있으며 개방 도메인 생성에는 어려움이 있습니다. 최근에는 다중 뷰를 사용한 3D 생성 연구가 활발히 진행되고 있으며, 이는 대규모 이미지와 비디오를 통해 사전 훈련된 생성 모델을 사용합니다.
+
+### 3. 방법론 (Method)
+이 논문에서는 암시적-명시적 이중 표현(dual implicit-explicit representation)을 제안하며, 이는 대규모 텍스트-이미지 확산 모델을 통해 인간 메쉬의 관절 파라미터를 최적화하는데 활용됩니다. 이 방법을 통해 인간 모델의 텍스처와 포즈를 더욱 정확하게 표현할 수 있습니다.
+
+### 4. 실험 (Experiments)
+DreamHOI는 다양한 인간-객체 상호작용을 통해 그 효과성을 입증하였습니다. '오토바이를 타는 중'과 같은 텍스트 설명에 따라 인간 포즈를 차량의 기하학에 맞춰 자연스럽게 조정할 수 있습니다. 다른 텍스트 설명(예: '침대에 누워 있다'와 '침대에서 스트레칭')에도 대응할 수 있습니다.
+
+### 5. 결론 (Conclusions)
+DreamHOI는 주어진 3D 객체와 상호작용하는 인간 모델의 포즈를 자연스럽게 만드는 방법을 제안합니다. 이 방법은 암시적-명시적 표현을 사용하여 텍스트-이미지 확산 모델의 힘을 최적화 파라미터에 활용합니다. 이는 영화 제작, 게임 등 가상 환경의 실감나는 인간 상호작용 생성에 유용할 수 있습니다.
+
+## 2. 전체 요약
+논문 'Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors'는 DreamHOI라는 새로운 방법을 제안하여 텍스트 설명에 따라 주어진 3D 인간 모델을 다양한 3D 객체와 자연스럽게 상호작용시키는 기술을 발전시켰습니다. 주요 기여는 다음과 같습니다.
+
+1. 제로샷 방식의 인간-객체 상호작용 생성 방법론 제안.
+2. 암시적-명시적 이중 표현을 통해 대규모 텍스트-이미지 확산 모델을 활용한 최적화 기법 개발.
+3. 다양한 실험을 통해 높은 생성 품질 입증.
+
+이 방법은 영화 제작, 게임 등에서 실감나는 가상 환경을 생성하는데 기여할 수 있으며, 이는 다양한 산업에 걸쳐 유용하게 활용될 수 있습니다.