Add papers

README.md

@@ -4,12 +4,14 @@
 #### [FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally](summaries/2409.08270.md)
 #### [Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale](summaries/2409.08264.md)
 #### [TextBoost: Towards One-Shot Personalization of Text-to-Image Models via Fine-tuning Text Encoder](summaries/2409.08248.md)
+#### [IFAdapter: Instance Feature Control for Grounded Text-to-Image Generation](summaries/2409.08240.md)
 #### [Source2Synth: Synthetic Data Generation and Curation Grounded in Real Data Sources](summaries/2409.08239.md)
 #### [Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models](summaries/2409.07452.md)
 #### [VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos](summaries/2409.07450.md)
 #### [Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering](summaries/2409.07441.md)
 #### [Agent Workflow Memory](summaries/2409.07429.md)
 #### [MEDIC: Towards a Comprehensive Framework for Evaluating LLMs in Clinical Applications](summaries/2409.07314.md)
+#### [PiTe: Pixel-Temporal Alignment for Large Video-Language Model](summaries/2409.07239.md)
 #### [Gated Slot Attention for Efficient Linear-Time Sequence Modeling](summaries/2409.07146.md)
 #### [MVLLaVA: An Intelligent Agent for Unified and Flexible Novel View Synthesis](summaries/2409.07129.md)
 #### [What is the Role of Small Models in the LLM Era: A Survey](summaries/2409.06857.md)

summaries/2409.07239.md

@@ -0,0 +1,27 @@
+# PiTe: Pixel-Temporal Alignment for Large Video-Language Model
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.07239.pdf](https://arxiv.org/pdf/2409.07239.pdf)
+
+### 1. 논문의 각 섹션 요약 및 설명
+
+#### 1.1 서론
+이 논문에서는 **PiTe라는 새로운 모델**을 소개합니다. PiTe는 영상과 언어 데이터를 픽셀 수준에서 정밀하게 정렬하여 영상 이해 능력을 크게 향상시킵니다. **PiTe-143k**라는 대규모 영상-언어 데이터를 자동 주석 기법을 통해 구축하였습니다.
+
+#### 1.2 관련 연구
+이 섹션에서는 GPT-3과 같은 **대규모 언어 모델(LLM)**의 발전과 이를 시각적 입력과 결합한 **대규모 시각-언어 모델(LVLM)**에 대해 설명합니다. 최근에는 영상 데이터를 처리하는 **대규모 영상-언어 모델(LVidLM)**이 주목받고 있으며, PiTe는 기존 모델들이 가지고 있는 공간 및 시간적 데이터의 한계를 해결하기 위해 등장하였습니다.
+
+#### 1.3 방법론
+PiTe는 **세 가지 단계의 학습 전략**을 사용합니다:
+1. **정지 영상 정렬**: 이미지와 언어 데이터를 정렬합니다.
+2. **픽셀-시간 정렬**: 영상에서의 객관적인 움직임 흐름을 통해 시간적 정보까지 포함한 정렬을 수행합니다.
+3. **대화 기반 정렬**: 영상 이해 능력을 더욱 향상시키기 위한 대화 데이터를 사용한 정렬입니다.
+
+#### 1.4 실험
+PiTe는 다양한 영상 이해 과제에서 **최첨단 성능**을 보여줍니다. 예를 들어, 질문 응답, 시간적 그라운딩, 밀도 캡셔닝 태스크에서 뛰어난 성능을 발휘하며, 특히 **시간적 그라운딩에서 경쟁 모델을 크게 능가**합니다.
+
+#### 1.5 결론
+PiTe 모델은 공간적 및 시간적으로 정밀하게 정렬된 데이터를 통해 **영상 이해 능력을 극대화**합니다. 이를 통해 기존 모델들이 풀지 못한 문제들을 해결하고, 최첨단 성능을 자랑합니다.
+
+### 2. 전체 요약
+이 논문은 PiTe라는 **픽셀-시간 정렬** 기반의 대규모 영상-언어 모델을 소개합니다. PiTe는 영상과 언어 데이터를 정밀하게 정렬함으로써 다양한 영상 이해 과제에서 **최첨단 성능**을 발휘합니다. 특히 PiTe-143k라는 대규모 데이터를 구축하여, **질문 응답, 시간적 그라운딩, 밀도 캡셔닝과 같은 과제**에서 기존 모델을 크게 능가합니다. 이 논문은 PiTe의 혁신적인 정렬 기법과 뛰어난 성능을 통해 **영상 이해 분야에 새로운 방향을 제시**합니다.

summaries/2409.08240.md

@@ -0,0 +1,28 @@
+# IFAdapter: Instance Feature Control for Grounded Text-to-Image Generation
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2409.08240.pdf](https://arxiv.org/pdf/2409.08240.pdf)
+
+### 1. 각 섹션 요약
+
+#### Introduction (소개)
+논문에서는 주로 위치 정확도만 평가하던 기존 모델의 한계를 넘어서면서, 세부적인 인스턴스 특징을 정확하게 생성하고 평가할 수 있는 새로운 작업인 인스턴스 특징 생성(Instance Feature Generation, IFG) 작업을 제안합니다. 이를 위해 COCO-IFG 벤치마크와 검증 파이프라인을 도입하였고, 이 작업을 통해 높은 수준의 이미지 생성이 가능하게 되었습니다. 또한, 새롭게 고안한 IFAdapter를 통해 세부적인 인스턴스 피처를 생성하고, 이를 다루기 위한 방법들을 제안합니다.
+
+#### Related Work (관련 연구)
+기존의 Layout-to-Image(L2I) 생성 방식은 주로 GANs를 이용하였으나, 최근에는 확산 기반 생성 모델이 주류를 이루고 있습니다. 다양한 연구가 인스턴스의 위치 및 특징 정확도 향상을 위해 노력해왔으나, 주로 위치 정밀도에 집중되어 있었습니다. 본 논문에서는 이러한 한계를 극복하기 위해 세부적이고 정확한 인스턴스 특징 생성을 위한 방법을 제안합니다.
+
+#### Approach (방법론)
+IFAdapter는 학습 가능한 Appearance Tokens와 인스턴스 위치를 연관시키는 Instance Semantic Map을 사용하여 세부적인 인스턴스 특징 생성을 가능하게 합니다. 이러한 두 구성 요소가 결합되어 고유한 인스턴스 특성을 공간적인 위치와 함께 실현합니다. 이 방법을 통해 IFAdapter는 고정밀도의 인스턴스 특징 생성과 위치 정확도를 동시에 달성할 수 있습니다.
+
+#### Experiments (실험)
+실험에서는 제안한 IFAdapter의 성능을 평가하기 위해 다양한 벤치마크와 비교 실험을 수행했습니다. COCO-IFG 벤치마크와 같은 기존 방법론보다 더 높은 정밀도와 정확도를 달성하였으며, 덧붙여 질적 평가에서도 우수한 성능을 보였습니다. 이로써 제안한 모델이 실제 상황에서도 유용하게 사용될 수 있음을 확인했습니다.
+
+#### Conclusion (결론)
+논문에서는 IFAdapter를 통해 인스턴스 레벨에서의 제어가 가능한 고정밀도의 이미지 생성 방법을 제안합니다. 주요 기여로는 새로운 IFG 작업, COCO-IFG 벤치마크 및 검증 파이프라인 도입이 있으며, 이를 통해 기존 모델의 한계를 극복하고 새로운 기준을 제시하였습니다. IFAdapter는 커뮤니티 모델에 쉽게 플러그인하여 사용할 수 있음으로써, 재학습 없이 다양한 모델에 적용될 수 있습니다.
+
+### 2. 전체 요약
+본 논문에서는 AI와 머신러닝 분야에서 이미지 생성의 정밀도와 세부적인 인스턴스 특징 생성을 향상시키기 위한 새로운 방법론인 IFAdapter를 도입했습니다. 기존 모델들은 주로 위치 정확도에만 초점을 맞추었으나, IFAdapter는 고유한 Appearance Tokens와 Instance Semantic Map을 이용하여 보다 정확한 인스턴스 특징 생성을 가능하게 합니다. 이러한 기능을 통해 제안된 모델은 다양한 실험과 벤치마크에서 우수한 성능을 입증하였으며, 커뮤니티 모델에 플러그인하여 재학습 없이 손쉽게 적용될 수 있습니다. 논문의 주요 기여는 새로운 인스턴스 특징 생성 작업(IFG)과 이를 평가할 수 있는 COCO-IFG 벤치마크의 도입입니다.
+
+---
+
+이 요약들을 바탕으로 발표 자료를 제작할 수 있습니다. 모든 내용을 이해하기 쉽게 한국어로 번역하여 제공하였으니, 앞으로의 작업에 도움이 되길 바랍니다.