Add papers

README.md

@@ -1,6 +1,11 @@
 # Paper List
 ## 2408
 #### [ConvKGYarn: Spinning Configurable and Scalable Conversational Knowledge Graph QA Datasets with Large Language Models](summaries/2408.convkgyarn.md)
+#### [SWE-bench-java: A GitHub Issue Resolving Benchmark for Java](summaries/2408.14354.md)
+#### [Training-free Long Video Generation with Chain of Diffusion Model Experts](summaries/2408.13423.md)
+#### [TVG: A Training-free Transition Video Generation Method with Diffusion Models](summaries/2408.13413.md)
+#### [LLaVaOLMoBitnet1B: Ternary LLM goes Multimodal!](summaries/2408.13402.md)
+#### [Power Scheduler: A Batch Size and Token Number Agnostic Learning Rate Scheduler](summaries/2408.13359.md)
 #### [MME-RealWorld: Could Your Multimodal LLM Challenge High-Resolution Real-World Scenarios that are Difficult for Humans?](summaries/2408.13257.md)
 #### [LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation](summaries/2408.13252.md)
 #### [CustomCrafter: Customized Video Generation with Preserving Motion and Concept Composition Abilities](summaries/2408.13239.md)
@@ -33,6 +38,7 @@
 #### [LLM Pruning and Distillation in Practice: The Minitron Approach](summaries/2408.11796.md)
 #### [Critique-out-Loud Reward Models](summaries/2408.11791.md)
 #### [FocusLLM: Scaling LLM's Context by Parallel Decoding](summaries/2408.11745.md)
+#### [Efficient Detection of Toxic Prompts in Large Language Models](summaries/2408.11727.md)
 #### [FRAP: Faithful and Realistic Text-to-Image Generation with Adaptive Prompt Weighting](summaries/2408.11706.md)
 #### [The Vizier Gaussian Process Bandit Algorithm](summaries/2408.11527.md)
 #### [TrackGo: A Flexible and Efficient Method for Controllable Video Generation](summaries/2408.11475.md)
@@ -51,6 +57,7 @@
 #### [Quantum Artificial Intelligence: A Brief Survey](summaries/2408.10726.md)
 #### [Strategist: Learning Strategic Skills by LLMs via Bi-Level Tree Search](summaries/2408.10635.md)
 #### [Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant Information](summaries/2408.10615.md)
+#### [Language Modeling on Tabular Data: A Survey of Foundations, Techniques and Evolution](summaries/2408.10548.md)
 #### [MambaEVT: Event Stream based Visual Object Tracking using State Space Model](summaries/2408.10487.md)
 #### [MeshFormer: High-Quality Mesh Generation with 3D-Guided Reconstruction Model](summaries/2408.10198.md)
 #### [SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views](summaries/2408.10195.md)

summaries/2408.10548.md

@@ -0,0 +1,35 @@
+# Language Modeling on Tabular Data: A Survey of Foundations, Techniques and Evolution
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2408.10548.pdf](https://arxiv.org/pdf/2408.10548.pdf)
+
+### 1. 각 섹션의 주요 내용 요약
+
+#### 1.1 서론
+이 논문은 테이블 데이터를 처리하기 위한 언어 모델링의 발전 과정을 종합적으로 검토합니다. 특히, 최근 등장한 대형 언어 모델(LLM)이 테이블 데이터 모델링에 미친 영향을 분석합니다. 기존 연구들은 주로 1차원(1D) 또는 2차원(2D) 테이블 데이터에 중점을 두었지만, 이 논문은 두 가지 유형의 데이터에 대해 체계적인 리뷰를 제공하며, 다양한 하위 작업과 데이터 세트를 다룹니다.
+
+#### 1.2 테이블 데이터의 기초
+이 섹션에서는 테이블 데이터의 기초 개념을 설명합니다. 데이터 구조(1D와 2D), 데이터 유형(숫자, 범주형, 이진, 텍스트, 타임스탬프 등), 하위 작업(테이블 질문 응답, 테이블 검색, 테이블 의미 분석 등) 및 데이터 세트에 대한 설명이 포함됩니다. 주요 목표는 연구자들이 테이블 데이터의 특성과 이를 처리하기 위한 방법론을 이해할 수 있도록 하는 것입니다.
+
+#### 1.3 입력 처리 기법
+언어 모델을 위한 입력 데이터 처리 방법을 설명합니다. 여기에는 데이터 검색, 테이블 시리얼화, 문맥 통합 등이 포함됩니다. 각 방법론의 장단점을 분석하여 어떤 상황에서 어떤 방법이 효율적인지를 검토합니다. 예를 들어, 간단한 텍스트 템플릿이 많은 데이터 세트에서 좋은 성능을 발휘한다는 것을 발견했습니다.
+
+#### 1.4 중간 모듈
+중간 모듈은 트랜스포머 아키텍처 내에서 테이블 도메인에 적응하기 위해 어떻게 수정될 수 있는지를 다룹니다. 여기에는 위치 인코딩과 어텐션 메커니즘이 포함됩니다. 이러한 모듈을 통해 모델의 성능을 높이는 여러 가지 방법을 제시합니다.
+
+#### 1.5 언어 모델링 기술
+테이블 데이터를 위한 언어 모델링 기술을 다룹니다. 여기에는 사전 학습된 언어 모델(PLM)과 대형 언어 모델(LLM)을 활용한 다양한 방법론이 포함됩니다. 예를 들어, GPT-3와 같은 모델은 최소한의 추가 학습 데이터로 복잡한 작업을 수행할 수 있습니다. 이러한 발전은 테이블 데이터 모델링의 효율성을 크게 향상시킵니다.
+
+#### 1.6 하위 작업
+테이블 질의 응답(TQA), 테이블 검색(TR), 테이블 의미 분석(TSP), 테이블 메타데이터 예측(TMP) 등의 다양한 하위 작업을 다룹니다. 각 작업에 대해 현재 사용되는 모델과 기법을 설명하고 비교합니다. 예를 들어, TaBERT는 테이블 질문 응답에 매우 효과적인 것으로 나타났습니다.
+
+#### 1.7 결론 및 미래 연구 방향
+결론 섹션에서는 논문의 주요 발견을 요약하고, 미래 연구의 방향성을 제시합니다. LLM을 이용한 테이블 데이터 모델링의 잠재력과 해결해야 할 과제를 다룹니다. 예를 들어, 계산 효율성, 해석 가능성, 편향성, 데이터 유형 등 다양한 도전 과제가 남아 있음을 강조합니다.
+
+---
+
+### 2. 전체 요약
+
+이 논문은 다양한 언어 모델들이 테이블 데이터를 처리하는 방법과 그 발전 과정을 종합적으로 설명합니다. 초기에는 1차원(1D) 또는 2차원(2D) 데이터 각각에 초점을 맞추었으나, 최근 대형 언어 모델(LLM)의 등장으로 다차원 테이블 데이터를 효율적으로 처리할 수 있는 방향으로 연구가 발전하고 있습니다. 논문은 테이블 데이터의 기본 개념, 입력 처리 기법, 중간 모듈, 언어 모델링 기술 등을 종합적으로 다루며, 각 기술의 장단점을 비교 분석합니다. 특히, GPT-3와 같은 최근의 대형 언어 모델은 최소한의 추가 학습 데이터로 복잡한 작업을 수행할 수 있어, 테이블 데이터 처리의 효율성을 크게 향상시키고 있습니다. 미래 연구는 계산 효율성, 해석 가능성, 편향성 문제를 해결하는 방향으로 나아가야 함을 강조합니다.
+
+이러한 내용을 통해, 테이블 데이터 모델링 분야에서의 중요한 진전과 앞으로의 연구 방향에 대한 명확한 그림을 그릴 수 있을 것입니다.

summaries/2408.11727.md

@@ -0,0 +1,5 @@
+# Efficient Detection of Toxic Prompts in Large Language Models
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2408.11727.pdf](https://arxiv.org/pdf/2408.11727.pdf)
+

summaries/2408.13359.md

@@ -0,0 +1,33 @@
+# Power Scheduler: A Batch Size and Token Number Agnostic Learning Rate Scheduler
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2408.13359.pdf](https://arxiv.org/pdf/2408.13359.pdf)
+
+### 논문 요약(Korean Summary)
+
+#### 1. Introduction (소개)
+- **요약**: 논문은 초거대 언어 모델(LLM)의 사전 학습을 위한 최적의 학습률을 찾는 어려움을 설명합니다. 기존의 코사인 학습률 스케줄러가 여러 모델에서 효과적이나, 미리 정의된 학습 단계 수가 필요하여 중간 체크포인트와 연속 학습에 있어 문제가 발생한다고 지적합니다.
+- **주요 기여**: 최적 학습률을 예측하기 위한 새로운 학습률 스케줄러인 Power 스케줄러를 제안하여, 배치 크기와 토큰 수에 무관하게 적용할 수 있도록 하였습니다.
+
+#### 2. Background (배경)
+- **요약**: Maximum Update Parametrization (µP)을 이용하여 작은 프록시 모델에서 대규모 모델로의 학습률 전이 연구를 설명합니다. Warmup-Stable-Decay (WSD) 스케줄러의 세 단계(웜업, 안정, 감쇠)를 소개합니다.
+- **주요 기여**: µP가 모델 간 학습률 전이에 효율적이며, WSD 스케줄러를 통해 안정적인 학습을 가능하게 하였습니다.
+
+#### 3. Optimal Learning Rate Search (최적 학습률 탐색)
+- **요약**: 다양한 배치 크기와 토큰 수에 대한 최적 학습률의 관계성을 연구하였고, 최적 학습률이 토큰 수가 증가함에 따라 감소함을 발견했습니다. 이를 통해 학습률과 배치 크기, 토큰 수의 관계를 모형화했습니다.
+- **주요 기여**: 최적 학습률이 배치 크기와 토큰 수의 거듭제곱 관계에 있다는 점을 밝히며, 이는 µP를 이용해 다양한 모델 크기에서 전이 가능함을 입증했습니다.
+
+#### 4. Power Scheduler (파워 스케줄러)
+- **요약**: PowerLR 스케줄러를 제안하여 배치 크기와 토큰 수에 영향을 받지 않고 다양한 상황에서 최적 학습률을 전이할 수 있게 하였습니다. 이는 학습 단계를 미리 정의할 필요 없이 학습률을 설정할 수 있는 장점을 가지고 있습니다.
+- **주요 기여**: 다양한 상황에서 Power 스케줄러가 기존의 WSD, 코사인 스케줄러와 비교하여 우수하거나 유사한 성능을 보임을 실험적으로 입증했습니다.
+
+#### 5. Pre-Training Experiments (사전 학습 실험)
+- **요약**: 1B 및 3B 매개변수 모델을 다양한 학습률 스케줄러를 이용해 실험하였고, Power 스케줄러가 여러 언어 모델링 및 다운스트림 작업에서 꾸준히 더 나은 성능을 보임을 확인했습니다.
+- **주요 기여**: Power 스케줄러가 다양한 조건에서도 최적의 성능을 발휘할 수 있다는 점을 입증하며, 이는 큰 모델에서도 동일한 성능을 유지할 수 있습니다.
+
+#### 6. Conclusion (결론)
+- **요약**: 연구를 통해 학습률, 배치 크기, 토큰 수 간의 관계를 체계적으로 연구하였고, 새로운 Power 스케줄러를 제안하여 다양한 상황에서 최고의 성능을 보임을 확인했습니다.
+- **주요 기여**: Power 스케줄러는 안정적인 성능을 유지하면서도 배치 크기와 토큰 수에 독립적인 최적 학습률을 제공합니다.
+
+### 전체 요약 (Overall Summary)
+이 논문은 초거대 언어 모델의 사전 학습을 위한 최적의 학습률을 찾는 문제를 해결하기 위해 새로운 학습률 스케줄러인 Power 스케줄러를 제안합니다. 기존의 학습률 스케줄러인 코사인과 WSD가 가진 문제점을 개선하여, 학습 단계 수를 미리 정의할 필요 없이, 다양한 배치 크기와 토큰 수에 무관하게 최적의 학습률을 적용할 수 있습니다. 연구는 µP를 이용한 학습률 전이 실험을 통해, Power 스케줄러가 다양한 모델 크기에서도 안정적인 성능을 유지함을 입증하였습니다. 실험 결과, Power 스케줄러는 다양한 언어 모델링 및 다운스트림 작업에서 기존 스케줄러와 비교하여 우수한 성능을 보였습니다. 이를 통해 초거대 언어 모델의 학습 효율성을 크게 향상시킬 수 있음을 보여주었습니다.

summaries/2408.13402.md

@@ -0,0 +1,33 @@
+# LLaVaOLMoBitnet1B: Ternary LLM goes Multimodal!
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2408.13402.pdf](https://arxiv.org/pdf/2408.13402.pdf)
+
+### 1. 각 섹션 요약
+
+#### I. 서론
+이 논문은 LLaVa, NousResearch의 작업을 기반으로, 최초의 텍스트 및 이미지를 모두 처리할 수 있는 삼진 다중모달 대형언어모델(LLM)을 구축했습니다. 주된 기여는 모델과 함께 가중치 및 훈련 스크립트를 오픈소스로 제공하고, 삼진 모델의 주류화를 위한 도전과 기회를 강조하는 것입니다.
+
+#### II. 관련 연구
+Flamingo는 다중모달 모델의 급속한 발전의 시작점을 마련했으며, 그 후 여러 파생 모델들이 개발되었습니다. LLaVa는 텍스트 전용 GPT를 활용하여 다중모달 데이터세트를 확장하는 방법을 제안하며 오픈소스 프레임워크를 도입했습니다. 삼진 모델은 매우 낮은 정밀도로 가중치를 양자화하는 BitNetb1.58의 방법을 따랐으며, 성능 저하는 최소화하면서 지연 시간을 최대 4배 줄였습니다. 그러나 이 방법은 아직까지 많은 데이터와 계산 자원이 필요합니다.
+
+#### III. 모델 세부사항
+LLaVaOLMoBitNet1B 모델은 CLIP 비전 인코더, MLP 연결기, 삼진 LLM으로 구성됩니다. 이미지는 비전 인코더를 통해 처리되고 이후 MLP를 통해 LLM 임베딩 공간으로 다시 투영됩니다. 최종적으로, 텍스트 쿼리가 삼진 LLM을 통해 처리되어 응답이 생성됩니다.
+
+#### III.B 훈련 세부사항
+훈련은 두 단계로 나뉩니다: (1) 특성 정렬을 위한 사전 훈련 단계, (2) 종단 간의 명령 미세 조정 단계. 각 단계에서는 LLaVa1.5 논문에 제시된 방법론을 따랐으며, DeepSpeed 라이브러리를 사용해 다중 GPU 훈련을 수행했습니다.
+
+#### IV. 결과
+최종 모델 LLaVaOLMoBitNet1B의 성능을 질적 및 양적으로 평가했습니다. 질적 평가에서는 주로 올바른 응답을 생성하였으나, 일부 오차를 보였습니다. 양적 평가에서는 벤치마크 테스트에서 비슷한 크기의 모델들에 비해 낮은 점수를 기록했습니다. 이는 모델이 다른 삼진 또는 완전 정밀 모델들에 비해 상대적으로 적은 데이터를 사용해 훈련되었기 때문입니다.
+
+#### V. 미래 작업
+향후 연구에서는 공개 가중치 사전 훈련 모델을 삼진 도메인으로 양자화하는 효과적인 방법을 찾는 것이 중요할 것입니다. 또한, 삼진 모델은 기존 대형 언어 모델의 문제인 편향성, 불확실성, 환각 등의 문제를 여전히 가지고 있습니다. 하드웨어 측면에서도 삼진 연산을 효율적으로 매핑하는 것이 중요한 과제입니다.
+
+#### VI. 감사의 글
+이 논문은 LLaVa 프레임워크, BitNetb1.58, NousResearch의 지원을 받아 작성되었습니다.
+
+### 2. 총괄 요약
+
+이 논문은 최초의 텍스트 및 이미지를 모두 처리할 수 있는 삼진 다중모달 대형언어모델(LLM)인 LLaVaOLMoBitNet1B를 제안하며, 이를 오픈소스로 제공하여 연구자들이 활용할 수 있도록 합니다. LLaVa 프레임워크를 기반으로 구축되었으며, 모델은 CLIP 이미지 인코더, MLP 연결기, 삼진 LLM으로 구성됩니다. 훈련은 두 단계로 진행되며, 최종 모델은 주로 올바른 응답을 생성하지만, 일부 오차를 보였습니다. 벤치마크 평가에서는 다른 모델들에 비해 낮은 성능을 기록했지만, 이는 훈련된 데이터 양이 상대적으로 적기 때문입니다. 미래 연구에서는 삼진 도메인으로의 양자화를 통한 성능 개선, 편향성 문제 해결, 하드웨어 효율성 향상이 필요합니다.
+
+위 요약을 바탕으로 발표 자료를 작성할 수 있습니다.

summaries/2408.13413.md

@@ -0,0 +1,27 @@
+# TVG: A Training-free Transition Video Generation Method with Diffusion Models
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2408.13413.pdf](https://arxiv.org/pdf/2408.13413.pdf)
+
+### 1. 각 섹션 요약 및 주요 기여 내용
+
+#### Abstract
+이 논문에서는 비디오 전환 방법 중 하나로, Gaussian Process Regression(GPR)과 비디오 수준의 확산 모델을 사용하여 훈련 없이도 부드럽고 동적인 전환 비디오를 생성하는 방법을 제안합니다. 추가적으로, 시간적 제어를 강화하기 위해 조건부 컨트롤과 Frequency-aware Bidirectional Fusion(FBiF) 아키텍처를 도입하여 전환 비디오의 신뢰성을 높였습니다.
+
+#### Introduction
+전통적인 비디오 전환 기술은 예술적 매력이 부족하고, 전문 기술이 필요하며, 시청자를 충분히 몰입시키지 못하는 한계를 가지고 있습니다. 확산 모델 기반 비디오 생성에서 최근에는 이미지와 비디오 간의 중간 프레임을 생성하여 전환 비디오를 만들어내지만, 이는 프레임 간 관계 모델링이 불충분하고 내용이 갑작스럽게 바뀌는 문제가 여전히 존재합니다.
+
+#### Preliminary
+확산 모델은 데이터 샘플에 점진적으로 노이즈를 추가하고 이를 역으로 예측하여 원본 데이터를 복원하는 프로세스를 가지고 있습니다. 두 개의 입력 이미지를 주어진 상태에서 전환 비디오를 생성하는 것은 조건부 분포를 모델링하여 이루어집니다. 특히 Latent Diffusion Models(LDMs)이 사용되며, 이는 계산 복잡성을 줄이기 위해 잠재 공간에서 조건부 분포를 피팅하는 방식입니다.
+
+#### Method
+이 방법론은 주로 DynamiCrafter 모델에 기초하여, 세 가지 주요 최적화를 거칩니다. 첫째, 조건부 이미지와 프롬프트를 정제하여 비디오 생성 과정을 제어하고 조건부 이미지의 누출을 줄입니다. 둘째, 프레임 간 일관성을 강화하고 갑작스러운 전환을 방지하기 위해 Gaussian Process Regression(GPR)을 잠재 공간에 통합합니다. 마지막으로, 주파수 도메인 특징 융합을 통한 양방향 생성 기능을 결합하는 Frequence-aware Bidirectional Fusion(FBiF) 구조를 도입합니다.
+
+#### Experiments
+MorphBench와 TC-Bench-I2V 데이터셋을 이용해 실험하였으며, 주로 프레임 간 일관성 및 부드러운 전환을 평가하였습니다. 제안된 방법은 동적 시나리오에서 눈에 띄게 우수한 성능을 보이며, 상업 제품과의 비교에서도 보다 자연스럽고 부드러운 전환 비디오를 생성하는데 성공하였습니다. 인간 평가에서도 높은 선호도를 기록했습니다.
+
+#### Conclusion
+이 논문에서는 추가 훈련 없이도 효율적으로 비디오 전환을 생성할 수 있는 새로운 방법을 제안합니다. Gaussian Process Regression(GPR)과 Frequency-aware Bidirectional Fusion(FBiF)을 통해 제안된 방법은 기존 모델들보다 일관성 있고 부드러운 전환 비디오를 생성하는데 성공했으며, 향후에는 더 긴 비디오 시퀀스를 생성하기 위한 추가적인 연구를 계획하고 있습니다.
+
+### 2. 전체 요약
+이 논문은 비디오 전환을 위한 새로운 방법론을 제안합니다. Gaussian Process Regression(GPR)과 비디오 수준 확산 모델을 사용하여 훈련 없이도 부드럽고 동적인 전환 비디오를 생성할 수 있습니다. 또한 주파수 인식 양방향 융합 구조(FBiF)를 통해 전환 비디오의 신뢰성을 높였습니다. 실험 결과, 제안된 방법은 기존 모델들보다 일관성 있고 부드러운 전환을 제공하며, 인간 평가에서도 좋은 평가를 받았습니다. 향후 연구로는 더 긴 비디오 시퀀스를 생성할 수 있는 방법을 모색할 계획입니다.