Add papers

summaries/2312.11539.md

@@ -0,0 +1,30 @@
+# KGLens: Towards Efficient and Effective Knowledge Probing of Large Language Models with Knowledge Graphs
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2312.11539.pdf](https://arxiv.org/pdf/2312.11539.pdf)
+
+### 1. 내용 요약 및 세부 설명
+
+각 섹션의 주요 내용과 논문의 주된 기여를 요약합니다.
+
+#### 1.1 서론 (Introduction)
+서론에서는 대형 언어 모델(LLMs)의 신뢰성과 유용성을 평가하기 위해 사실 확인의 중요성을 강조합니다. 기존의 평가 방법들이 갖고 있는 한계를 지적하며, LLMs 지식을 효과적으로 평가하기 위해 논문에서는 KGLENS라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 Thompson Sampling 기법을 사용하여 LLMs의 지식 맹점을 효율적으로 식별합니다.
+
+#### 1.2 관련 연구 (Related Work)
+이 섹션에서는 기존 연구들이 갖고 있는 문제점들을 나열합니다. 예를 들어, 기존의 클로즈 문장 생성 방식이 자연스러운 질문을 만들지 못하는 한계, 그리고 평가 과정에서의 효율성 문제점 등을 언급합니다.
+
+#### 1.3 방법론 (Methodology)
+KGLENS의 구조와 작동 방식을 설명합니다. 주요 구성 요소로는 Parameterized Knowledge Graph, Graph-Guided Question Generator 및 Answer Verification이 있으며, 각 구성 요소들의 작동 방식과 데이터 업데이트 방법을 세부적으로 설명합니다. 샘플링 기법을 통해 LLMs가 가장 약점을 갖고 있는 부분을 효율적으로 식별하는 방법도 포함됩니다.
+
+#### 1.4 결과 (Results)
+실험 결과, KGLENS가 다양한 LLMs의 사실성 지식을 평가하는 데 있어 기존의 무작위 샘플링보다 더 효율적임을 보여줍니다. 이를 통해 LLMs와 지식 그래프 간의 지식 정렬을 측정하는 세 가지 평가 지표를 소개합니다: zero-sense rate, all-sense rate, 그리고 win rate.
+
+#### 1.5 한계 (Limitations)
+KGLENS의 한계로는 질문 생성을 위한 지식 그래프의 품질이 중요한 역할을 한다는 점과, 베타 분포의 파라미터 업데이트 방법의 개선 가능성이 있다는 점을 언급합니다. 또한 질문 생성을 더욱 복잡하게 할 수 있는 방법에 대해서도 추가적인 연구 방향을 제시합니다.
+
+#### 1.6 결론 (Conclusion)
+논문은 KGLENS가 얼마나 효율적이고 효과적으로 LLMs의 지식 맹점을 식별할 수 있는지 보여줍니다. Human evaluation 결과도 거의 인간 수준의 정확도를 가진 결과를 보여, KGLENS가 신뢰할 수 있는 AI 시스템의 개발에 기여할 수 있음을 확인합니다.
+
+### 2. 전체 요약
+
+이 논문은 대형 언어 모델(LLMs)이 정확한 정보를 제공하도록 돕기 위해 사실 확인(fact-checking)을 위한 새로운 프레임워크 KGLENS를 제안합니다. Thompson Sampling 기법을 활용하여 LLM의 지식 맹점을 효과적으로 찾고, 그래프 기반의 질문 생성기를 사용해 자연스러운 언어로 질문을 만듭니다. 10개의 LLM을 대상으로 한 실험에서 KGLENS는 기존 방법들보다 훨씬 효율적으로 정확한 결과를 제공하며, 인간 평가에서도 높은 수준의 정확도를 보여줍니다. 이는 더 신뢰할 수 있는 AI 시스템 개발에 큰 기여를 할 수 있습니다. KGLENS는 향후 연구와 협력을 위해 오픈 소스로 제공될 예정입니다.

summaries/2401.05811.md

@@ -0,0 +1,27 @@
+# Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2401.05811.pdf](https://arxiv.org/pdf/2401.05811.pdf)
+
+## 1. 각 섹션 별 요약
+
+### Abstract
+이 논문은 큰 언어 모델(LLM)을 사용하여 낮은 자원 언어에 대한 기계 번역(MT) 성능을 개선하고자 한다. 여기서 제안된 AlignInstruct는 통계적 단어 정렬을 활용하여 교차 언어적 지도를 강조한다. 실험 결과, AlignInstruct는 24개의 새로운 언어로 번역 성능을 향상시켰다.
+
+### Introduction
+LLM은 주로 고자원 언어에서 뛰어난 성능을 보이지만, 낮은 자원 언어에서는 아직 제한적이다. 이 논문의 목표는 새로운 언어와 낮은 자원 환경에서 LLM의 번역 성능을 증진하는 방법을 찾는 것이다.
+
+### Methodology
+여기서는 두 가지 접근법을 제안한다. 첫째, MTInstruct는 일반적인 기계 번역 지시이며, 주로 고자원 언어에서 사용된다. 둘째, AlignInstruct는 낮은 자원 환경에서 교차 언어적 교정을 통해 번역 성능을 높인다.
+
+### Results
+AlignInstruct를 사용하여 전체적으로 번역 성능이 향상되었으며, 특히 낮은 자원 언어에서 좋은 결과를 얻었다. LLM은 24개의 새로운 언어로 번역 성능을 개선했고, 특정 언어쌍에서는 눈에 띄는 발전을 보였다.
+
+### Discussion
+AlignInstruct는 낮은 자원 언어에서 LLM의 번역 성능을 증진시키기 위한 혁신적인 접근법이다. 교차 언어적 지도와 통계적 단어 정렬을 활용하여 기존 방법보다 우수한 성능을 보였다.
+
+### Conclusion
+AlignInstruct는 낮은 자원 언어와 새로운 언어로 번역 성능을 높이기 위한 효과적인 방법으로 입증되었다. 향후 연구 방향으로는 더 많은 단일 언어 말뭉치를 활용하는 방법과 다양한 지시 템플릿의 효율성을 탐구하는 것이 포함된다.
+
+## 2. 전체 요약
+이 논문은 기계 번역을 위한 큰 언어 모델을 낮은 자원 언어에서 더 효과적으로 작동하게 하기 위한 새로운 방법인 AlignInstruct를 제안합니다. AlignInstruct는 교차 언어적 지도를 강화하기 위해 통계적 단어 정렬을 사용합니다. 실험 결과, AlignInstruct는 다양한 새로운 언어와 낮은 자원 언어 조합에서 번역 성능을 크게 향상시켰습니다. 이 접근법은 특히 부족한 데이터를 보완하여 높은 퍼포먼스를 유지할 수 있도록 설계되었습니다. 향후 연구에서는 더 많은 데이터를 활용하고 다양한 지시 템플릿을 실험하여 성능을 더욱 개선할 수 있는 가능성을 탐구하고자 합니다.

summaries/2402.11907.md

@@ -0,0 +1,36 @@
+# Direct Large Language Model Alignment Through Self-Rewarding Contrastive Prompt Distillation
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2402.11907.pdf](https://arxiv.org/pdf/2402.11907.pdf)
+
+### 섹션 요약
+
+#### Introduction (소개)
+
+이 연구는 대형 언어 모델(LLM)을 인간의 기대에 맞추기 위한 방법을 제안합니다. 이 방법은 인간 주석 데이터를 사용하지 않고, 모형의 응답 쌍 간 확률을 비교하여 선호도를 평가합니다. 이를 통해, LLaMA2-7B 및 LLaMA2-13B 모델에서 기존 방식보다 더 나은 성능을 발휘합니다. 주요 기여는 "Direct Large Model Alignment (DLMA)" 방법을 제안하여, 대조적인 프롬프트 쌍을 사용해 자동으로 선호 데이터 생성하고, 이를 평가하여 자체 보상 점수를 계산한 후 DPO 알고리즘을 통해 모델을 정렬하는 것입니다.
+
+#### Methodology (방법론)
+
+연구는 크게 세 단계로 구성됩니다. 첫째, 대조적인 프롬프트 쌍을 사용해 선호 데이터를 자동으로 생성합니다. 둘째, 생성된 선호 데이터를 평가하고 자체 보상 점수를 계산합니다. 셋째, DPO 알고리즘을 사용해 LLM을 정렬합니다. 이 방법론은 기존의 인간 주석 데이터에 의존하지 않고도, 높은 정렬 효과를 보입니다.
+
+#### Results (결과)
+
+제안된 DLMA 방법은 PKU-SafeRLHF, HH-Harmless 및 HH-Helpful 데이터셋에서 기존의 기본 방법들을 능가합니다. 실험 결과, DLMA는 인간 주석 데이터가 없는 상황에서도 기존 RLHF 방식보다 우수한 성과를 입증했습니다. 또한, 생성된 텍스트의 질을 저하시키지 않는다는 점도 확인되었습니다.
+
+#### Discussion (논의)
+
+연구는 LLM을 인간의 기대에 맞게 정렬하는 새로운 방법을 제안하며, 이는 특히 인간 주석 데이터가 없는 상황에서 유용합니다. 제안된 방법은 확률 기반 평가가 텍스트 생성 기반 평가보다 더 정확하다고 입증됩니다. 이는 LLM이 인간의 개입 없이도 더 낮은 비용과 높은 효율성으로 정렬될 수 있음을 보여줍니다.
+
+#### Conclusion (결론)
+
+DLMA는 대형 언어 모델을 인간 주석 데이터 없이 정렬할 수 있는 혁신적인 방법론입니다. 이는 자동으로 선호 데이터를 생성 및 평가하고, 자체 보상 점수를 계산하여 모델을 정렬하는 과정을 거칩니다. 실험을 통해 DLMA 방법이 기존의 방법보다 우수하며, 생성된 텍스트의 질을 저하시키지 않는다는 것을 확인했습니다.
+
+### 주요 기여 및 혁신
+- **DLMA 방법 제안**: 인간 주석 데이터 없이 LLM을 정렬하는 새로운 방법.
+- **확률 기반 평가**: 대조적인 프롬프트 쌍을 사용한 응답 평가.
+- **자체 보상 점수 계산**: 생성된 선호 데이터를 평가하여 계산.
+- **높은 성능**: PKU-SafeRLHF, HH-Harmless, HH-Helpful 데이터셋에서 기존 방법들보다 우수한 성과.
+
+### 전체 요약
+
+이 연구는 대형 언어 모델(LLM)을 인간의 기대에 맞추기 위한 새로운 방법을 제안합니다. 인간 주석 데이터 없이도 모델 정렬을 가능하게 하며, 대조적인 프롬프트 쌍을 사용하여 선호 데이터를 자동으로 생성 및 평가합니다. 제안된 "Direct Large Model Alignment (DLMA)" 방법은 PKU-SafeRLHF, HH-Harmless, HH-Helpful 데이터셋에서 기존의 인간 주석 데이터에 기반한 RLHF 방법보다 더 나은 성과를 보였습니다. 이 연구는 LLM 정렬에서 비용 효율성을 높일 수 있는 가능성을 제시합니다.

summaries/2404.07387.md

@@ -0,0 +1,50 @@
+# BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2404.07387.pdf](https://arxiv.org/pdf/2404.07387.pdf)
+
+### 1. 각 섹션 요약 및 주요 기여와 혁신 부분
+
+#### I. 서론 (Introduction)
+이 논문에서는 대형 언어 모델(LLMs)을 기반으로 한 코드 생성 기술을 지원하기 위해 "BISCUIT"라는 JupyterLab 확장 기능을 도입했습니다. BISCUIT는 사용자가 자연어 요청을 입력하면 임시 사용자 인터페이스(UI) 요소를 생성하여 사용자가 코드 생성 과정을 이해하고 탐색하는 데 도움을 줍니다.
+
+#### II. 예제 사용 시나리오 (Example Usage Scenario)
+한 신입 개발자인 Amy는 BISCUIT를 설치하고, 자연어로 데이터셋 샘플을 보여 달라고 요청합니다. BISCUIT는 이미지 갤러리로 샘플 데이터를 출력하고, 사용자 인터페이스(UI)를 통해 다양한 모델 구조를 선택할 수 있게 도와줍니다.
+
+#### III. 관련 연구 (Related Work)
+BISCUIT는 기존의 동적으로 생성된 지능형 UI 및 머신러닝 가이드 도구에서 영감을 받아 개발되었습니다. 이러한 도구들은 코딩 맥락에 맞춘 UI 요소를 생성하여 사용자 경험을 개선합니다.
+
+#### IV. 시스템 (System)
+BISCUIT의 설계 목표는 네 가지로 요약됩니다:
+1. UI를 통한 코드 이해 지원
+2. 코드 생성 과정에서 사용자의 지침 제공
+3. 코드 예제를 탐색하고 확장할 수 있도록 지원
+4. 맥락 내 스캐폴드를 제공하여 UI를 JupyterLab 인터페이스에 통합.
+
+#### V. 사용자 연구 (User Study)
+10명의 사용자와의 인터뷰 세션을 통해 BISCUIT의 유용성을 검토했습니다. 연구 결과 BISCUIT는 사용자들이 코드 예제를 이해하고, 코드 생성 과정을 가이드하며, 코드 탐색을 돕는 데 효과적이었습니다. 또한, 사용자들은 BISCUIT가 튜토리얼 작업의 효율성을 향상시키는 데 도움이 된다고 평가했습니다.
+
+#### VI. 결과 (Results)
+BISCUIT는 다음과 같은 부분에서 사용자를 지원하는 것으로 나타났습니다:
+1. 코드 이해 지원
+2. 코드 생성 가이드
+3. 코드 탐색 및 확장
+4. 튜토리얼 작업의 효율성 향상.
+
+#### VII. 논의 (Discussion)
+BISCUIT는 사용자의 의도와 코딩 맥락에 맞춰 동적 UI를 생성하여 인터랙티브한 코딩 환경을 제공합니다. 이는 기존의 프롬프트 기반 코드 생성 도구와 다른 접근 방식으로, 사용자가 코드 생성 과정을 더 쉽게 이해하고 탐색할 수 있도록 도와줍니다.
+
+#### VIII. 결론 (Conclusion)
+BISCUIT는 대형 언어 모델을 활용하여 사용자에게 임시 UI 요소를 제공함으로써 머신러닝 튜토리얼을 수행하는 데 있어 사용자 경험을 크게 향상시킵니다. 이는 코드 생성 도구의 설계와 구현에 있어 새로운 방향을 제시하며, 프로그래밍 환경 전반에서 광범위하게 적용될 수 있습니다.
+
+### 2. 전체 요약
+
+BISCUIT라는 JupyterLab 확장 기능은 대형 언어 모델(LLMs)을 기반으로 한 코드 생성 과정을 지원하기 위해 설계되었습니다. 이 도구는 사용자가 자연어로 요청을 입력하면 맥락에 맞춘 임시 UI 요소를 생성하여 사용자가 쉽게 코드 생성 과정을 이해하고 탐색할 수 있도록 돕습니다. 사용자 연구 결과 BISCUIT는 사용자들이 코드 예제를 이해하고, 코드 생성 과정을 가이드하며, 코드 탐색을 돕는 데 효과적임이 밝혀졌습니다. 이 도구는 머신러닝 튜토리얼뿐만 아니라 프로그래밍 환경 전반에서 사용자 경험을 혁신적으로 개선할 수 있는 잠재력을 가지고 있습니다.
+
+BISCUIT는 다음 주요 기능을 제공합니다:
+1. 코드 이해를 돕기 위한 UI 제공
+2. 코드 생성 과정에서 사용자의 지침 제공
+3. 코드 예제를 탐색하고 확장할 수 있도록 지원
+4. 맥락 내 스캐폴드를 제공하여 JupyterLab 인터페이스에 통합
+
+이러한 기능을 통해 BISCUIT는 대형 언어 모델을 활용한 코드 생성 도구의 새로운 방향을 제시하며, 프로그래밍 교육과 실습 환경에서 광범위하게 적용될 수 있는 가능성을 보여줍니다.

summaries/2407.18424.md

@@ -0,0 +1,34 @@
+# Model-driven Heart Rate Estimation and Heart Murmur Detection based on Phonocardiogram
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2407.18424.pdf](https://arxiv.org/pdf/2407.18424.pdf)
+
+### 1. 각 섹션 요약
+
+**1. Introduction**  
+이 논문의 서론에서는 심장 소리 신호(PCG, Phonocardiogram)를 분석하여 심박수(HR) 및 심장 잡음(heart murmur)을 감지하는 방법을 설명합니다. 기존의 신호 처리 방법은 실세계의 복잡한 환경에서 노이즈에 취약하지만, 딥러닝을 활용한 모델은 이러한 문제를 해결할 수 있는 가능성을 제시합니다. 본 연구의 목표는 단시간의 심장 소리로부터 HR을 추정하고 심장 잡음을 감지하는 CNN 기반 모델을 설계하고, 이를 통해 원격 환자 모니터링과 같은 다양한 응용 분야에 도움을 주는 것입니다.
+
+**2. Data**  
+사용된 데이터셋은 CirCor DigiScope Phonocardiogram 데이터셋으로, 3,163개의 심장 소리 녹음 파일로 구성됩니다. 이 데이터는 저주파 노이즈 및 주석 오류 등의 문제가 있어 강건한 모델 개발의 도전을 제시합니다. 데이터 준비 단계에서는 5초 길이의 슬라이딩 윈도우를 사용하여 데이터 스니펫을 생성했습니다.
+
+**3. Model Architecture**  
+여기서는 HR 추정을 위한 다양한 CNN 모델을 설계하고 비교합니다. 주요 모델로는 시간 컨볼루셔널 LSTM(TCNN-LSTM)과 2D 컨볼루셔널 네트워크(2dCNN)이 있으며, 최종적으로 2dCNN 모델이 더 우수한 성능을 보였습니다. 또한 이 모델을 기반으로 한 멀티태스크 학습(MTL) 아키텍처도 제안되었습니다.
+
+**4. Acoustic Features Selection**  
+본 연구에서는 Mel spectrogram, Mel-frequency cepstral coefficients (MFCC), power spectral density (PSD), root mean square energy (RMS)와 같은 음향 특징을 사용했습니다. 이들 특징을 조합하여 2dCNN 모델의 성능을 최적화했습니다.
+
+**5. MTL Model Architecture and Training**  
+제안된 2dCNN-MTL 모델은 HR 추정과 심장 잡음 감지를 동시에 처리할 수 있습니다. 다양한 무게 설정과 러닝 레이트 스케줄러를 통해 모델의 성능을 최적화했습니다. 실험 결과, MTL 모델은 높은 정확도와 낮은 평균 절대 오차를 달성했습니다.
+
+**6. Discussion**  
+논의 섹션에서는 HR 추정의 정확도와 한계를 다룹니다. 특히, 낮은 HR 범위에서 모델의 성능이 떨어지는 문제를 제기하며 데이터 분포의 불균형이 원인일 수 있음을 지적합니다. 실험적으로 2dCNN 모델이 매우 강력한 HR 예측 성능을 보였으며, 심장병이 있는 참가자의 데이터에서 일부 오차를 발견했습니다.
+
+**7. Limitations and Future Work**  
+현재 모델의 한계로는 환경 소음과 호흡 속도에 대한 주석이 부족하다는 점, 데이터 분포의 불균형이 있다는 점을 들 수 있습니다. 이러한 문제를 개선하기 위해 향후 연구에서는 소스 분리 기술과 더 나은 특성 추출 방법을 사용하는 것을 제안합니다.
+
+**8. Conclusion**  
+이 논문은 딥러닝 기반 2D 컨볼루셔널 신경망 모델의 효과성을 입증하였으며, 이는 심박수 추정과 심장 잡음 감지에서 매우 높은 성능을 보였습니다. 제안된 MTL 모델은 심박수 추정 및 심장 잡음 감지에서 기존 모델을 뛰어넘는 성능을 보였으며, 이를 통해 원격 환자 모니터링과 자가 건강 관리 애플리케이션의 발전 가능성을 제시합니다.
+
+### 2. 전체 요약
+
+이 논문은 심장 소리 신호를 분석하여 HR을 추정하고 심장 잡음을 감지하는 딥러닝 기반 모델을 제안합니다. 특히, 2D 컨볼루셔널 신경망(2dCNN) 모델과 이를 확장한 멀티태스크 학습(MTL) 모델을 사용해 HR을 정확하게 추정하고 심장 잡음을 높은 정확도로 감지할 수 있음을 보여줍니다. 사용된 CirCor DigiScope Phonocardiogram 데이터셋은 다양한 노이즈와 주석 오류가 포함된 실세계 데이터를 포함하고 있으며, 제안된 모델은 이러한 어려움을 극복하여 강건한 성능을 입증했습니다. 이 논문의 기여는 향후 원격 환자 모니터링 및 자가 건강 관리와 같은 실용적인 응용 분야에서 큰 가능성을 시사합니다.