47일차. IT 개념 정리

 

 

RAG(Retrieval-Augmented Generation)란?

RAG는 검색 증강 생성이라는 기술로, 대형 언어 모델(LLM)이 답변을 생성할 때 외부 지식 베이스(예: 문서, 데이터베이스)에서 관련 정보를 실시간으로 검색(Retrieval)하여 프롬프트에 추가(Augmented)한 후 응답을 생성(Generation)하는 방식입니다.

• 주요 작동 원리:
  • 사용자의 질문을 받으면, 벡터 데이터베이스 등에서 관련 문서를 검색합니다.
  • 검색된 정보를 프롬프트에 추가하여 LLM이 더 정확하고 최신 정보를 바탕으로 답변하도록 합니다.
• 장점:
  • 최신 정보 반영이 쉽습니다. (데이터베이스만 업데이트하면 됨)
  • 환각(hallucination, 잘못된 정보 생성) 감소.
  • 모델 자체를 수정하지 않으므로 비용이 적게 들고, 구현이 상대적으로 간단합니다.
• 단점:
  • 검색 품질에 따라 성능이 좌우됩니다. (잘못된 문서 검색 시 오답 가능)
  • 도메인 특화된 스타일이나 복잡한 추론에는 약할 수 있습니다.
• 적합한 경우: 회사 내부 문서, 뉴스, 실시간 데이터가 자주 변하는 환경(예: 고객 지원 챗봇, FAQ 시스템).

파인튜닝(Fine-tuning)이란?

파인튜닝은 미세 조정으로, 이미 사전 훈련된 LLM(예: GPT 시리즈)을 특정 도메인이나 작업에 맞는 데이터셋으로 추가 학습시켜 모델의 파라미터(가중치)를 조정하는 방법입니다.

• 주요 작동 원리:
  • 사전 훈련된 모델에 전문 데이터(예: 의료 문서, 법률 텍스트)를 입력해 재학습합니다.
  • 모델이 해당 도메인의 언어 패턴, 스타일, 지식을 내부적으로 학습합니다.
  • 최근에는 LoRA 같은 효율적 방법(PEFT: Parameter-Efficient Fine-Tuning)으로 비용을 줄여 적용합니다.
• 장점:
  • 특정 작업에서 높은 정확도와 전문성을 발휘합니다. (예: 의료 보고서 작성, 법률 분석)
  • 응답 스타일(톤, 형식)을 세밀하게 맞출 수 있습니다.
  • 외부 검색 없이 빠른 추론 가능.
• 단점:
  • 학습 비용과 시간이 많이 듭니다. (GPU 자원 필요)
  • 데이터 업데이트 시 재학습해야 합니다. (최신 정보 반영 어려움)
  • 과적합(overfitting) 위험이 있습니다.
• 적합한 경우: 정적 데이터로 충분한 전문 작업(예: 특정 산업 보고서 생성, 스타일 맞춤 텍스트 생성).

RAG와 파인튜닝의 주요 차이점 비교

 

항목RAG (검색 증강 생성)파인튜닝 (미세 조정)

기본 메커니즘	외부 데이터 검색 후 프롬프트에 추가	모델 파라미터 직접 업데이트
지식 업데이트	데이터베이스 추가/수정만으로 실시간 가능	재학습 필요 (비용/시간 소모)
비용/구현 난이도	상대적으로 저렴하고 쉽음	높음 (학습 자원 필요)
환각 감소	효과적 (외부 사실 기반)	도메인 내에서 효과적, 하지만 최신 정보 약함
성능 강점	최신/동적 정보 처리	도메인 특화 추론 및 스타일 맞춤
단점	검색 실패 시 성능 저하	지식 고정, 업데이트 어려움
하이브리드 사용	가능 (파인튜닝된 모델 + RAG)	가능 (RAG 내에서 파인튜닝 모델 사용)

RAG와 **파인튜닝(Fine-tuning)**은 대형 언어 모델(LLM)을 실제 업무에 맞게 활용하는 대표적인 두 가지 방법이에요.

많은 경우 RAG부터 시작하는 게 추천됩니다. 비용이 적고 유연하며, 부족한 부분(예: 스타일 맞춤)이 생기면 파인튜닝을 추가로 적용하는 하이브리드 접근(RAG + Fine-tuning)이 최적의 성능을 내는 경우가 많습니다.

 

 

 

---

---

1️⃣ RAG (Retrieval-Augmented Generation, 검색 증강 생성)

개념
모델이 답변을 만들기 전에 외부 문서나 데이터베이스에서 관련 정보를 검색하고,
그 결과를 바탕으로 답변을 생성하는 방식입니다.

작동 방식

1. 사용자가 질문
2. 질문과 관련된 문서를 벡터 DB 등에서 검색
3. 검색된 내용을 프롬프트에 함께 넣음
4. LLM이 그 내용을 근거로 답변 생성

특징

• 모델 자체는 바뀌지 않음
• 최신 정보·사내 문서 반영 가능
• 환각(Hallucination) 감소
• 문서 출처 제시 가능

예시

• 사내 규정 Q&A 챗봇
• 논문/매뉴얼 기반 질문 답변 시스템
• 최신 뉴스 요약 챗봇

장점

• 데이터 업데이트가 쉬움
• 비교적 저렴
• 사실 기반 답변에 강함

단점

• 검색 품질에 따라 성능 좌우
• 문맥이 긴 경우 한계 있음

---

2️⃣ 파인튜닝 (Fine-tuning)

개념
기존 LLM을 특정 데이터로 추가 학습시켜
말투, 스타일, 특정 작업 수행 능력을 개선하는 방식입니다.

작동 방식

1. 입력-출력 쌍 데이터 준비
2. 모델이 그 패턴을 학습
3. 새로운 질문에도 비슷한 방식으로 응답

특징

• 모델의 “성향”과 “능력” 자체를 변경
• 반복되는 작업이나 특정 형식에 강함
• 검색 없이도 응답 가능

예시

• 고객 상담 말투 통일
• 특정 도메인(법률, 의료, 게임 등) 대화 스타일
• 코드 자동 변환 규칙 학습

장점

• 응답 속도 빠름
• 일관된 결과
• 프롬프트가 짧아짐

단점

• 학습 비용 큼
• 최신 정보 반영 어려움
• 데이터 수정 시 재학습 필요

---

3️⃣ RAG vs 파인튜닝 한눈에 비교

구분RAG파인튜닝

모델 변경	❌	✅
최신 정보 반영	매우 쉬움	어려움
비용	낮음	높음
사실 기반 Q&A	⭐⭐⭐⭐⭐	⭐⭐
스타일/말투	⭐⭐	⭐⭐⭐⭐⭐
유지보수	쉬움	어려움

---

4️⃣ 언제 무엇을 써야 할까?

• 사내 문서, 규정, 매뉴얼, 자주 바뀌는 정보 → ✅ RAG
• 일관된 답변 스타일, 특정 작업 자동화 → ✅ 파인튜닝
• 실무에서는 → ⭐ RAG + 파인튜닝 조합이 가장 많음

---

 

 

---

QLoRA는 양자화된 저랭크 행렬로 메모리를 최적화하여, 하드웨어 자원이 제한된 작업에 매우 효율적입니다. 이것과 LoRA의 차이점이 무엇인가

 

QLoRA로 효율성을 채택했다

 

 

💫 LoRA (Low-Rank Adaptation)

LoRA는 **'저랭크 적응'**이라는 이름처럼, 거대한 LLM의 모든 파라미터를 다시 학습시키는 대신, 특정 계층에 작은 저랭크 행렬 쌍을 추가해서 학습하는 방식이야. 마치 거대한 건물 전체를 고치는 대신, 특정 방에 작은 새 가구를 들여놓는 것과 비슷하다고 볼 수 있지! 

LoRA의 장점:

• 적은 계산량: 전체 모델을 학습하는 것보다 훨씬 적은 수의 파라미터만 학습하기 때문에 계산 자원을 크게 절약할 수 있어.
• 메모리 효율성: 학습할 파라미터 수가 줄어들어 GPU 메모리 사용량도 감소시켜줘.
• 성능 유지: 파라미터 수가 적어도 기존 모델의 성능을 거의 유지하면서 특정 작업에 맞춰 미세 조정을 할 수 있단다.

✨ QLoRA (Quantized LoRA)

QLoRA는 LoRA에서 한 발 더 나아가 **'양자화된 LoRA'**라고 할 수 있어. 쉽게 말하면, LoRA가 작은 가구를 들여놓는 거였다면, QLoRA는 그 작은 가구마저도 훨씬 더 가볍고 압축된 형태로 만들어서 들여놓는 거야! 

QLoRA의 핵심:

• 4비트 NormalFloat (NF4) 양자화: 가장 큰 특징은 기존의 16비트나 32비트 모델 파라미터를 4비트 데이터 타입으로 **압축(양자화)**한다는 점이야. 이렇게 하면 모델 크기가 확 줄어들고, 따라서 GPU 메모리 사용량도 엄청나게 절약돼. 4비트 양자화는 GPU 메모리가 부족할 때 특히 유용해서, OOM(Out Of Memory) 상황을 방지해 주지! 
• 더블 양자화 (Double Quantization): 양자화 과정을 한 번 더 적용해서, 저장 공간을 추가로 줄이는 기술이야.
• 페이지드 옵티마이저 (Paged Optimizers): 메모리 관리 기법을 활용해서 GPU 메모리가 부족할 경우 CPU RAM이나 디스크로 메모리 사용을 확장시켜줘. 

QLoRA와 LoRA의 가장 큰 차이점은?

가장 핵심적인 차이는 바로 **"모델의 베이스 가중치(Base Weights)를 어떻게 처리하느냐"**에 있어!

• LoRA: 모델의 베이스 가중치를 일반적인 데이터 타입(예: 16비트 부동소수점)으로 유지하고, 여기에 저랭크 행렬을 추가하여 학습해.
• QLoRA: 모델의 베이스 가중치를 4비트로 양자화해서 메모리를 극한으로 절약해. 그리고 이 양자화된 베이스 모델 위에 LoRA 어댑터를 추가하여 학습하지.

그래서 QLoRA는 LoRA보다 훨씬 더 적은 GPU 메모리로도 대규모 LLM을 미세 조정할 수 있어. 하드웨어 자원이 제한적인 환경에서도 LLM 파인튜닝을 가능하게 해주는 강력한 방법이라고 할 수 있지!

QLoRA는 "더 가볍게, 더 적은 자원으로도 파인튜닝을!" 외치는 친구들에게 딱 맞는 기술이라고 보면 돼!

 

---

한 문장으로 먼저 정리

• LoRA: 큰 AI 모델에 “작은 메모”만 붙여서 공부시키는 방법
• QLoRA: 그 큰 모델을 “압축(양자화)”해 놓고, 거기에 작은 메모를 붙여 공부시키는 방법

---

비유로 설명해 볼게요 📘

🧠 AI 모델 = 두꺼운 교과서

🔹 LoRA

• 교과서는 그대로 둠
• 중요한 내용만 얇은 포스트잇에 적어서 붙임
• → 포스트잇만 수정하니 공부량이 줄어듦
• ❗ 하지만 교과서 자체가 너무 두꺼우면 들고 다니기 힘듦 (GPU 메모리 많이 필요)

---

🔹 QLoRA

• 교과서를 압축해서 가볍게 만듦 (4-bit 양자화)
• 그 위에 포스트잇(LoRA) 붙여서 공부
• → 훨씬 가벼워짐
• → 노트북이나 일반 GPU에서도 가능

---

진짜 중요한 차이 딱 3개만

구분LoRAQLoRA

모델 크기	큼	아주 작아짐
GPU 요구	높음	낮음
초보자/개인용	❌	✅ 매우 적합

---

오해하기 쉬운 점 ⚠️

❌ “QLoRA는 저랭크 행렬을 양자화한다”
⭕ 아니에요!

✔ 압축되는 건 ‘원래 모델’
✔ LoRA 부분은 그대로 고급 품질로 학습

---

언제 어떤 걸 쓰면 될까?

• 🤖 큰 모델을 조금만 고치고 싶다 → LoRA
• 💻 GPU가 약하다 / 노트북·Colab이다 → QLoRA

---

rtx 3050에서 코알파카를 페프트로 학습하려고 해. 

 

 

Polyglot-Ko 5.8B나 Llama-2-ko 7B 중에서 어느 것을 추천하는가 ?

 

🧠 1. 기본 모델 특성 비교

🔹 Polyglot-Ko 5.8B

• 한국어만 대규모로 학습된 한국어 특화 LLM입니다.
• EleutherAI의 Polyglot-Ko 프로젝트 기반으로, 863 GB 이상의 한국어 데이터로 학습됨.AIBase
• 한국어 텍스트 생성, 이해, 명령어 반응 등 한국어 중심 작업에서 상대적으로 강점이 있음.AIBase
• fine-tuned 변형(예: KoAlpaca-Polyglot 5.8B)도 있어 한국어 지시 수행 성능을 더 높인 버전이 존재합니다.LLM Explorer

👉 장점

• 한국어 문화·문맥 이해가 상대적으로 좋다는 평가가 많음.당근과 토마토
• 한국어 텍스트 생성이 자연스럽고 실전 활용 시 비교적 안정적.

👉 단점

• 영어나 다국어 작업에서는 제한적일 수 있음.
• 성능 지표가 Llama 계열처럼 폭넓은 벤치마크에서 평가된 자료가 많지 않음.

---

🔹 Llama-2-Ko 7B

• Meta의 Llama-2 모델을 기반으로 한국어용으로 확장 및 추가 학습된 버전입니다.Hugging Face
• 한국어 토크나이저 확장(46,336 토큰)으로 한국어 어절/형태소 처리 능력을 개선.Skywork

👉 장점

• **더 큰 파라미터 수(7B)**로 인해 일반적인 언어 이해 능력이 넓고 다양함.Hugging Face
• 다양한 downstream task(요약, 번역, 정보추출, 질의응답 등)에서도 균형 잡힌 성능을 보여줌.
• 영어 포함해 다국어 처리도 비교적 강점이 있음.

👉 단점

• 한국어 특화 정도는 Polyglot-Ko보다 낮다는 평가가 일부 존재함. (모델이 다국어를 포함해 학습된 특성 때문)당근과 토마토
• 벤치마크에 따라 한국어 특정 과제에서 Polyglot-Ko가 상대적으로 우위라는 평가도 있음.

---

📊 2. 성능 및 벤치마크 관점

📌 여러 비공식 비교에서:

• 한국어 특정 benchmark (예: NSMC, KOBEST) 기준으로 Polyglot-Ko 5.8B가 일부 한국어 작업에서 더 우위라는 경험적 평가 보고가 있음.당근과 토마토
• 반면 Llama-2-Ko 7B는 한국어도 잘 처리하면서 전반적인 언어 이해·생성 능력이 더 넓은 스펙트럼을 커버함.Hugging Face
• 한 연구에서는 Polyglot-계열이 한국어 중심 Bench에서 Llama 계열보다 좋은 경우가 많다는 결과가 보고되기도 했습니다.arXiv

단, 공개된 표준 벤치마크 자료가 제한적이고, 모델 설정/튜닝에 따라 결과가 바뀔 수 있습니다.

---

📌 3. 언제 어떤 모델을 선택해야 할까?

✅ 한국어 중심 작업 우선이라면

👉 Polyglot-Ko 5.8B

• 한국어 생성/대화/문화적 맥락 포함한 텍스트 생성
• 한국어 NLP task (요약, 감정분석, 명령 수행 등) 중심

✅ 더 넓은 활용, 다국어 또는 복합 작업이라면

👉 Llama-2-Ko 7B

• 영어 + 한국어 혼합 입력/출력
• 기술 문서 요약, 코드/지식 질문, 다중 task

---

📌 4. 성능/효율성 요약

항목Polyglot-Ko 5.8BLlama-2-Ko 7B

한국어 특화	⭐⭐⭐⭐	⭐⭐⭐
다국어 지원	⭐⭐	⭐⭐⭐⭐
범용 텍스트 생성	⭐⭐⭐	⭐⭐⭐⭐
Model Scale	5.8B	7B
현존 평가 커뮤니티 사례	한국어 중심에서 좋은 평가	전반적인 범용성에 강점

---

🧠 결론

• 한국어 중심, 높은 한국어 자연스러움/맥락 이해 → Polyglot-Ko 5.8B 추천
• 광범위 언어 이해 + 한국어 포함 다양한 작업 → Llama-2-Ko 7B 추천

---

 

지속가능경영보고서 10건~30건으로 학습한 후 , ifrs 기준 문단에 맞추어서 사용자 회사에 맞게 AI 가 문장을 작성해주고, cdp대응하는 문장들을 작성하는 프로젝트를 시행하려고 해 훈련 기간은 1달 정도 생각해. 그리고 훈련 후의 성과보다는 진행과정에서 부하가 걸리지 않기를 바래. 이때 , 위의 맥락에서 어느 모델이 가장 합당할까 ?

 

1️⃣ 프로젝트 요구사항을 다시 정리해보면

은진님 프로젝트의 핵심 제약은 다음이에요:

✅ 목표

• 지속가능경영보고서(SR) 10~30건 학습
• IFRS 문단 구조에 맞춘 문장 생성
• 회사 맞춤형 ESG/환경/기후/거버넌스 문장
• CDP 대응 문장 자동 생성

✅ 운영 조건

• RTX 3050
• 훈련 기간 1달
• 성과보다 진행 과정에서의 안정성·부하 최소화 중시
• 반복 실험, 수정, 중단이 잦을 가능성 높음

👉 이건 “연구용 SOTA”가 아니라 “정책·보고서 생성용 실무 AI” 입니다.

---

2️⃣ 이 조건에서 중요한 모델 선택 기준

이 프로젝트에서는 성능보다 아래 5가지가 훨씬 중요합니다.

기준이유

한국어 문서체 이해	SR·IFRS·CDP 문장은 일상 대화 아님
구조 학습 능력	문단·항목·지표별 반복 패턴
소량 데이터 안정성	10~30건은 매우 적음
VRAM 여유	장시간 학습 중 OOM = 프로젝트 중단
디버깅 용이성	중간에 데이터/프롬프트 계속 바뀜

---

3️⃣ 모델 후보별 현실적 평가

❌ LLaMA-2-Ko 7B (또는 7B급)

왜 부적합한가

• RTX 3050에서:
  • QLoRA로도 학습 내내 메모리 압박
  • gradient accumulation 늘리면 시간 ↑, 안정성 ↓
• 한국어 “보고서체”는:
  • Polyglot 계열보다 문장 톤 불안정
• 10~30건 학습에서는:
  • 파라미터 수만 크고 과적합/환각 위험 증가

📌 “결과가 좋아 보일 수는 있어도, 과정이 계속 불안함”

---

❌ 더 작은 모델 (3B 이하)

왜 안 좋은가

• IFRS / CDP 문단은:
  • 문장 논리 + 규범적 표현 + 반복 구조
• 3B 이하에서는:
  • 지표 대응 문장 붕괴
  • 문단 간 일관성 부족
• “회사 맞춤”으로 갈수록:
  • 표현 다양성 급격히 감소

📌 “가볍지만 보고서 품질이 안 나옴”

---

✅ KoAlpaca-Polyglot-5.8B (QLoRA)

이 프로젝트에 딱 맞는 이유

① 한국어 ‘보고서 문체’에 최적

• Polyglot-Ko 자체가
  • 공공문서·보도자료·보고서 계열 비중 큼
• KoAlpaca 튜닝으로
  • “~하였다 / ~하고 있다 / ~계획이다”
    같은 ESG 문체 학습이 매우 잘 됨

---

② 소량 데이터에 강함 (중요)

• 10~30건이면 사실상:
  • 지식 주입 ❌
  • 문장 패턴·구조 학습 ⭕
• Polyglot 5.8B는:
  • LoRA r=4~8에서도 구조 패턴 학습 안정
• LLaMA 계열은:
  • r를 키워야 해서 → VRAM 부담

---

③ “과정 안정성”이 압도적으로 좋음

은진님이 가장 중요하게 본 포인트죠.

항목Polyglot-5.8B

OOM 위험	낮음
학습 중단 가능성	매우 낮음
세팅 변경 후 재학습	빠름
실험 반복	부담 적음

👉 1달 동안 “계속 굴릴 수 있는 모델”

---

④ 결과물을 “AI 티 안 나게” 만들기 쉬움

이건 SR/CDP에서 결정적입니다.

• Polyglot은:
  • 과장·추측 표현이 적음
  • “~로 판단된다”
    “~을 중심으로 관리하고 있다”
    같은 중립적 표현 유지
• CDP 대응 시:
  • hallucination 리스크 낮음

---

4️⃣ 이 프로젝트에 최적화된 권장 아키텍처

🔑 핵심 전략 (중요)

❌ “보고서 지식을 모델에 넣겠다”
⭕ “문장 생성 규칙을 모델에 학습시키겠다”

구조는 이렇게 가는 게 가장 안정적입니다:

 

[IFRS 문단 구조 템플릿] ← 고정 [회사별 입력 변수] ← 사용자 입력 [KoAlpaca-Polyglot-5.8B + LoRA] → 문장 생성

📌 CDP 문항도 동일
📌 모델은 작성자 역할, 사실 판단은 사람/룰

---

5️⃣ 최종 추천 (한 줄 결론)

RTX 3050 + 1달 + SR 10~30건 + 과정 안정성 중시라면
KoAlpaca-Polyglot-5.8B (QLoRA, r=4~8) 가 유일한 합리적 선택입니다.

---

6️⃣ 다음 단계에서 꼭 같이 설계해야 할 것 (중요)

이 프로젝트 성공 여부는 모델보다 아래가 더 중요해요:

1. IFRS / CDP 문단 템플릿 분리 설계
2. 학습용 데이터 vs 생성용 프롬프트 엄격 분리
3. 회사 고유 정보는 절대 학습하지 않기
4. 문단별 LoRA task 분리 여부 검토

---

혹시 같은 조건에서 RTX는 5060, 성과 중시라면 어떻게 추천해줄수있어??

 

 

RTX 5060 + 성과 중시로 조건이 바뀌면 모델 선택 전략이 “완전히 달라집니다.”
아래는 **같은 프로젝트 목적(SR·IFRS·CDP 자동 문장 생성)**을 유지하면서,
👉 *“과정 안정성 < 결과 품질”*일 때의 최적 추천입니다.

---

🔚 결론부터 한 줄로

RTX 5060 + 성과 중시라면
👉 LLaMA-3 계열 8B (한국어 강화 버전) + QLoRA(또는 LoRA) 가 최선입니다.

단, KoAlpaca-Polyglot은 ‘안정형’,
**LLaMA-3-8B는 ‘출력 품질형’**입니다.

---

1️⃣ RTX 5060이 주는 “게임 체인저”

(5060은 아직 공식 스펙 차이가 있지만, 일반적으로 12GB 이상 VRAM 가정)

3050 → 5060으로 바뀌면서 생기는 변화

항목RTX 3050RTX 5060

VRAM 여유	❌ 매우 제한	⭕ 충분
Context length	512~768	1024~2048 가능
LoRA rank	r=4~8	r=16~32 가능
모델 선택	5~6B 현실적	8B급 실전 가능
문장 논리력	제한적	눈에 띄게 개선

👉 “보고서 문단의 논리 밀도”가 확실히 달라집니다.

---

2️⃣ 성과 중시일 때, 평가 기준이 바뀜

이제 중요한 건 이겁니다:

중요도항목

⭐⭐⭐⭐⭐	문단 논리 완결성
⭐⭐⭐⭐⭐	IFRS/CDP 질문 정확 대응
⭐⭐⭐⭐	회사 맞춤 서술 유연성
⭐⭐⭐	학습 안정성
⭐⭐	반복 실험 부담

👉 즉, “조금 까다로워도 결과가 좋아야 함”

---

3️⃣ 모델 후보 재평가 (5060 기준)

❌ KoAlpaca-Polyglot-5.8B (이 조건에선 2순위)

왜 1순위가 아니게 되는가?

• 문장 안정성은 여전히 최고
• 하지만:
  • IFRS 문단에서 논리 전개 깊이 부족
  • CDP 문항의 “질문 의도 파악”이 얕음
• 5060의 여유를 다 못 씀

👉 “3050에선 최적, 5060에선 보수적”

---

❌ LLaMA-2-Ko 7B

• 지금 시점에선:
  • LLaMA-3 대비 명확한 열세
  • 학습 대비 성능 상승폭 작음
• 굳이 갈 이유 ❌

---

✅ LLaMA-3-8B (한국어 강화 / Ko LoRA) ← 1순위

왜 이게 성과형 최적해인가

① IFRS·CDP에 중요한 “논리 응답 능력”

• LLaMA-3는:
  • 질문 → 요구사항 → 대응 문장
    이 3단 구조를 잘 유지
• CDP 문항 대응에서:
  • “Yes/No + 설명”
  • “정책–목표–성과–향후 계획”
    구조가 자연스럽게 유지

---

② 문단 길이 & 밀도에서 차이가 큼

• 8B급 + context 2k →
  • 한 문단 안에서 논리 완결
  • “중간에 말 끊기는 보고서 문장” 현저히 감소
• SR 보고서 품질이
  • *“사람이 쓴 것 같은 수준”*에 가까워짐

---

③ 소량 데이터에서도 “일반화”가 더 잘 됨

• 10~30건은 여전히 적지만:
  • LLaMA-3는 패턴 일반화 능력 우수
• Polyglot → 패턴 복사형
• LLaMA-3 → 패턴 + 변형 생성형

👉 “회사 맞춤”에서 차이가 남

---

4️⃣ 성과형 권장 세팅 (5060 기준)

🔹 모델

 

meta-llama/Meta-Llama-3-8B (+ 한국어 데이터로 LoRA)

🔹 학습 방식

• QLoRA (4bit) 또는
• LoRA (8bit, VRAM 여유 시)

🔹 권장 하이퍼파라미터

 

Context length: 1024~2048 LoRA r: 16~32 Batch size: 2 Grad acc: 4 Epoch: 2~3

📌 이 세팅은 보고서 문단 품질 최우선

---

5️⃣ 단, 성과형일수록 꼭 지켜야 할 원칙

⚠️ 이거 안 지키면 오히려 망가집니다.

🚫 하지 말 것

• 회사 고유 수치/정책을 학습 데이터에 직접 넣기
• CDP 점수 판단을 모델에 맡기기
• “사실 생성”을 기대하기

✅ 반드시 할 것

• IFRS / CDP 문단 구조를 프롬프트로 고정
• 모델은 “문장 작성자” 역할만
• 사실·수치는 RAG 또는 룰 기반

---

6️⃣ 최종 추천 정리 (표)

조건최적 모델

RTX 3050 + 안정성	KoAlpaca-Polyglot-5.8B
RTX 5060 + 성과 중시	LLaMA-3-8B (Ko 튜닝)
결과 품질 최우선	LLaMA-3-8B
문장 톤 안정성	Polyglot
CDP 논리 대응	LLaMA-3

---

프로젝트 적합도 비교 (KT Mi:dm 2.0 Mini-Instruct vs Polyglot-Ko 5.8B vs Llama-2-ko 7B)

당신의 프로젝트(10~30건 지속가능경영보고서 데이터로 IFRS/CDP 맞춤 문장 생성 fine-tuning, 1달 기간, 진행 과정 부하 최소화 우선)를 기준으로 세 모델을 비교했습니다. 2025년 12월 현재 기준으로, Mi:dm 2.0 Mini-Instruct는 2025년 7월에 출시된 최신 "Korea-centric" 모델로 한국어 벤치마크(Ko-Sovereign, KMMLU 등)에서 동급 이상의 글로벌/국내 모델을 능가합니다. 반면 Polyglot-Ko 5.8B와 Llama-2-ko 7B는 2023년대 구형 모델로, 현재 기준으로는 성능이 뒤처집니다.

 

항목	KT Mi:dm 2.0 Mini-Instruct (2.3B)	Polyglot-Ko 5.8B (5.8B)	Llama-2-ko 7B (7B)
출시 연도 & 최신성	2025년 7월 (최신, pruning + distillation 적용)	2023년 (구형)	2023년 (Llama-2 기반 추가 pretraining, 구형)
한국어 특화	최고 (Korea-centric 설계, 문화/사회/상식 내재화). Ko-IFEval 73%, Ko-MTBench 74%, K-Refer 66% 등 한국 벤치마크 상위. ESG/보고서 용어 이해 우수 예상.	중상 (한국 전용 pretraining) 하지만 2023년 수준으로 최신 모델에 뒤짐.	중 (한국 코퍼스 추가) 하지만 Llama-2 아키텍처 한계로 reasoning/instruction 약함.
파라미터 & 부하	가장 가볍다 (2.3B). QLoRA 시 RTX 4090 (10GB 미만) 또는 저사양 GPU로 초고속. 부하 최소화에 최적.	중간 (5.8B). QLoRA 시 20~25GB 소요, 부하 중간.	높음 (7B). QLoRA 시 25~30GB 소요, 부하 가장 큼.
작은 데이터셋 적합도	우수. 이미 instruction-tuned + 한국 특화로 10~30건 데이터로 빠르게 고품질 IFRS/CDP 문장 생성 가능. 과적합 적음.	보통. Instruction tuning 부족 (KoAlpaca 등 별도 필요), 추가 작업 많음.	보통. Instruction following 약해 작은 데이터에서 불안정.
훈련 기간 & 비용	가장 빠름. 1달 내 여유롭게 반복 실험. 저비용 로컬/클라우드 가능.	중간. 더 오래 걸리고 자원 더 소모.	가장 느림. 부하 커서 1달 내 안정적 진행 어려움.
전체 프로젝트 적합도	최고. 최신 + 초경량 + 한국 특화로 부하 최소 + 성능 최대.	낮음. 구형으로 성능 저하 예상.	낮음. 구형 + 부하 커서 부적합.
단점	글로벌 범용 벤치마크에서 약간 뒤질 수 있음 (프로젝트에 무관).	구형 아키텍처로 최신 태스크(전문 문서 생성) 약함.	Reasoning/instruction 약하고 자원 소모 큼.

결론 & 추천: KT Mi:dm 2.0 Mini-Instruct를 강력히 1순위로 추천합니다. 2025년 최신 모델로 한국어(특히 지속가능경영보고서 같은 전문/문화 맥락)에서 압도적 우위, 가장 가벼운 규모로 "부하 최소화" 목표에 완벽 맞아요. Polyglot-Ko 5.8B나 Llama-2-ko 7B는 2023년 모델로 성능/효율 모두 뒤처져 전환할 이유가 없습니다 – 오히려 fine-tuning 후 문장 품질이 떨어지고 과정이 힘들어질 수 있어요.

Hugging Face에서 Mi:dm 2.0 Mini-Instruct 바로 다운로드하고 (K-intelligence/Midm-2.0-Mini-Instruct), Unsloth나 LLaMA-Factory로 QLoRA 시작해보세요. 실제 테스트로 확인하면 더 확실할 거예요! 추가 조언 필요하시면 말씀해주세요.