2025-08-12 23:07
Tags: AI
LLM (Large Language Model)
- 기계가 인간의 언어를 구사할 수 있다면? → 거대 언어 모델 llm
- 기존 NLP 는 주로 통계적 규칙 기반, 확률적 접근 → 문맥, 의미 이해, 개별 모델 문제
- 트랜스포머 아키텍쳐 등장 → 셀프 어텐션 매커니즘 도입
- 모델의 크기, 데이터셋 크기, 계산량 증가 → 모델 성능 상승 (스케일링 법칙)
- 제로샷/퓨삿(몇개 예시 → 새로운 작업), 추론, 상식 능력 발현
- 솔직히 원리는 잘 몰라도 좋은 데이터를 더 많이 더 잘 넣으면 더 좋은 모델이 나온다.
- 만들어지는 과정은 더 궁금해지면 찾아보는데 사실 인류가 원리를 명확히 이해 못했다.
- 결국 더 잘쓰기 위해 프롬프트 엔지니어링 과 RAG 같은 기술을 활용 ⇒ 실제 현실 문제 해결