시스매

LLM 핸드북 인공지능의 새로운 시대, 거대 언어 모델의 모든 것

26 min read

2025-08-12 22:56

Tags:

LLM 핸드북 인공지능의 새로운 시대, 거대 언어 모델의 모든 것

들어가며: 언어, 인간 지성의 정수와 기계의 만남

인간은 언어를 통해 생각하고, 소통하며, 지식을 축적한다. 언어는 단순한 의사소통 도구를 넘어 인류 문명을 이룩한 핵심 동력이다. 만약 기계가 인간의 언어를 자유자재로 구사할 수 있다면 어떨까? 이는 오랫동안 인공지능(AI) 분야의 궁극적인 목표 중 하나였다. 그리고 2020년대에 들어, 우리는 그 꿈이 현실이 되는 순간을 목격하고 있다. 바로 **거대 언어 모델(Large Language Model, LLM)**의 등장 덕분이다.

LLM은 단순히 텍스트를 생성하는 프로그램을 넘어, 인간의 지적 활동을 모방하고 확장하는 새로운 패러다임을 제시한다. 이 핸드북은 LLM이라는 거대한 기술적 산맥을 탐험하려는 이들을 위한 안내서다. LLM이 왜 만들어졌는지, 어떤 구조로 작동하는지, 그리고 우리 삶을 어떻게 바꾸고 있는지, 그 심층적인 이야기를 시작한다.

1장: 왜 LLM인가? - 거대함이 가져온 질적 도약

LLM의 탄생을 이해하기 위해서는 먼저 기존 자연어 처리(Natural Language Processing, NLP)의 한계를 살펴봐야 한다.

1.1 기존 NLP의 벽: 문맥과 뉘앙스의 이해 부족

초기 NLP 모델들은 주로 통계적 규칙에 기반했다. ‘사과’라는 단어 뒤에는 ‘맛있다’가 자주 온다는 식의 확률적 접근이었다. 이후 딥러닝 기술이 도입되면서 RNN(순환 신경망), LSTM(장단기 메모리) 같은 모델이 등장했다. 이들은 단어의 순서, 즉 시퀀스 정보를 처리하며 이전보다 훨씬 정교하게 언어를 이해하기 시작했다.

하지만 이들에게도 명확한 한계가 존재했다.

  • 고정된 문맥의 창(Fixed Context Window): 문장이 길어질수록 앞부분의 정보를 잊어버리는 ‘장기 의존성 문제’가 심각했다. 소설 한 권을 읽고 전체 내용을 요약하는 것은 상상하기 어려웠다.

  • 얕은 의미 이해: 단어와 단어 사이의 복잡하고 미묘한 관계를 파악하는 데 어려움을 겪었다. “그녀는 은행에 갔다”라는 문장에서 ‘은행’이 금융 기관인지, 강둑인지 문맥에 따라 파악하는 능력이 부족했다.

  • 작업별 개별 모델(Task-Specific Models): 번역, 요약, 감성 분석 등 각각의 작업마다 별도의 모델을 설계하고 훈련해야 했다. 이는 엄청난 시간과 비용을 요구했다.

1.2 트랜스포머의 등장: ‘어텐션’이라는 혁명

2017년, 구글 연구원들이 발표한 논문 “Attention Is All You Need”는 NLP 분야에 지각변동을 일으켰다. 이 논문에서 제시된 트랜스포머(Transformer) 아키텍처는 기존의 순차적인 처리 방식에서 벗어나, 문장 내 모든 단어 간의 관계를 한 번에 계산하는 ‘셀프 어텐션(Self-Attention)’ 메커니즘을 도입했다.

비유로 이해하는 셀프 어텐션:

여러 사람이 모여 회의를 한다고 상상해보자. 중요한 발언을 하는 사람에게 모두의 시선이 집중된다. 셀프 어텐션은 이와 비슷하다. 문장 내에서 특정 단어를 처리할 때, 다른 모든 단어에 ‘주의(Attention)‘를 기울여 어떤 단어가 현재 단어와 가장 관련이 깊은지 가중치를 부여한다. 예를 들어, “동물은 길을 건너지 않았다. 왜냐하면 너무 피곤했기 때문이다.”라는 문장에서 ‘그것(it)‘이 ‘동물’을 가리키는 것인지 ‘길’을 가리키는 것인지 판단할 때, ‘피곤했다’는 정보에 높은 가중치를 부여하여 ‘그것’이 ‘동물’임을 정확히 추론한다.

트랜스포머는 병렬 처리가 가능해 계산 효율성이 뛰어났고, 문장 내 단어들의 관계를 훨씬 깊이 있게 파악할 수 있었다. 이는 더 많은 데이터와 더 큰 모델로 확장할 수 있는 길을 열었다.

1.3 스케일링 법칙: 양이 질을 낳다

트랜스포머의 등장 이후, 연구자들은 한 가지 흥미로운 사실을 발견했다. 모델의 크기(파라미터 수), 데이터셋의 크기, 그리고 계산량을 일정 비율로 함께 늘리자, 모델의 성능이 예측 가능하게 향상될 뿐만 아니라, 어느 시점부터는 **예상치 못한 새로운 능력(Emergent Abilities)**이 나타난다는 것이었다. 이를 **‘스케일링 법칙(Scaling Laws)‘**이라 부른다.

작은 모델은 단순히 문법에 맞는 문장을 만드는 수준에 그쳤지만, 모델이 거대해지면서 다음과 같은 능력이 발현되기 시작했다.

  • 제로샷/퓨샷 학습(Zero/Few-Shot Learning): 별도의 훈련 없이, 혹은 단 몇 개의 예시만 보고도 새로운 작업을 수행하는 능력. 예를 들어, “영어를 프랑스어로 번역해줘: sea otter ⇒ loutre de mer” 라는 예시 하나만 보고 다른 단어 번역을 해내는 것이다.

  • 추론(Reasoning): 주어진 정보를 바탕으로 논리적인 결론을 도출하는 능력.

  • 상식(Common Sense): 세상의 보편적인 지식과 상식을 이해하고 답변에 활용하는 능력.

결국 LLM은 트랜스포머라는 혁신적인 아키텍처와, ‘크기가 성능을 결정한다’는 스케일링 법칙의 발견이 결합하여 탄생한 필연적인 결과물이다. ‘거대함’ 그 자체가 바로 LLM을 이전의 모델들과 구분 짓는 핵심적인 특징이자, 질적 도약을 가능하게 한 원동력인 셈이다.

2장: LLM의 해부학 - 무엇으로 만들어졌는가?

LLM의 내부를 들여다보면, 수십억, 수천억 개의 **파라미터(Parameter)**로 이루어진 거대한 인공 신경망이 존재한다. 이 파라미터들은 인간 뇌의 시냅스와 유사한 역할을 하며, 데이터 속의 패턴과 지식을 저장한다. LLM의 핵심 구조는 앞서 언급한 트랜스포머에 기반한다.

2.1 핵심 구성 요소: 트랜스포머 아키텍처

트랜스포머는 크게 두 부분으로 나뉜다: **인코더(Encoder)**와 디코더(Decoder).

  • 인코더: 입력된 텍스트(예: 한국어 문장)를 받아 그 의미를 압축된 벡터(숫자들의 배열) 형태로 변환한다. 문장의 문맥적 의미를 이해하는 역할을 담당한다.

  • 디코더: 인코더가 전달한 의미 벡터와 이전에 생성한 단어들을 바탕으로, 다음에 올 가장 적절한 단어를 예측하여 출력(예: 영어 문장)한다. 텍스트를 생성하는 역할을 담당한다.

초기 트랜스포머 모델(T5 등)은 번역과 같은 작업에 인코더-디코더 구조를 모두 사용했지만, 이후 LLM들은 특정 목적에 맞춰 변형된 구조를 채택했다.

2.2 LLM의 3가지 유형

현대의 LLM은 아키텍처에 따라 크게 세 가지 유형으로 분류할 수 있다.

  1. 인코더-온리 모델 (Encoder-Only Models):

    • 대표 모델: BERT, RoBERTa

    • 특징: 텍스트의 의미를 깊이 있게 ‘이해’하는 데 특화되어 있다. 문장의 빈칸을 채우거나(Masked Language Modeling), 두 문장이 이어지는 내용인지 판단하는 등의 훈련을 받는다. 양방향 문맥을 모두 고려하여 단어의 의미를 파악하므로, 문맥 이해 능력이 매우 뛰어나다.

    • 주요 용도: 문장 분류, 개체명 인식, 감성 분석 등 텍스트를 ‘이해’하고 분석하는 작업.

  2. 디코더-온리 모델 (Decoder-Only Models):

    • 대표 모델: GPT 시리즈 (GPT-3, GPT-4), PaLM, LLaMA

    • 특징: 주어진 텍스트(프롬프트)에 이어질 다음 단어를 예측하는 방식으로 훈련된다. 이전 단어들만을 참고하여 다음 단어를 생성하므로, 매우 자연스럽고 일관성 있는 텍스트를 ‘생성’하는 데 강점을 보인다. 오늘날 우리가 흔히 ‘LLM’이라고 부르는 챗봇 형태의 모델 대부분이 이 구조를 따른다.

    • 주요 용도: 챗봇, 글쓰기, 코드 생성, 요약 등 창의적인 텍스트 생성 작업.

  3. 인코더-디코더 모델 (Encoder-Decoder Models):

    • 대표 모델: T5, BART

    • 특징: 입력 텍스트를 이해하는 부분(인코더)과 출력 텍스트를 생성하는 부분(디코더)이 명확히 구분되어 있다. 입력과 출력의 형태가 다른 작업, 즉 시퀀스-투-시퀀스(Seq2Seq) 작업에 효과적이다.

    • 주요 용도: 기계 번역, 문서 요약 등 입력 시퀀스를 다른 형태의 출력 시퀀스로 변환하는 작업.

2.3 훈련 과정: LLM은 어떻게 학습하는가?

LLM의 훈련은 크게 두 단계로 나뉜다.

1단계: 사전 훈련 (Pre-training)

이 단계는 LLM의 ‘기초 체력’을 기르는 과정이다. 인터넷의 방대한 텍스트 데이터(책, 웹사이트, 뉴스 기사, 코드 등)를 아무런 정답(레이블) 없이 학습한다. 이 과정에서 모델은 다음과 같은 목표를 통해 스스로 언어의 패턴을 터득한다.

  • 다음 단어 예측 (Next Token Prediction): “나는 오늘 아침에 맛있는 ____” 라는 문장에서 빈칸에 ‘사과를’이 올 확률이 높다는 것을 학습한다. (주로 디코더-온리 모델)

  • 마스크된 언어 모델링 (Masked Language Modeling): “나는 오늘 [MASK]에 맛있는 사과를 먹었다”에서 [MASK]가 ‘아침’이라는 것을 주변 단어를 통해 추론한다. (주로 인코더-온리 모델)

이 과정을 통해 LLM은 문법, 단어의 의미, 문맥, 그리고 세상에 대한 방대한 사실적 지식(예: ‘프랑스의 수도는 파리다’)을 내재화하게 된다. 이 단계는 엄청난 양의 데이터와 컴퓨팅 자원을 필요로 하며, 수 주에서 수 개월이 소요된다.

2단계: 미세 조정 (Fine-tuning)

사전 훈련을 마친 LLM은 범용적인 언어 능력을 갖추었지만, 특정 작업에 최적화되어 있지는 않다. 미세 조정은 LLM을 특정 목적에 맞게 ‘튜닝’하는 과정이다.

  • 지도 미세 조정 (Supervised Fine-tuning, SFT): 특정 작업에 대한 ‘질문-정답’ 쌍 데이터를 사용하여 모델을 추가로 훈련시킨다. 예를 들어, 법률 Q&A 챗봇을 만들고 싶다면, 법률 관련 질문과 전문가의 답변 데이터를 학습시켜 법률 분야의 전문성을 높인다.

  • 인간 피드백을 통한 강화 학습 (Reinforcement Learning from Human Feedback, RLHF): LLM이 더 유용하고, 정직하며, 무해한(Helpful, Honest, Harmless) 답변을 생성하도록 인간의 선호를 학습시키는 과정이다.

    1. 하나의 질문에 대해 모델이 여러 개의 답변을 생성한다.

    2. 인간 평가자가 어떤 답변이 더 나은지 순위를 매긴다.

    3. 이 순위 데이터를 바탕으로 ‘보상 모델(Reward Model)‘을 훈련시킨다. 이 보상 모델은 어떤 답변이 인간의 선호에 더 부합하는지 점수를 매길 수 있다.

    4. 마지막으로, LLM은 이 보상 모델로부터 높은 점수를 받는 방향으로 답변을 생성하도록 강화 학습을 통해 정책을 업데이트한다.

RLHF는 ChatGPT와 같은 대화형 AI가 단순히 정보를 나열하는 것을 넘어, 사용자의 의도를 파악하고 안전하며 만족스러운 대화를 이끌어가는 핵심 기술이다.

3장: LLM 사용법 - 프롬프트, 잠재력을 깨우는 열쇠

잘 훈련된 LLM은 그 자체로 엄청난 잠재력을 지니고 있지만, 그 능력을 제대로 끌어내기 위해서는 사용자의 역할이 매우 중요하다. LLM과의 소통 창구인 **프롬프트(Prompt)**를 어떻게 작성하느냐에 따라 결과물의 질이 천차만별로 달라진다. 이를 **‘프롬프트 엔지니어링(Prompt Engineering)‘**이라고 한다.

3.1 좋은 프롬프트의 원칙

  1. 명확하고 구체적인 지시:

    • (나쁜 예) “LLM에 대해 설명해줘.”

    • (좋은 예) “초등학생도 이해할 수 있도록, LLM이 무엇인지 비유를 들어 500자 내외로 설명해줘.”

  2. 역할 부여 (Persona):

    • (좋은 예) “당신은 세계 최고의 마케팅 전문가입니다. 20대 여성을 타겟으로 하는 새로운 립스틱 브랜드의 인스타그램 광고 문구를 3가지 버전으로 작성해주세요.”

  3. 맥락과 배경 정보 제공:

    • (좋은 예) “다음은 우리 회사의 신제품에 대한 설명입니다. [제품 설명 삽입] 이 내용을 바탕으로 고객 문의에 답변할 FAQ 초안을 5개 작성해주세요.”

  4. 예시 제공 (Few-shot Prompting):

    • (좋은 예) “문장의 긍정/부정을 판단해줘. 예시: ‘영화가 너무 지루했다.’ → 부정. 예시: ‘배우들의 연기가 훌륭했다.’ → 긍정. 이제 다음 문장을 판단해줘: ‘음식이 기대 이하였다.‘”

  5. 단계별 사고 유도 (Chain-of-Thought Prompting):

    • 복잡한 문제에 대해 바로 답을 요구하기보다, 생각의 과정을 단계별로 설명하도록 유도하면 더 정확한 결과를 얻을 수 있다.

    • (좋은 예) “로저는 테니스공을 5개 가지고 있었습니다. 그는 2캔의 테니스공을 더 샀습니다. 각 캔에는 3개의 테니스공이 들어 있습니다. 그는 지금 몇 개의 테니스공을 가지고 있나요? 단계별로 생각해서 답해주세요.”

3.2 LLM의 활용 분야

프롬프트 엔지니어링을 통해 LLM은 거의 모든 지식 기반 산업에서 활용될 수 있다.

  • 콘텐츠 생성: 블로그 글, 광고 카피, 소설, 시나리오 작성

  • 정보 검색 및 요약: 방대한 자료를 빠르게 요약하고 핵심 정보 추출

  • 프로그래밍: 코드 생성, 디버깅, 코드 설명

  • 교육: 개인 맞춤형 학습 자료 제공, 질문에 대한 답변

  • 고객 서비스: 24시간 응대 가능한 챗봇, 상담 내용 요약

  • 창작 및 디자인: 아이디어 브레인스토밍, 디자인 컨셉 제안

  • 전문 분야: 법률 문서 검토, 의료 차트 분석, 금융 보고서 작성

4장: 심화 탐구 - LLM의 미래와 도전 과제

LLM은 눈부신 발전을 이루었지만, 여전히 해결해야 할 과제와 무한한 가능성을 동시에 안고 있다.

4.1 현재의 도전 과제

  1. 환각 (Hallucination): LLM이 사실이 아닌 내용을 그럴듯하게 지어내는 현상. 이는 모델이 진정한 ‘이해’가 아닌, 학습 데이터에 기반한 ‘확률적 그럴듯함’에 따라 단어를 생성하기 때문에 발생한다.

  2. 편향성 (Bias): 학습 데이터에 존재하는 사회적, 문화적 편향(인종, 성별, 특정 집단에 대한 고정관념 등)을 그대로 학습하고 증폭시킬 수 있다.

  3. 최신성 부족 (Knowledge Cutoff): 특정 시점까지의 데이터로 훈련되므로, 그 이후에 발생한 사건이나 정보에 대해서는 알지 못한다. (최근에는 실시간 검색을 연동하여 이 문제를 일부 해결하려는 시도가 있다.)

  4. 높은 비용: LLM을 훈련하고 운영하는 데에는 막대한 양의 컴퓨팅 자원과 전력이 소모된다. 이는 ‘AI 격차’를 심화시킬 수 있다.

  5. 보안 및 악용 문제: 가짜 뉴스 생성, 피싱 이메일 작성, 악성 코드 개발 등 사회를 위협하는 데 악용될 수 있다.

4.2 미래의 발전 방향

  1. 멀티모달리티 (Multimodality): 텍스트뿐만 아니라 이미지, 소리, 영상 등 다양한 형태의 데이터를 동시에 이해하고 생성하는 멀티모달 LLM으로 진화하고 있다. (예: OpenAI의 GPT-4o, Google의 Gemini) 사용자가 이미지를 보여주며 “이 사진에 어울리는 시를 써줘”라고 요청하는 것이 가능해진다.

  2. 에이전트 (AI Agents): LLM이 단순히 답변만 하는 것을 넘어, 스스로 목표를 설정하고, 계획을 세우며, 인터넷 검색이나 다른 앱 사용과 같은 외부 도구를 활용하여 실제 작업을 수행하는 **‘AI 에이전트’**로 발전할 것이다. “내일 오전 10시에 뉴욕에 있는 동료와 30분간 화상 회의를 잡아줘”라고 말하면, LLM이 두 사람의 일정을 확인하고, 화상 회의 링크를 생성하여 캘린더에 등록하는 식이다.

  3. 모델 경량화 및 효율화: 더 적은 자원으로도 높은 성능을 내는 소형 언어 모델(sLM, Small Language Model)에 대한 연구가 활발히 진행 중이다. 이는 스마트폰과 같은 개인 기기에서도 강력한 AI를 구동할 수 있는 ‘온디바이스 AI(On-device AI)’ 시대를 열 것이다.

  4. 신뢰성 및 안전성 강화: 환각 현상을 줄이고, 편향을 제거하며, 모델의 답변에 대한 근거를 명확히 제시하는 기술(RAG, Retrieval-Augmented Generation 등)이 더욱 중요해질 것이다.

마치며: 새로운 시대의 동반자, LLM

LLM은 인류가 불을 발견하고, 문자를 발명했으며, 인터넷을 창조한 것에 비견될 만한 거대한 변곡점이다. 이는 단순히 더 편리한 도구의 등장을 의미하지 않는다. 인간의 지적 능력을 증강시키고, 창의성의 한계를 넓히며, 우리가 일하고 소통하는 방식 자체를 근본적으로 바꾸는 ‘지능의 혁명’이다.

물론 해결해야 할 과제도 많다. 기술의 발전 속도를 사회적 합의와 윤리적 규범이 따라가지 못하는 상황도 발생할 수 있다. 하지만 분명한 것은, 우리는 이미 LLM과 함께하는 새로운 시대로 들어섰다는 사실이다.

이 핸드북이 LLM이라는 미지의 대륙을 항해하는 당신에게 든든한 나침반이 되기를 바란다. LLM의 잠재력을 이해하고, 올바르게 활용하며, 다가올 미래를 주도적으로 만들어가는 것은 이제 우리 모두의 몫이다.

레퍼런스(References)

LLM 프롬프트 엔지니어링]

그래프 뷰

백링크