2025-09-11 13:01

• 기대효용이론은 불확실한 상황에서 사람이 어떻게 ‘합리적으로’ 선택해야 하는지에 대한 규범적 모델이다.

• 단순히 결과의 기댓값이 아닌, 각 결과가 주는 ‘효용(만족감)‘의 기댓값을 극대화하는 선택을 합리적인 것으로 간주한다.

• 위험에 대한 개인의 태도(위험 회피, 중립, 선호)를 수학적으로 설명하며, 경제학, 금융, 심리학 등 다양한 분야의 의사결정 분석에 활용된다.

불확실한 세상의 나침반 기대효용이론 A to Z

우리의 삶은 선택의 연속이다. “점심으로 무엇을 먹을까?” 같은 사소한 고민부터 “어떤 주식에 투자할까?” 혹은 “이직을 할까, 말까?”와 같은 인생의 중요한 결정까지. 특히 미래를 알 수 없는 불확실한 상황에서의 선택은 우리를 더욱 고뇌에 빠뜨린다. 이때, 혼란스러운 머릿속을 정리하고 가장 합리적인 선택을 할 수 있도록 도와주는 강력한 나침반이 있다. 바로 **기대효용이론(Expected Utility Theory)**이다.

이 핸드북은 경제학의 근간을 이루는 이 중요한 이론이 왜 탄생했는지, 어떤 구조로 이루어져 있으며 어떻게 활용될 수 있는지, 그리고 어떤 한계를 가지고 있는지 A부터 Z까지 상세하게 파헤쳐 본다.

1. 만들어진 이유: 상트페테르부르크의 역설

기대효용이론의 탄생 배경을 이해하려면, 먼저 그 이전의 의사결정 기준이었던 기댓값(Expected Value) 의 한계를 알아야 한다. 기댓값은 각 사건이 일어날 확률과 그 사건의 결과값을 곱한 것의 총합으로, 가장 단순하고 직관적인 의사결정 기준이다.

하지만 18세기 수학자 다니엘 베르누이는 이 기댓값 이론이 현실의 인간 행동을 설명하지 못하는 치명적인 사례를 제시한다. 이것이 바로 **상트페테르부르크의 역설(St. Petersburg Paradox)**이다.

상트페테르부르크 게임

1. 참가비를 내고 게임에 참여한다.

2. 주최자가 동전을 던진다.

3. 앞면이 나올 때까지 계속 던지며, 첫 앞면이 나오는 순간 게임이 끝난다.

4. 만약 n번째에 앞면이 나오면, 참가자는 2^(n-1) 달러의 상금을 받는다.

질문: 이 게임에 참여하기 위해 당신은 얼마까지 낼 의향이 있는가?

이 게임의 기댓값을 계산해 보자.

• 1번째에 앞면이 나올 확률 (1/2), 상금 1달러 → 기댓값 (1/2) * 1 = 0.5달러

• 2번째에 앞면이 나올 확률 (1/4), 상금 2달러 → 기댓값 (1/4) * 2 = 0.5달러

• 3번째에 앞면이 나올 확률 (1/8), 상금 4달러 → 기댓값 (1/8) * 4 = 0.5달러

• …

• n번째에 앞면이 나올 확률 (1/2^n), 상금 2^(n-1)달러 → 기댓값 (1/2^n) * 2^(n-1) = 0.5달러

모든 경우의 기댓값이 0.5달러이고, 경우는 무한히 많으므로 이 게임의 총기댓값은 **무한대(∞)**가 된다. 기댓값 이론에 따르면, 우리는 이 게임에 참여하기 위해 얼마든지 큰 금액을 지불해야 한다. 하지만 실제로 사람들에게 물어보면 대부분 20달러 이상을 내려고 하지 않는다.

베르누이는 이 역설을 해결하기 위해 혁신적인 아이디어를 제시한다. 사람들은 돈의 절대적인 액수(가치)가 아니라, 그 돈이 가져다주는 주관적인 **‘만족감’ 즉, 효용(Utility)**을 기준으로 판단한다는 것이다. 그리고 돈이 많아질수록 추가적인 돈 1달러가 주는 효용은 점점 줄어든다(한계효용 체감의 법칙). 찢어지게 가난한 사람에게 100만 원은 인생을 바꿀 만족감을 주지만, 억만장자에게 100만 원은 큰 감흥을 주지 못하는 것과 같다.

이 개념을 도입하면, 상금이 아무리 커져도 그로부터 얻는 효용의 증가분은 점점 작아지므로, 게임의 ‘기대효용’은 무한대가 아닌 유한한 값을 가지게 된다. 사람들은 바로 이 ‘기대효용’을 극대화하는 선택을 하며, 이것이 바로 기대효용이론의 시작이다.

2. 기대효용이론의 핵심 구조

기대효용이론은 몇 가지 핵심적인 개념으로 구성된다.

효용 함수 (Utility Function)

효용 함수는 재산(x)의 양에 따라 개인이 느끼는 만족감(효용, u)의 수준을 보여주는 함수, 즉 u(x)로 표현된다. 이 함수는 사람마다 다르며, 특히 그 형태에 따라 위험에 대한 개인의 태도를 파악할 수 있다.

위험에 대한 태도 (Attitudes Toward Risk)

효용 함수의 모양은 그 사람이 위험을 어떻게 생각하는지를 말해준다.

종류	효용 함수 형태	한계효용	특징
위험 회피형 (Risk Averse)	오목한(Concave) 함수	체감	확실한 결과를 불확실한 결과보다 선호. 대부분의 사람이 여기에 해당하며, 보험에 가입하는 행동이 대표적인 예시다.
위험 중립형 (Risk Neutral)	선형(Linear) 함수	일정	기댓값과 기대효용이 동일. 오직 기댓값의 크기만으로 판단한다.
위험 선호형 (Risk Seeking)	볼록한(Convex) 함수	체증	불확실한 결과를 확실한 결과보다 선호. 더 큰 보상을 위해 기꺼이 위험을 감수하며, 도박을 즐기는 행동이 예시다.

기대효용 (Expected Utility)

기대효용은 각 결과가 발생할 확률(p)과 그 결과로부터 얻는 효용(u(x))을 곱한 값의 총합이다. EU = Σ [ p_i * u(x_i) ]

기대효용이론의 핵심은, 합리적인 인간은 여러 대안 중 자신의 기대효용을 가장 극대화하는 대안을 선택한다는 것이다.

3. 기대효용이론을 떠받치는 4개의 기둥 (공리)

수학자 존 폰 노이만과 경제학자 오스카르 모르겐슈테른은 기대효용이론이 합리적인 의사결정 모델로 성립하기 위해, 인간의 선호 체계가 반드시 만족해야 할 4가지 공리(Axiom)를 제시했다.

1. 완비성 (Completeness): 어떤 두 가지 선택지 A와 B가 있을 때, 개인은 A를 B보다 선호하거나(A>B), B를 A보다 선호하거나(B>A), 둘을 똑같이 선호(A~B)해야 한다. “모르겠다”나 “판단 불가”는 없다는 가정이다.

2. 이행성 (Transitivity): A를 B보다 선호하고, B를 C보다 선호한다면, 반드시 A를 C보다 선호해야 한다. (A > B 이고 B > C 이면, 반드시 A > C). 선호에 일관성이 있다는 뜻이다.

3. 연속성 (Continuity): A > B > C를 만족하는 세 선택지가 있을 때, A와 C를 조합한 적절한 확률의 복권(Lottery)을 만들면 B와 동일한 만족감을 줄 수 있다. 즉, 아무리 좋은 것이나 나쁜 것도 확률 조정을 통해 중간값과 같게 만들 수 있다는 의미다.

4. 독립성 (Independence): A를 B보다 선호한다면, 전혀 상관없는 제3의 선택지 C를 동일한 확률로 섞은 복권 역시 선호도가 변하지 않아야 한다. 즉, [p의 확률로 A, (1-p)의 확률로 C]는 [p의 확률로 B, (1-p)의 확률로 C]보다 항상 선호되어야 한다.

이 4가지 공리를 만족하는 사람이라면, 반드시 기대효용을 극대화하는 방향으로 행동한다는 것이 이론의 골자다.

4. 그래서 어떻게 사용하는가? (간단한 예시)

당신에게 1,000만 원의 여윳돈이 있고, 두 가지 투자 대안이 있다고 가정해 보자. 당신은 위험 회피형 투자자이며, 당신의 효용 함수는 u(x) = sqrt(x) (루트x)라고 하자.

• 대안 A (예금): 100% 확률로 100만 원의 수익을 얻는다. (최종 자산: 1,100만 원)

• 대안 B (주식): 50% 확률로 400만 원의 수익을, 50% 확률로 0원의 수익을 얻는다. (최종 자산: 1,400만 원 또는 1,000만 원)

먼저 각 대안의 기댓값을 계산해 보자.

• EV(A) = 1 * 100만 원 = 100만 원

• EV(B) = (0.5 * 400만 원) + (0.5 * 0원) = 200만 원

기댓값만 보면 대안 B가 훨씬 유리하다. 하지만 당신은 기대효용을 따르는 합리적 투자자다. 기대효용을 계산해 보자.

• EU(A): u(1,100만) = sqrt(11,000,000) ≈ 3,317

• EU(B): 0.5 * u(1,400만) + 0.5 * u(1,000만) = 0.5 * sqrt(14,000,000) + 0.5 * sqrt(10,000,000) ≈ 0.5 * 3,742 + 0.5 * 3,162 = 1,871 + 1,581 = 3,452

계산 결과, 대안 B의 기대효용(3,452)이 대안 A의 기대효용(3,317)보다 더 높다. 따라서 이 투자자는 기대효용이론에 따라 **대안 B (주식 투자)**를 선택하는 것이 합리적이다. (※ 효용 함수의 형태에 따라 결과는 달라질 수 있다.)

5. 완벽하지 않은 이론 - 심화 및 비판

기대효용이론은 경제학의 발전에 지대한 공헌을 했지만, ‘인간은 어떻게 행동해야 하는가’를 다루는 **규범적 이론(Normative theory)**이라는 명백한 한계를 가진다. 실제 인간의 행동을 설명하는 **기술적 이론(Descriptive theory)**으로서는 부족한 점이 많다는 비판에 직면했다.

알레의 역설 (Allais Paradox)

1953년 프랑스 경제학자 모리스 알레가 제시한 이 역설은 기대효용이론의 ‘독립성 공리’가 현실에서 어떻게 위배되는지를 보여준다.

상황 1 A: 100% 확률로 10억 원 받기 B: 89% 확률로 10억 원, 10% 확률로 50억 원, 1% 확률로 0원 받기

상황 2 C: 11% 확률로 10억 원, 89% 확률로 0원 받기 D: 10% 확률로 50억 원, 90% 확률로 0원 받기

대부분의 사람들은 상황 1에서 A를, 상황 2에서 D를 선택한다. 하지만 이는 독립성 공리에 위배되는 비일관적인 선택이다. 기대효용이론에 따르면 1에서 A를 골랐다면 2에서는 C를 골라야 하고, 1에서 B를 골랐다면 2에서는 D를 골라야 한다. 사람들은 ‘확실성’에 매우 높은 가중치를 부여하기 때문에 이런 선택을 하며, 이는 기대효용이론이 예측하지 못하는 부분이다.

전망 이론 (Prospect Theory)

기대효용이론의 한계를 극복하기 위해 대니얼 카너먼과 아모스 트버스키가 제시한 행동경제학의 대표적인 이론이다. 전망 이론은 실제 사람들이 어떻게 결정하는지를 더 잘 설명한다.

• 준거점 의존성 (Reference Point): 사람들은 절대적인 부의 수준이 아닌, 현재 상태(준거점)에서의 ‘이득’과 ‘손실’을 기준으로 판단한다.

• 민감도 체감성: 이득이든 손실이든 그 크기가 커질수록 변화에 둔감해진다. 10만 원을 벌었을 때의 기쁨은 0원에서 10만 원이 될 때가 1억에서 1억 10만 원이 될 때보다 훨씬 크다.

• 손실 회피성 (Loss Aversion): 사람들은 같은 크기의 이득에서 얻는 기쁨보다 손실에서 느끼는 고통을 약 2.5배 더 크게 느낀다.

결론

기대효용이론은 불확실한 상황 속에서 우리가 어떤 선택을 내리는 것이 가장 ‘합리적’인지에 대한 수학적이고 논리적인 틀을 제공한다. 위험에 대한 개인의 태도를 ‘효용 함수’라는 개념으로 명쾌하게 설명하며, 경제학, 금융, 경영학 등 수많은 분야에서 의사결정 분석의 초석이 되었다.

물론 알레의 역설이나 전망 이론에서 보듯, 기대효용이론이 실제 인간의 모든 심리적 편향을 담아내지는 못한다. 하지만 그것이 이 이론의 가치를 깎아내리지는 않는다. 오히려 기대효용이론은 우리가 따라야 할 ‘합리성의 기준점’을 제시함으로써, 현실의 비합리적인 판단들이 왜 일어나는지를 비교하고 분석할 수 있게 해주는 중요한 벤치마크 역할을 한다. 불확실성이라는 망망대해를 항해하는 우리에게 기대효용이론은 여전히 가장 믿음직한 나침반 중 하나다.