"AI가 자기 이익을 넘어 도덕적 헌신을 발전시킬 수 있는가?"
EthicaAI
AI 에이전트의 윤리적 의사결정 프레임워크
"Beyond Homo Economicus: Computational Verification of Amartya Sen's Meta-Ranking Theory in Multi-Agent Social Dilemmas"
Python 3.12
JAX (GPU)
PettingZoo
PPO
DoubleML
LaTeX
Gemini 2.0
독립 연구
// 연구 배경 · 왜 이 연구를?
🔍 문제
현재 강화학습 에이전트는 "합리적 바보(Rational Fool)"입니다.
보상만 극대화하면 사회적 딜레마에서 항상 배신합니다.
아마르티아 센(Amartya Sen)은 이미 1977년에 이 문제를 지적했지만,
MARL(Multi-Agent RL)에 구현한 연구는 없었습니다.
💡 연구 가설
"Sen의 Meta-Ranking 이론 · 에이전트가 자기 보상 함수 자체를 도덕적으로 재평가하면,
중앙 조정 없이도 사회적 최적에 도달할 수 있다."
📐 5대 기여 (Contributions)
| # | 기여 | 내용 |
|---|
| C1 | 동적 메타랭킹 | Sen의 이론을 MARL에 최초 구현: λ_t = f(θ_i, R_t, λ_{t-1}) |
| C2 | 역할 전문화 | "Cooperation Paradox" 해결 · 비유의적 협력률 + 유의미한 복지 향상 |
| C3 | 로컬 vs 글로벌 | 상황적 헌신이 전역 정보 없이 공리주의 최적에 도달 |
| C4 | 스케일 불변성 | 20~1,000 에이전트에서 SII ≈ 1.0, Byzantine 50% 내성 |
| C5 | SOTA 비교 | IA, SI, LOLA 대비 2.5× Byzantine 탄력성 우위 |
// 핵심 수식 · Meta-Ranking 보상함수
R_total = (1 - λ_t) · U_self + λ_t · [U_meta - ψ]
🔄 동적 헌신 메커니즘
λ_t = α · λ_{t-1} + (1-α) · g(θ_i, R_t)
// 아키텍처 · 6-Cell 시뮬레이션
graph LR
ORC["Orchestrator"] --> ENV["EnvCell
PettingZoo 8환경"]
ORC --> AGT["AgentCell
3종 에이전트"]
ORC --> TRN["TrainCell
PPO 학습"]
ORC --> EVL["EvalCell
통계 평가"]
ORC --> CAU["CausalCell
DoubleML 인과분석"]
ORC --> RPT["ReportCell
리포트 생성"]
ENV --> AGT --> TRN --> EVL --> CAU --> RPT
🧬 시뮬레이션 셀 (7개)
| 셀 | 규모 | 역할 |
|---|
| BaseCell | 7.7KB | 모든 셀의 추상 기반 클래스 |
| EnvCell | 4.7KB | PettingZoo AEC 환경 래핑 (8개 딜레마 환경) |
| AgentCell | 3.7KB | 에이전트 관리·행동 결정 (Selfish/Optimal/Bounded) |
| TrainCell | 3.1KB | PPO 기반 강화학습 (Two-Timescale 분리 학습) |
| EvalCell | 3.3KB | 통계 평가 (t-test, p < 0.05) |
| CausalCell | 3.1KB | DoubleML 인과 추론 (λ_t → reward 인과 효과) |
| ReportCell | 7.1KB | 실험 리포트 자동 생성 |
🤖 에이전트 유형 (3종)
| 유형 | SVO | 설명 |
|---|
| Selfish | θ ≈ 0° | 자기 이익만 극대화 · 기존 강화학습의 기본 행동 |
| Optimal | θ ∈ (0°,90°) | Meta-Ranking 탑재, λ_t 동적 조정 · 핵심 연구 대상 |
| Bounded | 노이즈 | 제한적 합리성 · 인간의 불완전한 의사결정 모사 |
🧠 Genesis 진화 엔진 (10모듈)
| 모듈 | 규모 | 역할 |
|---|
| Research Director | 21KB | 총괄 연구 디렉터 · 자율 연구 지시 |
| Tree Search | 10KB | 가설 공간 트리 탐색 |
| Run Evolution | 9KB | 진화 루프 실행기 |
| Reward Shaping | 7KB | 보상 함수 자동 조정 |
| Engineer | 5KB | JAX 시뮬레이션 실행 |
| Theorist | 5KB | Gemini LLM 기반 가설 생성 |
| Mediator | 5KB | 갈등 중재 |
| Critic | 4KB | 결과 비판적 평가 |
| Coordinator | 4KB | 정체 감지 → 개입 |
| Sanctioning | 3KB | 처벌 메커니즘 |
// 실험 결과 · SOTA vs Meta-Ranking
🏟️ 실험 환경 (8개)
| 환경 | 딜레마 유형 | 에이전트 수 |
|---|
| Grid World (Cleanup) | 공유 자원의 비극 | 20-100 |
| Iterated PD | 양자 협력 | 20 |
| N-Player PGG | 공공재 | 20-50 |
| Climate Negotiation | 다자간 협상 | 10-20 |
| Vaccine Allocation | 분배 정의 | 50 |
| AI Governance | 투표 | 50 |
| Continuous PGG | 비선형 생산 | 50 |
| Network PGG | 토폴로지 효과 | 50 |
📊 SOTA 비교
| 알고리즘 | Coop | Welfare | Byz-50% | 분산화 |
|---|
| Vanilla PPO | 0.008 | 1004.6 | 0.004 | ✓ |
| Inequity Aversion | 0.414 | 1248.2 | 0.025 | ✓ |
| Social Influence | 0.927 | 1556.4 | 0.145 | ✓ |
| LOLA | 0.871 | 1522.4 | 0.093 | ✗ |
| Meta-Ranking (Ours) | 0.859 | 1515.5 | 0.369 | ✓ |
→ Byzantine 50% 상황에서 차선(Social Influence) 대비 2.5× 탄력성 우위. 분산화 조건에서 유일하게 높은 강건성.
// 기획 인사이트 · 연구하면서 배운 것
💡 "협력률보다 강건성이 진짜 경쟁력"
Social Influence(0.927)가 우리(0.859)보다 협력률이 높습니다. 하지만
악의적 에이전트 50%가 투입되면 SI는 0.145로 붕괴, 우리는 0.369 유지.
실전에서는 "좋은 환경에서 얼마나 잘하나"보다 "나쁜 환경에서도 버티나"가 더 중요합니다.
💡 "위기 때 이기적으로 변하는 게 합리적"
동적 헌신 메커니즘에서 자원이 부족하면 λ가 자동으로 낮아져 생존 모드로 전환됩니다.
처음에는 설계 결함이라 생각했지만, 이것이 실제 인간 행동(Fehr & Gächter 데이터)과 일치.
Wasserstein distance < 0.15로 인간 행동을 재현했습니다.
💡 "Genesis 진화 엔진이 연구 속도를 10× 올렸다"
Theorist(LLM)가 가설→Engineer가 실행→Critic이 평가하는 자율 연구 루프로,
수동 실험 설계 대비 가설 탐색 속도가 10배 이상 빨라졌습니다.
AI가 AI 연구를 가속하는 구조입니다.
// 성과 및 현황
📄 학술 현황
오픈사이언스 공개. arXiv 프리프린트 + Zenodo 데이터셋 공개 완료.
RTX 4070 SUPER (WSL2 GPU)에서 JAX 가속 실험 완료.
메인 연구 자료 8페이지 + 부록(증명, 추가 실험) + 참고문헌 11KB.
📊 기획자 관점의 핵심
• AI 윤리를 "원칙 서약" 수준이 아닌 수학적 프레임워크로 구현
• 6-Cell 시뮬레이션 파이프라인으로 재현 가능한 연구 자동화 달성
• Genesis 자율 연구 엔진으로 가설 탐색→실험→평가 사이클 자동화