AI 주식 투자 실험 완벽 분석: 5개 LLM에 1.4억씩 맡긴 8개월의 결과

같은 돈을 5개의 AI에게 똑같이 맡기면 누가 가장 잘 굴릴까요? 8개월간 진짜로 돌려본 AI 주식 투자 실험의 순위와 그 안에 숨은 모델별 성향 차이를 현업 관점으로 풀어봤습니다.

AI 주식 투자 실험, 똑같은 1.4억을 5개 LLM에게 맡기면 누가 이길까요?

주식 차트를 켜놓고 매수 버튼 위에서 손가락만 떨어본 경험, 한 번쯤 있으실 거예요. 그 자리에 사람 대신 GPT-5 같은 LLM을 앉혀 두면 어떻게 될까 — 막연히 상상만 하던 그 장면을 실제 데이터로 8개월간 돌려본 곳이 있더라고요. ‘AI Trade Arena’라는 프로젝트입니다.

최근 IT 커뮤니티에서 이 실험이 꽤 화제였는데요. GPT-5, Claude, Gemini, Grok, DeepSeek 다섯 모델에게 각각 10만 달러(약 1.4억원)의 모의 자금을 똑같이 쥐여주고, 같은 시장에서 자유롭게 거래시킨 뒤 성적표를 비교한 거예요. 결과만 보면 단순한 순위 싸움 같지만, 그 안을 들여다보면 ‘모델마다 투자 성향이 이렇게까지 다르구나’ 하는 지점이 더 흥미롭습니다. 그 부분을 같이 뜯어볼게요. 📊

⚡ 이 글의 핵심만 먼저 보기 (Key Takeaways)

실험 규모: GPT-5·Claude·Gemini·Grok·DeepSeek 5개 모델에 각 10만 달러(약 1.4억원), 2025년 2월 3일~10월 20일 약 8개월 모의 거래
최종 순위: 1위 Grok(최고 수익률), 2위 DeepSeek(근소한 차이), 최하위 Gemini
승부를 가른 요인: 대부분 모델이 기술주 중심 포트폴리오를 짰고, 강세장에서 그게 유리했어요. Gemini만 비기술주 비중이 높아 뒤처졌습니다
방법론의 핵심: ‘시간 필터 API’로 각 시점에 실제로 존재했던 정보만 모델에 제공해 미래 데이터 누출(look-ahead bias)을 차단
가장 중요한 주의점: 단 1회·강세장 한정 시뮬레이션이라 통계적 의미가 약하고, 실전 수익이나 미래 성과를 전혀 보장하지 않습니다
당장 해볼 것: ‘어떤 AI를 쓰느냐’보다 ‘AI에게 어떤 판단 기준을 주느냐’가 결과를 가른다는 점을 본인 업무에 적용해 보기

1. 실험은 어떻게 설계됐나 — 5개 모델, 1.4억, 8개월

먼저 판이 어떻게 깔렸는지부터 볼게요. AI Trade Arena는 LLM의 금융 분석 능력을 비교하려고 만든 모의 거래 플랫폼이에요. 핵심은 ‘조건을 똑같이 맞춘 채로 모델만 바꿔서’ 성적을 본다는 데 있습니다.

① Setup — 동일 조건, 다른 두뇌

참가 모델은 GPT-5, Claude Sonnet 4.5, Gemini 2.5 Pro, Grok 4, DeepSeek 다섯 종류예요. 각 모델에 10만 달러(약 1.4억원)의 모의 자금을 똑같이 주고, 2025년 2월 3일부터 10월 20일까지 약 8개월간 실제 시장 데이터를 기반으로 매일 거래 판단을 내리게 했습니다. 사람이 종목을 골라주는 게 아니라, 모델 스스로 사고 팔 종목과 비중을 정하는 구조예요.

💡 실제 활용 시나리오 예시:
사내에서 ‘AI 리서치 어시스턴트’를 도입할 때, 모델 후보 3~4개를 같은 데이터·같은 질문으로 한 달간 병렬 평가해 본다고 가정해 보세요. AI Trade Arena와 똑같은 발상이에요. 벤더 데모만 보고 고르는 것과, 동일 조건 벤치마크를 직접 돌려보고 고르는 것의 신뢰도 차이는 큽니다.

② Transparency — 매일의 판단 근거를 기록

이 실험에서 인상적이었던 건 ‘왜 그렇게 거래했는지’를 매일 함께 기록했다는 점이에요. 단순히 수익률 숫자만 남기는 게 아니라, 모델이 어떤 논리로 그 종목을 택했는지 추론 과정을 투명하게 남겼습니다. 결과보다 과정을 봐야 모델의 성향을 읽을 수 있거든요.

💡 실제 활용 시나리오 예시:
AI에게 의사결정을 맡기는 어떤 업무든 ‘결과 로그’만 보면 나중에 디버깅이 안 돼요. 추론 근거를 함께 남겨두면, 모델이 헛다리를 짚었을 때 어느 단계에서 어긋났는지 바로 추적할 수 있습니다. 이건 트레이딩만이 아니라 모든 LLM 자동화에 그대로 적용되는 교훈이에요.

2. 성과 순위 — Grok 1위, DeepSeek 2위, Gemini 최하위

가장 궁금한 결과부터 정리할게요. 8개월간의 모의 거래 끝에 나온 순위는 아래와 같았습니다.

모델	성과 순위	포트폴리오 성향
Grok 4	1위 (최고 수익률)	기술주 중심, 공격적
DeepSeek	2위 (근소한 차이)	기술주 중심
GPT-5	중위권	기술주 중심
Claude Sonnet 4.5	중위권	기술주 중심, 상대적으로 보수적
Gemini 2.5 Pro	최하위	비기술주 비중 높음

1) Winner — Grok과 DeepSeek의 근소한 1·2위

1위는 Grok이었고, DeepSeek이 아주 근소한 차이로 뒤를 이었어요. 둘 다 기술주에 적극적으로 베팅한 모델이라는 공통점이 있습니다. 해당 기간이 기술주에 우호적인 국면이었던 점을 생각하면, ‘시장의 결을 잘 탔다’고 해석하는 게 정확해요. 모델이 천재라서 이긴 게 아니라, 이 기간엔 그 전략이 맞아떨어진 겁니다.

💡 실제 활용 시나리오 예시:
같은 시기 코스피·나스닥에 인덱스로 묻어둔 투자자도 비슷한 수익을 냈을 가능성이 큽니다. 그래서 ‘1위 모델 = 최고의 투자 AI’로 받아들이면 위험해요. 비교의 기준선(벤치마크 대비 초과수익)을 함께 봐야 진짜 실력이 보입니다.

2) Loser — Gemini는 왜 뒤처졌나

최하위는 Gemini였어요. 흥미로운 건 Gemini가 ‘잘못 계산해서’ 진 게 아니라, 다른 모델들과 전략 자체가 달랐기 때문이라는 점입니다. 혼자 비기술주 비중을 높게 가져갔고, 마침 그 기간엔 그 선택이 불리했어요. 만약 시장 국면이 반대였다면 Gemini가 1위였을 수도 있다는 뜻이기도 합니다.

💡 실제 활용 시나리오 예시:
모델 평가를 단 한 번의 시장 국면으로 끝내면, ‘운 좋게 결이 맞은 모델’을 ‘실력 있는 모델’로 오해하게 됩니다. 실무에서 AI 도구를 도입할 때도 한 가지 시나리오가 아니라 강세·약세·횡보 등 여러 상황을 교차 검증해야 진짜 강점을 가릴 수 있어요.

3. 승부를 가른 진짜 변수 — 포트폴리오 성향의 차이

저는 이 실험에서 수익률 순위보다 이 부분이 훨씬 중요하다고 봐요. 같은 데이터를 받았는데도 모델마다 ‘믿는 구석’이 달랐다는 사실이거든요.

① 기술주 쏠림 — 다수 모델의 공통 편향

GPT-5, Grok, DeepSeek, Claude까지 대부분이 기술주 중심 포트폴리오를 짰어요. LLM이 학습한 텍스트 자체가 ‘AI·반도체·빅테크 성장’이라는 서사로 가득하다는 점을 생각하면, 어찌 보면 자연스러운 결과예요. 모델의 판단이 ‘데이터에 새겨진 시대적 분위기’에서 자유롭지 않다는 신호이기도 합니다.

💡 실제 활용 시나리오 예시:
리서치 보고서 초안을 LLM에 맡겼더니 늘 비슷한 결론으로 수렴한 경험, 있으실 거예요. 모델이 대중적·주류적 견해로 기우는 편향이 있기 때문이에요. 그래서 AI 결과물은 ‘반대 시나리오도 써줘’라고 일부러 반대편을 캐물어야 균형이 잡힙니다.

② Gemini의 이탈 — 다양성인가, 실수인가

Gemini만 비기술주 비중이 높았습니다. 결과적으론 이 기간에 손해였지만, 저는 이걸 단순한 ‘오답’으로 보긴 어렵다고 생각해요. 오히려 모델별로 위험을 보는 관점이 다르다는 증거에 가깝거든요. 5개 모델을 한 바구니가 아니라 ‘서로 다른 시각의 포트폴리오 매니저’로 보면 이 차이가 흥미로워집니다.

💡 실제 활용 시나리오 예시:
여러 LLM을 동시에 굴리는 ‘멀티 모델 앙상블’을 쓰면, 한 모델이 놓친 관점을 다른 모델이 채워줍니다. 코드 리뷰나 의사결정에서 모델 2~3개에게 같은 질문을 던지고 의견이 갈리는 지점을 사람이 검토하는 방식이 실무에서 점점 표준이 되고 있어요.

4. 미래 데이터 누출을 막은 ‘시간 필터 API’

이 실험을 그냥 ‘재미있는 AI 대결’로 넘기지 않게 만든 건 방법론이었어요. 백테스트에서 가장 흔하고 치명적인 함정인 look-ahead bias(미래 정보 누출)를 차단했거든요.

1) Time-filtered API — 그 시점에 존재한 정보만

핵심은 각 거래 결정 시점에 ‘실제로 그날 알 수 있었던 정보’만 모델에 제공한 거예요. 미래의 주가나 뉴스가 슬쩍 새어 들어가면 성적은 비현실적으로 좋아지는데, 그걸 막은 거죠. 이게 없으면 어떤 백테스트도 ‘결과를 알고 푸는 시험’이 되어버립니다.

💡 실제 활용 시나리오 예시:
데이터 분석가가 모델 검증용 데이터셋을 만들 때 미래 시점 변수가 학습 피처에 섞이면, 운영 환경에서 정확도가 폭락합니다. AI Trade Arena의 시간 필터는 이 ‘data leakage’를 어떻게 통제하는지 보여주는 좋은 사례예요.

[거래 결정 흐름 — 단순화]

  t시점 → 시간 필터 API
         (t 이전 데이터만 통과)
            │
            ▼
     LLM 추론 + 매매 판단
            │
            ▼
     주문 실행 + 근거 로그 기록
            │
            ▼
     t+1시점 성과 반영 → 반복

5. 이 실험에서 배울 수 있는 3가지

숫자 너머에서 건질 수 있는 인사이트를 정리해 볼게요. 투자 조언이 아니라, AI를 다루는 사람으로서의 교훈입니다.

① 모델 선택은 ‘성향 선택’이다

같은 자금, 같은 시장이었는데 결과가 갈렸어요. 즉 어떤 모델을 쓰느냐가 곧 어떤 판단 성향을 채택하느냐와 같다는 뜻이에요. 업무에 AI를 붙일 때 ‘제일 똑똑한 모델’을 찾기보다, ‘내 과제의 성격에 맞는 성향의 모델’을 고르는 관점이 더 현실적입니다.

② AI에게도 편향이 있다

다수 모델의 기술주 쏠림은 명백한 편향 신호예요. AI는 중립적인 계산기가 아니라, 학습 데이터의 분위기를 안고 있는 판단자입니다. 결과물을 그대로 믿기보다, 모델이 어느 쪽으로 기우는지를 미리 알고 보정하는 게 사용자의 몫이에요.

③ 과정 로그가 결과보다 값지다

매일의 추론을 기록했기에 ‘왜 Gemini가 달랐나’를 해석할 수 있었어요. AI 자동화를 운영한다면 결과 못지않게 판단 근거를 남기는 설계가 중요합니다. 이건 AI 주식 투자 실험만이 아니라 모든 LLM 워크플로에 통하는 원칙이에요. 비슷한 결의 자동화 사례가 궁금하다면 AI 주식 분석 자동화 — GPT 멀티에이전트 ‘프리즘 인사이트’ 분석 글도 함께 보시면 좋아요.

💡 실제 활용 시나리오 예시:
마케팅팀이 AI로 카피 A/B안을 자동 생성·선택하게 만들 때도, ‘어떤 근거로 이 안을 골랐는지’를 함께 로깅하면 나중에 성과가 안 나온 캠페인을 복기하기가 훨씬 쉬워집니다.

6. 반드시 짚어야 할 한계와 면책

여기까지 읽고 ‘Grok에 돈 넣어야겠다’ 같은 결론으로 가면 곤란해요. 이 실험은 명확한 한계가 있고, 그걸 빼놓고 말하면 위험합니다.

1) 단 1회·강세장 한정의 결과

이건 통계가 아니라 한 번의 시뮬레이션이에요. 게다가 기술주에 우호적인 강세장 국면이었고요. 표본이 1이면 운과 실력을 구분할 수 없습니다. 같은 실험을 약세장에서 100번 돌리면 순위는 얼마든지 뒤집힐 수 있어요.

2) 모의 자금 — 실전 비용·심리 부재

모의 거래라 슬리피지, 거래 수수료, 유동성 제약, 그리고 진짜 돈이 걸렸을 때의 인간 심리가 모두 빠져 있어요. 실제 시장에선 이 변수들이 수익률을 크게 깎아냅니다. 시뮬레이션 성과가 실전 성과로 그대로 이어지지 않는 핵심 이유예요.

3) 환각·과적합 리스크

LLM은 그럴듯하지만 틀린 판단(환각)을 내릴 수 있고, 특정 기간 데이터에 과적합될 위험도 있어요. 8개월이라는 검증 기간도 금융에서는 결코 길지 않습니다.

💡 면책 안내:
이 글은 ‘AI Trade Arena’의 모의 실험 결과를 소개·분석하는 정보 제공 콘텐츠이며, 투자 권유나 특정 모델·종목 추천이 아닙니다. 모든 결과는 모의 자금 기반 시뮬레이션이고 특정 기간·특정 시장 국면의 산물로, 실전 수익이나 미래 성과를 보장하지 않습니다. 투자 판단과 책임은 전적으로 본인에게 있습니다.

여러 LLM을 같은 과제에 써보고 어떤 모델이 내 업무에 맞는지 고민 중인 실무자
AI 에이전트에 의사결정을 맡기는 자동화를 설계하는 개발자·기획자
백테스트의 look-ahead bias나 data leakage를 어떻게 통제하는지 궁금한 데이터 직군
LLM의 판단 편향과 그 보정 방법에 관심 있는 AI 사용자
‘AI가 투자하면 정말 잘할까?’라는 질문에 균형 잡힌 시각이 필요한 분
핀테크·퀀트 분야에서 AI 활용 사례를 리서치하는 분

8. 자주 묻는 질문 (FAQ)

Q. 그럼 Grok에게 실제로 투자를 맡기면 되나요?

A. 아니요, 그렇게 받아들이시면 안 돼요. Grok의 1위는 단 한 번, 그것도 기술주 강세장이라는 특정 국면에서 나온 결과예요. 표본이 하나뿐이라 운과 실력을 구분할 수 없고, 모의 자금이라 실전 비용·심리도 빠져 있습니다. 이 실험은 ‘모델마다 성향이 다르다’는 비교 인사이트로 보는 게 맞고, 실전 투자 근거로 쓰기엔 한계가 분명합니다.

Q. Gemini는 성능이 나쁜 모델이라는 뜻인가요?

A. 그렇게 단정할 수 없어요. Gemini는 계산을 틀린 게 아니라, 혼자 비기술주 비중을 높이는 다른 전략을 택했고 마침 그 기간엔 불리했을 뿐이에요. 시장 국면이 반대였다면 순위가 뒤집혔을 수 있습니다. 모델의 ‘성향 차이’를 ‘성능 우열’로 오해하지 않는 게 중요해요.

Q. 이런 실험을 제 업무에도 응용할 수 있나요?

A. 충분히 가능해요. 핵심은 ‘동일 조건 비교’와 ‘판단 근거 로깅’ 두 가지예요. 도입하려는 LLM 후보들에게 같은 데이터·같은 과제를 주고, 결과뿐 아니라 추론 과정까지 기록해 한동안 병렬로 돌려보세요. 벤더 데모만 보고 고르는 것보다 훨씬 신뢰도 높은 모델 선택이 가능합니다.

✍️ 글을 마치며

AI 주식 투자 실험의 진짜 메시지는 ‘어떤 AI가 돈을 제일 잘 번다’가 아니라, ‘같은 조건에서도 모델마다 판단 성향이 이만큼 갈린다’는 데 있다고 생각해요. Grok의 1위보다 Gemini의 이탈이 더 많은 걸 알려주는 실험이었어요.

저는 이걸 보고, 제가 쓰는 LLM 도구들에게 똑같은 질문을 던져 답이 갈리는 지점부터 점검해 볼 것 같아요. 모델의 편향을 미리 알아야 결과를 제대로 보정할 수 있으니까요.

여러분은 어떤 부분이 가장 인상적이셨나요? 댓글로 자유롭게 의견 남겨주세요! 😊