성아연

성아연 가입하기
  • Notice
  • IT Information
  • AI’s T Web Magazine

성아연 IT 자료 모음집

[AI Workshop - W8] AI검증 프롬프팅 - 헛소리 잡아내기

페이지 정보

작성자 : 성아연 

본문

재무 실무자가 AI를 쓰면서 한 번 더 확인하는 방법, 그리고 어디서나 쓸 수 있는 되물음 4가지

 

안녕하세요. 저는 재무 쪽에서 일하고 있고, 회계·세무·경영보고가 본업입니다.

회계·세무 일을 하면서 기준서나 법령, 예규를 AI로 자주 확인합니다. 그런데 물어볼 때마다 답이 다르고, AI마다 하는 말도 다릅니다. 조문 번호까지 그럴듯하게 붙여주는데 원문을 찾아보면 틀린 경우도 있었습니다. 결국 제가 원문을 확인해서 AI한테 다시 알려주게 되는데, 가끔은 AI한테 일을 시키는 건지 AI 과외를 하는 건지 헷갈립니다.

기업분석도 비슷했습니다. 사업보고서 PDF를 넣고 "주석 포함해서 전체적으로 분석해줘"라고 하면 요즘 AI는 꽤 잘 정리된 리포트를 내놓습니다. 그걸 보다가 직업병처럼 이런 생각이 들었습니다.

"이거 맞는지 누가 확인했지?"

그래서 직접 실험해 봤습니다. 결론부터 말씀드리면, AI는 확신에 찬 말투로 그럴듯한 헛소리를 했습니다. 그리고 그 헛소리는 제가 찾아냈다기보다, 몇 번 되물으니 AI가 스스로 털어놨습니다. 그때 쓴 되물음은 재무 지식이 없어도 누구나 쓸 수 있는 패턴이었습니다.

지난주 W7에서 AI가 왜 친절할수록 틀리는지를 봤다면, 이번 주는 그런 헛소리를 어떻게 잡아내는지에 대한 이야기입니다.

거창한 기법은 아닙니다. AI를 쓰다가 답이 미심쩍을 때 제가 개인적으로 한 번 더 물어보는 방법을 정리한 정도입니다. 가볍게 읽어주세요.

 

실험: 대한항공 1분기 보고서 244페이지를 AI에게 넣어봤습니다

평소 우리가 하는 방식 그대로 했습니다. DART에서 분기보고서 PDF를 받아 통째로 넣고, 흔히 쓰는 프롬프트를 줬습니다.

"주석까지 포함해서 재무 상태, 수익성, 리스크를 전체적으로 분석해줘."

AI의 1차 분석은 훌륭해 보였습니다. 요약하면 이렇습니다.

항목AI의 1차 분석
실적매출 6.66조원(+2.6%), 영업이익 5,174억원(+20%), 그런데 순이익은 337억원(-90%)
원인"순이익 급감의 원인은 명확합니다. 환율입니다." 외화환산손실 8,651억원 발생 (항공사는 달러 빚이 많아서)
보충파생상품평가이익 3,511억원으로 어느 정도 헤지됨
결론"본업은 개선 중, 순이익은 환율에 좌우되는 구조"

주석 번호까지 붙은 분석이라, 여기서 멈췄다면 저도 "환율 때문이구나" 하고 넘어갔을 겁니다.

이제부터 되물어 봤습니다. 미리 말씀드리면 저도 답을 알고 물어본 건 아닙니다. 보고서 올리면 팀장님한테 꼭 돌아오는 질문 있잖아요. "그래서 이게 왜 이렇게 된 건데?" 그런 질문을 그대로 던졌습니다.

 

되물음 1. 그걸로 숫자가 다 설명돼? (근거 맞춰보기)

AI는 올해 환손실 8,651억원을 근거로 들었습니다. 그런데 설명해야 하는 건 올해 손실 총액이 아니라, 세전이익이 작년보다 4,054억원 줄어든 이유입니다. 작년에도 환손실은 있었고, 올해는 헤지 이익도 있었습니다. 그럼 차이만 따지면 얼마일까요?

질문
"네가 말한 원인(환율)이 실제 변화폭을 얼마나 설명하는지 숫자로 맞춰봐. 서로 상쇄되는 요인은 합쳐서 따지고, 비교 기간(작년 같은 분기)과의 차이로 봐줘. 설명 안 되는 나머지가 있으면 그게 뭔지 찾아주고, 없으면 없다고 해줘."

여기서 결론이 뒤집혔습니다.

항목작년 1분기올해 1분기차이
세전이익4,522억원468억원-4,054억원
환율·파생상품 관련 손익약 -1,600억원약 -2,650억원약 -1,050억원
잡이익 + 자산 매각이익약 3,600억원약 160억원약 -3,450억원
  • 환율 영향은 약 1,050억원뿐입니다. 4,054억원이 줄어든 걸 환율만으로는 설명할 수 없습니다.
  • 나머지는 작년에 있었습니다. 작년 1분기에만 잡이익 약 3,000억원과 자산 매각이익 약 600억원이 있었습니다. 작년 실적이 이 이익들로 부풀어 있었던 겁니다. -90%의 절반 이상은 환율보다 이 기저효과 때문이었습니다.
  • AI도 바로 인정했습니다. "'원인이 명확합니다, 환율'이라고 쓴 건 부정확했습니다. 비교 기간의 이상치를 안 봤습니다."

틀린 걸 인정하는 속도만큼은 사람보다 빠르더군요.

 

되물음 2. 그 개선, 쪼개봐 (원인 쪼개기)

다음은 "본업 개선"의 근거였던 영업이익 +20%입니다. 매출은 2.6%밖에 안 늘었는데 영업이익은 20%가 늘었습니다. 비율이 안 맞으면 쪼개봐야 합니다.

질문
"이 변화(매출 +2.6%인데 영업이익 +20%)를 요인별로 쪼개고 각각 얼마나 기여했는지 숫자로 보여줘. 내부에서 잘해서인지, 외부 환경 덕인지도 구분해줘."

AI가 비용 항목을 다시 살펴보더니 이렇게 답했습니다.

항목작년 대비 증감
영업이익+863억원 (+20%)
연료비-2,063억원 (-11.2%)
급여·퇴직급여+345억원
복리후생비-540억원 (-22%)
  • 영업이익이 863억원 늘었는데, 연료비가 2,063억원 줄었습니다. 대부분 유가 하락 영향으로 보입니다. 회사가 잘했다기보다 유가가 잘한 셈이라, 유가가 오르면 사라질 수 있는 이익입니다.
  • 덤으로 이상한 숫자도 하나 나왔습니다. 급여는 늘었는데 복리후생비는 22% 줄었습니다. 이유는 숫자만으로 알 수 없지만, 실적 개선 뒤에 이런 변화도 있었습니다.

이로써 1차 분석의 결론 두 개, "환율 탓"과 "본업 개선"이 모두 다시 쓰였습니다.

 

되물음 3. 그 숫자, 그대로 믿어도 돼? (전제 의심하기)

1차 분석은 부채비율 373%를 리스크로 꼽았습니다. 그런데 그 숫자 자체를 의심해볼 수도 있습니다.

질문
"그 지표(부채비율), 계산에 들어간 항목 때문에 부풀거나 눌린 거 아니야? 왜곡 요인을 걷어낸 값도 같이 보여줘."

AI의 답은 이랬습니다.

기준부채비율
공시된 숫자 그대로373%
선수금·마일리지처럼 돈 대신 서비스로 갚는 부채(약 8.9조원)를 빼면약 285%
여기에 아시아나 인수 때 생긴 영업권(약 1.8조원)까지 자본에서 빼면약 341%
  • 부채 쪽에는 숫자를 부풀리는 항목이, 자본 쪽에는 팔아서 현금으로 바꾸기 어려운 자산이 섞여 있습니다.
  • 결국 373%는 부풀려진 면과 눌린 면이 섞인 숫자입니다. 높다 낮다를 따지기 전에 그 안에 뭐가 들어 있는지부터 봐야 했습니다.

 

되물음 4. 네가 말 안 한 게 뭐야? (빠진 것 꺼내기)

앞의 세 개는 AI가 한 말을 확인하는 질문이었습니다. 마지막은 AI가 안 한 말을 꺼내는 질문입니다. AI는 물어보지 않으면 먼저 말하지 않습니다.

질문
"지금까지 네 분석에 안 나왔거나 한 줄로 지나간 것 중에, 중요할 수 있는 게 있으면 최대 3개만 꺼내줘. 없으면 없다고 해도 돼. 왜 빠뜨렸는지도 설명해줘."

AI가 꺼낸 것 중 두 가지만 소개합니다.

항목1차 분석에서는되물으니
선수금 5.1조원
(한 분기 만에 +1.3조원)
"예약이 잘 된다"는 좋은 신호로만 봄아직 번 돈이 아니고 미리 받은 돈. 영업현금흐름 2.1조원 중 상당 부분이 여기서 나와서, "현금을 잘 번다"고만 읽으면 안 됨
마일리지 3.87조원한 줄로 지나감지난 감사에서 감사인이 핵심감사사항으로 따로 짚은 항목. 사용률 같은 가정이 조금만 바뀌어도 손익이 크게 흔들림

 

새 채팅에서 한 번 더 해봤습니다

혹시나 해서 새 채팅에서 같은 과정을 다시 해봤습니다. 이번엔 1차 분석부터 꽤 좋았습니다. 연료비도, 작년 일회성 이익도 이미 짚었습니다. 그런데 결론은 여전히 "환율 때문"이었고, 되물음 1을 던지자 "앞 답변에서 환율 때문이라고 한 것은 과장이었습니다. 정정합니다."라며 스스로 고쳤습니다. 되물음 4에서는 처음 실험에 없던 항목까지 새로 꺼냈습니다.

1차 답이 좋아도, 되물으면 또 나왔습니다.

 

정리: 바로 쓰는 되물음 4가지

위에서 제가 던진 질문들은 사실 아래 네 가지 틀에 대한항공 상황에 맞게 살을 붙인 겁니다. 틀 자체는 숫자가 있든 없든 어떤 답변에나 쓸 수 있습니다. 처음엔 틀을 그대로 붙여 쓰시고, 이상한 게 보이면 저처럼 그 지점을 콕 집어 살을 붙여 보세요.

패턴언제큰 틀 질문 (복붙용)
1. 근거 맞춰보기결론이 자신 있게 나올 때"네 결론의 근거가 그 결론을 충분히 설명하는지 확인해줘. 설명 안 되는 부분이나 다른 해석이 있으면 찾아주고, 없으면 없다고 해줘."
2. 원인 쪼개기결과가 크게 바뀌었을 때"원인을 하나로 단정한 거 아니야? 다른 요인이 있으면 나눠서 각각 얼마나 영향을 줬는지 보여주고, 내부 요인인지 외부 요인인지도 구분해줘."
3. 전제 의심하기기준 하나로 좋다·나쁘다를 판단할 때"네가 깔고 간 기준이나 전제 때문에 결론이 한쪽으로 몰린 건 아닌지 봐줘. 그걸 걷어내면 어떻게 달라지는지도 보여줘."
4. 빠진 것 꺼내기분석이 끝났다고 느낄 때"네 답변에서 다루지 않았지만 중요할 수 있는 걸 최대 3개 꺼내줘. 없으면 없다고 해도 돼. 왜 빠뜨렸는지도 설명해줘."

위 네 줄을 한 번에 붙여도 됩니다.

 

팁 두 가지

  • AI는 맞장구 장인입니다. 그래서 "없으면 없다고 해줘"는 빼지 마세요. 답이 바뀌었다면 바뀐 내용은 원문에서 한 번 확인하셔야하며 이번 대한항공 사례도 바뀐 숫자는 모두 보고서 원문과 대조했습니다.
  • AI마다, 같은 AI라도 물을 때마다 답은 조금씩 다릅니다. 직접 해봤는데 대한항공 사례와 똑같이 안 나와도 괜찮습니다. 되물었을 때 답이 바뀌는지, 바뀐 답이 원문과 맞는지를 보시면 됩니다.

 

보너스: 지침에 두 줄만 추가해 보세요

쓰고 계신 지침이 있다면 아래 두 줄만 덧붙이시면 됩니다.

- 내 말에 동의하기 전에 반대 근거부터 확인하고, 내 질문의 전제가 틀렸으면 먼저 지적해줘.
- 판단이나 분석이 들어간 답변에서만, 끝에 '가장 틀렸을 가능성이 높은 부분'을 한 줄 적어줘.

다만 지침이 대신 되물어 주지는 않습니다. 이 두 줄은 어디를 되물을지 알려주는 신호 정도이고, 실제로 파고드는 건 결국 본인 몫입니다.

 

마치며

돌아보면 제가 재무 지식으로 오류를 직접 잡아낸 순간은 거의 없습니다. 이상한 데서 멈추고 되물었을 뿐이고, 계산도, 자료 찾기도, 오류 인정도 AI가 했습니다.

AI를 잘 쓰는 사람은 좋은 되물음을 던지는 사람이라고 생각합니다.
그리고 그 되물음은 이미 각자 갖고 계십니다. 보고서를 검토할 때 습관처럼 던지는 바로 그 질문입니다.

AI가 똑똑해질수록 무서운 건 티 나는 오답보다 그럴듯한 헛소리입니다. 자료까지 인용하며 자신 있게 하는 헛소리는 한 번 더 물어본 사람만 걸러낼 수 있습니다.

 

질문 환영합니다

궁금한 점은 편하게 댓글로 남겨주세요. 되물음을 직접 써보신 분은 답이 어떻게 바뀌었는지 공유해 주시면 더 좋습니다. 안 바뀌었다면 그것도 좋은 결과입니다. 그 답은 믿어도 된다는 뜻이니까요. 재무·회계·기업분석 쪽 질문은 아는 범위에서 답해드리겠습니다.

 

※ 본문의 대한항공 분석은 되물음 방법을 보여주기 위한 예시이며, 특정 종목에 대한 투자 판단이나 권유가 아닙니다. 수치는 대한항공 2026년 1분기 분기보고서(연결) 기준입니다.

생성형 AI를 개인화하는 프롬프트

[ 이규영 ]

[AI Workshop - W6] 효율적인 나의 비서, Claude

[ 성아연 ]

학교 이메일로 노션 무료로 쓰는 법

[ 이규영 ]

[AI Workshop -W2.] 핀터레스트 레퍼런스로 3분 만에 포스터 뚝딱 만드는 야매 꿀팁!

[ 안현서 ]


COPYRIGHT sungayeon. ALL RIGHT RESERVED

  • 관리자