AI 도입 기업 중 단 6%만 AX 성과를 내는 이유와 해결책

최근 전 산업군을 막론하고 AI 전환(AX)의 바람이 거세게 불고 있습니다.  수많은 글로벌 기업들이 앞다투어 막대한 예산을 투입해 업무 프로세스에 AI를 적용하고 있습니다.

하지만 냉정하게 시장을 들여다보면 충격적인 성적표를 마주하게 됩니다. 실제 AI 도입을 통해 영업이익 기여도를 5% 이상 끌어올리며 유의미한 AX 성과를 내고 있는 기업은 고작 6%에 불과하다는 사실입니다.

나머지 94%의 기업들은 도대체 왜 실패하는 걸까요?

전방배치 엔지니어(FDE)를 고용하고 최고 사양의 AI 모델을 도입해도 왜 현장에서는 돈만 버렸다는 탄식이 나올까요? 수많은 기업 현장에서 비즈니스 로직을 설계하고 시스템을 뜯어본 기획자의 관점에서, 그 본질적인 AI 도입 실패 원인과 명확한 해법을 제시하고자 합니다.

AI 도임 기업의 성공률이 낮은 이유를 설명하는 이미지

1. AX 성과가 낮은 이유: 뛰어난 인재도 무너뜨리는 조직 시스템의 한계

손흥민에게 무작정 "해줘"라고만 외치면 월드컵 16강에 갈 수 있을까?

세계 최고 수준 손흥민 선수라 할지라도, 제대로 된 전술과 유기적인 팀워크 없이 혼자서 "해줘"라는 말 한마디로 월드컵 16강으로 팀을 올릴 수는 없습니다. 아무리 개인 기량이 뛰어나도 감독의 전술이 엉망이거나 주변 동료들의 서포트가 받쳐주지 않으면 고립될 뿐입니다.

많은 기업이 AI를 대하는 태도가 이와 정확히 닮아 있습니다.

최신 LLM(대형 언어 모델)이나 고성능 AI가 들어오면 마치 마법처럼 모든 업무 프로세스가 자동화되고 효율성이 극대화될 것이라 착각합니다. 하지만 유능한 신입 사원에게 엉망진창인 지시를 내리면 성과를 내지 못하듯, AI 역시 조직 시스템이 비효율적이라면 그 능력을 발휘할 수 없습니다. 뛰어난 인재가 잘못된 시스템 안에서 평가절하 당하듯, AI도 잘못된 환경에서는 무용지물이 됩니다.

실무 현장의 민낯: 파벌과 자원 부족이라는 거시적 제약

실제 프리랜서 기획자이자 컨설턴트로 다양한 기업의 프로젝트에 투입되어 보면, 똑같은 역량을 가진 사람이라도 처한 환경에 따라 성과가 극명하게 갈리는 것을 목격합니다. AI가 일을 잘하기 위한 조건을 이해하려면, 먼저 인간이 성과를 내지 못하는 3가지 대표적인 케이스를 살펴봐야 합니다.

1. 사업의 방향성이 불투명한 경우: 과거 소셜커머스 치열한 경쟁기 시절, 한 스타트업에서 사업 기획을 맡은 적이 있습니다. 당시 요구사항은 소셜커머스이면서 오픈마켓이고, 역경매와 비디오 커머스 기능까지 한 번에 다 담아달라는 것이었습니다. 한정된 자원과 경쟁 전술 측면에서 방향성이 완전히 상실된 상태였기에 아무리 뛰어난 기획을 해도 성과로 이어질 수 없었습니다.

2. 조직 내 고인물과 파벌의 방해: 성장하는 중소기업이나 외주 개발 프로젝트 팀에서 흔히 발생하는 현상입니다. 기득권을 쥔 기존 직원들은 유능한 외부 인재나 새로운 시스템(AI)의 유입을 자신의 입지 축소로 받아들입니다. 결과적으로 파벌을 형성하고 잘못된 정보를 공유하며 교묘하게 업무를 방해합니다.

3. 자원의 빈약함: 아무리 원대한 계획이 있어도 자본과 인적 자원이 부족하면 실행할 수 없습니다. AX 관점으로 보면, 아무리 좋은 AI 모델을 구축해 두어도 정작 API 호출 토큰 비용이 없어 쓰지 못하는 상황과 같습니다.

AI는 철저히 데이터를 기반으로 움직이는 존재입니다. 따라서 이러한 조직 시스템의 모순과 제약이 존재하면 인간보다 훨씬 더 치명적인 성과 제약을 받게 됩니다.

[AI 시스템이 마주하는 핵심 제약]

• 시스템 측면의 제약: 제공되는 내부 데이터 자체의 부실함 및 파편화

• 조직 시스템 측면의 제약: 인간 조직의 정치적 이해관계로 인해 발생하는 데이터 부실 및 오류

2. AX 성과 문제의 본질: 고차원 함수인 AI와 오염된 입력 값

정치적으로 마사지 된 데이터가 유발하는 AI 환각

수학적으로 볼 때 AI는 거대한 고차원 함수에 지나지 않습니다. 입력값(x)이 완벽해야 원하는 결과물인 출력값(y)가 도출됩니다. 하지만 기업 내부의 실상을 들여다보면 어떨까요?

많은 조직에서 의사결정권자의 비위를 맞추기 위해, 혹은 부서의 과오를 덮기 위해 데이터를 교묘하게 누락하거나 부각하여 보고서를 작성합니다. 즉, '정치적으로 가공되고 마사지된 데이터'가 수시로 만들어집니다. 경영진의 의지가 강한 사업이라면 사업성이 낮음에도 불구하고 가능성이 높은 데이터만 취사선택되어 포장되곤 합니다.

이러한 오염된 데이터가 AI 시스템에 입력되는 순간 어떻게 될까요? AI는 텍스트와 숫자 뒤에 숨겨진 인간의 '정치적 맥락'이나 '의도'를 파악하지 못합니다. 입력된 거짓 데이터를 액면 그대로 학습하기 때문에, 결국 경영진의 입맛에는 맞을지언정 비즈니스 현실과는 완전히 동떨어진 치명적인 'AI 환각'과 왜곡된 의사결정을 산출하게 됩니다.

이것이 똑같은 AI 모델을 도입하고도 기업마다 AX 성과가 하늘과 땅 차이로 벌어지는 본질적인 이유입니다.

기존 SI 프로젝트의 고질병, '비즈니스 아키텍처(BA)' 부실의 재현

이러한 문제를 해결하고 성공적인 AX 거버넌스를 구축하기 위해서는 AI 모델을 코딩하기 전에 비즈니스 아키텍처(BA)를 명확히 구조화해야 합니다.

과거 제가 참여했던 대형 SI 프로젝트나 단순 외주 개발 프로젝트가 실패했던 과정을 되짚어보면, 언제나 코딩이나 화면 설계(UI)에만 매몰된 채 정작 핵심이 되는 비즈니스 처리 로직과 요구사항을 제대로 구조화하지 못했던 문제가 있었습니다.

즉, BA의 부실이 개발 프로젝트 실패(또는 결과 불만족)의 원인이었던 것입니다. 기존 SI 프로젝트에서도 해내지 못했던 비즈니스 구조화를, 기존 SI 프로젝트보다 더 난이도 높은 AI 프로젝트에서 갑자기 성공시킨다는 것은 논리적이지 않습니다.

비즈니스 구조화(BA)를 진행하기 위해서는 재무, 인사, 생산, 마케팅 등 기업의 모든 거시적·미시적 요소를 유기적으로 꿰뚫어 볼 수 있는 '통합적 사고'가 필수적입니다.

현장에서 관찰해보면 특정 분야에 오래 머문 도메인 전문가나 고급 개발자라고 해서 이 통합적 사고가 뛰어난 것은 아니었습니다. 오히려 과거의 관성과 성공 경험에 갇혀 변화하는 기술과 시장을 수용하지 못하는 경우가 많았습니다.

과거의 업무는 경험의 기간과 효율에 상관 관계가 있었습니다. 하지만 지금의 IT와 AI는 그렇지 않습니다. 그리고 우리가 받아왔던 암기식 교육의 영향도 통합적 사고를 어렵게 하는 어느 정도 원인이라고 생각합니다.

현상 추정 측면에서 보면, 국내 외주 개발 시장에 독특한 특징인 기획자 포지션의 이유가 개발자가 고객 협의와 문서 작성에 어려움을 느끼기 때문도 있다는 점도 있습니다. 국내에 독특한 기획자의 존재는 개발자의 단위 코딩 작업 효율은 높였지만, 코딩의 목적을 포함한 시스템적 사고에는 부정적입니다. 실제 고급 개발자 출신 PM과 함께 고객 회의를 하는 경우 전체 회의 내용을 이해하지 못하고 개별 이슈에만 매몰되어 잘못된 기억을 형성하는 것을 볼 수 있었습니다.

• 단선적 사고: 코딩, UI, 화면 개발 ▶ 주어진 기능과 레이아웃을 구현하는데 집중

• 시스템적 사고: 시스템 아키텍처 설계, 개발 ▶ 기술적 정합성과 데이터 흐름을 최적화

• 통합적 사고: 비즈니스 기획 및 아키텍처(BA) ▶ 재무, 인사, 생산 등을 포괄하여 비즈니스 가치를 창출

기능 개발에만 급급해 값비싼 글로벌 기업의 엔지니어나 개발자를 데려와 봐야, 구조화되지 않은 비즈니스 위에서는 밑 빠진 독에 물 붓기 식으로 토큰 비용만 낭비할 뿐입니다.

3. 해결 전략: AX 거버넌스 구축을 위한 인간 기획자의 '통합적 사고'

초고속 선형 추론기 LLM의 한계와 입체적 아키텍처의 필요성

저의 경우 AI와 대화를 하다 보면 대단히 똑똑하다고 느끼지만, 본질적으로 LLM은 단어와 단어 사이의 확률적 연쇄를 기반으로 작동하는 '초고속 선형 추론기'일 뿐이라는 것 또한 느끼게 됩니다. 수학적 알고리즘 처리나 다단계 사고 트리를 기반으로 확률적인 대안을 제시하는 데는 탁월할지 몰라도, 비즈니스 전체의 맥락을 입체적으로 꿰뚫는 '통합적 사고'는 여전히 부실함을 경험합니다. 

따라서 AI를 활용해 실제 비즈니스 가치를 만드는 구조를 짜는 것은 철저히 인간 기획자의 고유 영역입니다. AI는 잘 짜인 비즈니스 아키텍처를 기반으로 ERD를 그리거나 소프트웨어 코드를 짜는 하위 단계의 업무는 도울 수 있지만, 아직은 상위 수준의 BA를 스스로 구축하지는 못합니다.

이 한계 또한 언젠가는 AI가 극복할 것입니다. 그러나 극복 과정에서 인간의 구조화 설계 지원이 필요한 것도 현재의 상황이라 생각합니다.

비즈니스 구조화의 첫걸음, 암묵지를 형식지로 바꾸는 과정

그렇다면 이 어렵게 느껴지는 비즈니스 아키텍처(BA)를 구축하기 위한 가장 현실적이고 쉬운 방법은 무엇일까요?

바로 제대로 된 업무 매뉴얼(SOP, Standard Operating Procedure)을 작성하는 것입니다.

과거 저는 십 년 넘게 운영되어 온 국내 대기업의 업무 시스템 개발 프로젝트에 분석/설계 기획자로 투입된 적이 있었습니다. 놀랍게도 그 오랜 기간 사용해 온 시스템임에도 불구하고 제대로 된 업무 매뉴얼 하나 존재하지 않았습니다. 선배가 후배에게 인수인계하는 방식은 단순히 "어느 화면에서 무얼 클릭해라" 수준의 파편화된 가이드였습니다. 이는 문서화되지 않은 개인의 '암묵지'일 뿐, 조직의 '형식지'가 아닙니다.

업무 매뉴얼(SOP)의 수준이 곧 그 기업의 비즈니스 이해도이자 구조화의 수준을 나타내는 지표입니다. 이를 증명하듯 이 대기업 업무 시스템 개발 프로젝트는 분석에서부터 지연이 되었습니다.

4. 실행 로드맵: 리스크를 최소화하는 '애자일 단위 업무 SOP' 설계

스토리보드가 부실하면 개발이 망하듯, SOP가 없으면 업무 진행에도 문제가 생긴다

기획자가 작성하는 화면 설계서(스토리보드)만 봐도 해당 프로젝트의 성공 여부를 미리 예측할 수 있습니다. 입력 데이터와 처리 로직이 부실한 스토리보드를 개발자에게 주면 반드시 오류가 가득한 쓰레기 시스템이 나옵니다.

AX 프로젝트에서 'AI=개발자'로 치환하면 이해가 쉽습니다.

일상 업무에서 SOP(업무 매뉴얼)는 개발 프로젝트의 스토리보드와 같습니다. 실제로 잘 짜인 스토리보드의 유저 프로세스 부분만 떼어내면 그것이 바로 완벽한 SOP가 됩니다. 즉, SOP는 AI 시스템이 자신의 업무에 대하여 어떤 데이터를 가지고 어떤 프로세스를 거쳐 무슨 업무를 처리할지 규정해 놓은 설계도입니다. 부실한 설계도를 받은 AI가 훌륭한 AX 성과를 낼 리 만무합니다.

대기업 복잡한 ERP 시스템을 3개월 만에 장악한 실전 경험

제가 과거 통신 대기업 근무 시절, 조직 개편으로 인해 악명 높고 복잡하기로 소문난 '대리점 인테리어/간판 지원 ERP 시스템' 운영을 갑작스럽게 맡게 된 적이 있습니다. 워낙 예외 케이스가 많아 수년간 그 자리에 있던 숙련자들도 수시로 실수를 연발하는 업무였습니다.

제가 투입되자마자 가장 먼저 한 일은 시스템 개발사 교육까지 받아 가며 전 과정을 하나하나 기록해 업무 매뉴얼을 만드는 것이었습니다. 업무의 시작점부터 데이터가 흘러가는 경로, 그리고 최종 정산이라는 끝점까지 구조화하여 매뉴얼로 정리했습니다.

결과는 놀라웠습니다. 업무를 맡은 지 채 3달도 되지 않아, 수년간 그 부서에 머물렀던 상사들보다 ERP 시스템과 업무를 훨씬 더 완벽하게 파악하고 예외 상황을 통제하는 전문가가 될 수 있었습니다. 시스템과 업무를 '구조화(SOP)'했기 때문에 가능한 일이었습니다.

시작과 끝이 명확한 영역부터 쪼개서 정합성 맞추기

당장 기업의 전체 시스템을 한 번에 AI로 전환하겠다는 거창한 계획은 실패할 가능성이 높습니다. 복잡성 때문에 전체 비즈니스를 한 번에 구조화하는 것은 매우 어렵기 때문입니다. 대신 '단위 업무의 SOP 매뉴얼화'부터 시작하는 애자일(Agile) 방식을 개인적으로 권합니다.

• 시작과 끝이 분명한 단위 업무 선정: 부분 업무를 구분할 때는 프로세스의 인풋(시작)과 아웃풋(끝)이 명확히 떨어지는 도메인을 잡아야 합니다. 끝이 흐릿한 영역을 잡으면 매뉴얼의 정확도가 떨어지고, 여러 영역을 한꺼번에 묶으면 설계 복잡도가 기하급수적으로 올라갑니다.

• 단위 업무별 SOP구축 및 AI 적용: 확실하게 정제된 단위 업무를 바탕으로 AI를 결합해 작은 성공 사례를 만듭니다.

• 점진적 확장 및 AX 거버넌스 완성: 이렇게 구조화된 단위 비즈니스 아키텍처들을 레고 블록처럼 유기적으로 연결해 나가며 점진적으로 기업 전체의 AX 거버넌스를 완성합니다.

이를 실행 측면에서 정리하면 다음과 같습니다.

1. 명확한 단위 업무 선정 (시장과 끝은 명확한 심리스 구조의 업무)

2. 암묵지의 형식지화: 애자일 업무 매뉴얼(SOP) 작성

3. 정제된 데이터 투입 → AI 고도화 및 업무 적용

4. 단위 BA의 유기적 결합 → 전사 AX 거버넌스 확립

조직 관리 및 인간 지능 시스템 측면에서 추론하면 성공적인 AX는 성능 좋은 AI 모델을 구매한다고 이루어지지 않는다고 생각합니다.

우리 비즈니스의 입력값과 처리 로직을 얼마나 명확하게 구조화했느냐, 즉 비즈니스 아키텍처(BA)의 수립과 업무 매뉴얼의 자산화가 선행되어야만 비로소 상위 6%의 압도적인 AX 성과를 거머쥘 수 있을 것입니다.