생성형 AI 전사적 활용 도전과제 분석 및 해결

비즈니스 리더는 AI 모델 비교에 집중하거나 AI 도입 활용을 서두르지 말고 채택을 전략적이고 계획적으로 안내하는 구조화된 체계를 구축해야 한다.

생성형 AI(GenAI) 채택활용의 유용성에 대한 수많은 예가 넘쳐흐르고 있지만 모든 새로운 기술과 마찬가지로 어려운 것은 직원 개인이나 부서의 제한된 사용에서 GenAI가 기업 운영의 필수적인 부분이 되도록 전사 확대하는 일이다. 

Gartner에서 오랫동안 분석 전문가로 활동해 온 커트 슐레겔(Kurt Schlegel)이 플로리다주 올랜도에서 열린 Gartner Data & Analytics Summit에서 한 강연의 핵심을 소개한다.

특히, 슐레겔의 강연 "AI 과제 상위 5가지 분석 및 해결 방법"은 GenAI를 분석업무와 비즈니스 인텔리전스 어플리케이션 및 워크플로에 도입 통합하려고 할 때 기업이 직면하는 문제에 초점을 맞추어 강조하고 있다.

또한, AI의 혁신적 특성으로 인해 기업이 해결해야 중요한 과제도 나타난다고 지적했다.

이러한 과제는 기술적 우려부터 거버넌스 문제, 재정적 영향, 분석 팀 운영 방식의 구조적 변화에 이르기까지 다양하다. 

그의 통찰력은 AI 활용 실험에서 본격적인 도입으로 전환하려는 기업에 중요한 로드맵을 제공하고 있다. 

1. 두려움에서 신뢰로: AI 회의론과 리스크관리 해소

AI 채택에 대한 장벽 중 하나는 두려움이다. 잘못된 정보, 에러, 보안, 의도하지 못한 결과에 대한 두려움이다.

비즈니스 리더들은 생성형 AI의 사용 편의성에 현혹되어 정확하고 의미 있는 분석과 원하는 것을 자동으로 생성할 수 있다고 쉽게 생각하는 경향이 있다. 

그러나 질문의 정확도, 데이터 거버넌스 등 근본적으로 해결해야 하는 문제들이 있어 AI 실행이 생각보다 훨씬 더 복잡해질 수 있다.

이러한 문제를 해결하기 위해 슐레겔은 투명하고, 설명이 가능하며, 책임이 명확한 AI를 실행해야 한다고 주장한다.

기업은 AI의 한계를 사용자인 직원들에게 명확하게 전달하고 AI가 생성하는 통찰력이 절대적인 것이 아니라 확률적이라는 점을 이해시켜야 한다.

AI 모델에는 AI 생성 데이터에 대한 맹목적인 신뢰를 방지하기 위해 MAPE(Mean Absolute Percentage Error)와 같은 오류 검증 메트릭스가 수반되어야 한다.

개발, 테스트 및 생산(Dev-Test-Prod) 프로세스를 통해 신뢰를 구축해야 하며, AI 모델이 중요한 비즈니스 의사 결정에 사용되기 전에 엄격히 검증되어야 한다.

또한 슐레겔은 도메인 전문가와 데이터 사이언티스트 간의 협업이 AI 모델 활용의 신뢰와 해석 있어서 매우 중요하다며,

이러한 파트너십이 없으면 AI 기반 통찰력이 무시되거나 오용될 위험이 있다고 강조했다.

2. 비용에서 이익으로: AI의 재무적 투자와 ROI의 균형

생성형 AI의 활용에 대한 투자 비용 또한 무시할 수 없는 사항이다. 

슐레겔은 AI의 전사적 활용은 토큰 사용, 클라우드 처리 및 데이터 저장과 관련된 비용이 증가하므로 주의해야 한다고 지적한다. 

AI 쿼리(질문) 볼륨의 미미한 증가가 순식간에 막대한 운영 비용 증가로 이어질 수 있다.

재무적인 위험을 완화하기 위해 기업은 다음과 같이 점진적으로 활용해야 한다.

처음부터 전문가인 데이터 엔지니어와 사이언티스트 외에도 사내 모든 비즈니스 사용자에게 접근 권한을 개방하여 AI 도입을 시작하면 통제하기 어려운 비용이 발생할 수 있다.

AI를 활용하여 효율성을 높이되 데이터 사이언스 리소스 활용 제한으로 병목 현상을 줄여야 한다.

FinOps 전략으로 AI 비용을 모니터링하여 비즈니스 가치에 맞게 비용을 관리하고 조정할 수 있다. 

점진적인 배포전략(개념증명 → 파일럿 → 프로덕션)을 세워 의미 있는 가치와 이익을 창출하지 못하는 AI 프로젝트에 대한 낭비적인 투자를 방지할 수 있다.

슐레겔은 AI의 비용을 무선전화 통화요금이 초기에는 높았으나, 사용이 확대됨에 따라 저렴해진 휴대전화 요금에 비유했다.

이처럼 생성형 AI의 비용은 시간이 지남에 따라 감소할 수 있지만 AI 채택으로 규모의 경제가 형성될 때까지 전략적으로 지출 비용을 관리해야 한다.

3. 혼돈에서 질서로: AI 거버넌스 구축 및 분석 샌드박스

생성형 AI 활용에 대한 관리가 충분하지 못하면 데이터 불일치, 보안 취약성, 의사결정의 혼란 등으로 이어질 수 있다.

기업은 AI의 신뢰성을 높이기 위해 정보탐색의 자유와 거버넌스 사이에 균형을 맞추어야 한다.

슐레겔은 AI 거버넌스를 스키장 모델에 비유했다.

▶ 초보자(신규 AI 사용자)는 구조화된 지침에 통제된 환경에서 작업.

▶ 중급 사용자는 감독에 유연성 부여.

▶ 고급 사용자에게는 자율성이 부여되어야 하지만 반드시 거버넌스 규범 준수.

질서를 확립하기 위해 기업은 다음과 같은 체계를 수립해야 한다.

▶ 중요 비즈니스 운영에 영향을 주지 않고 AI 모델을 테스트할 수 있는 분석 샌드박스를 생성한다.

▶ 엄격한 거버넌스 모델을 구현하여 신뢰성과 일관성 있는 데이터를 통한 AI 기반 의사결정과 통찰력.

▶ 역할 기반 접근 제어로 무단 AI 사용을 방지한다.

제너럴 밀스사(General Mills)는 구조화된 거버넌스 프레임워크를 확립하여 자유와 통제의 균형을 성공적으로 유지함으로써 혁신적이고 신뢰할 수 있는 AI 채택을 성공한 회사로 알려져 있다.

4. 기술에서 솔루션으로: AI를 도구에서 비즈니스에의 영향으로 초점 이동

리더는 AI의 기술적인 복잡성(예: LLM이 더 우수함)보다는 실제 비즈니스 솔루션에 더 집중해야 한다.

슐레겔은 AI가 기술 우선 주도가 아니라 다음과 같이 개선이나 문제 해결 솔루션으로 다루어야 한다고 강조한다.

▶ 리소스 할당(예: 예산, 재고, 인력 계획 최적화).

▶ 데이터 기반 고객 참여 및 개인 맞춤화 전환.

▶ 예측 정확성 고도화로 더 나은 전략적 의사결정.

비즈니스 리더는 모델 아키텍처에 집착하거나 OpenAI, Google Gemini, Anthropic Claude에 대해 서로 비교 논쟁하는 대신 AI의 실제적 적용을 우선시하여 실질적인 비즈니스 문제를 해결해야 한다.

5. 소유에서 영향력으로: AI 리더십 역할 재정의

생성형 AI는 중앙에서 집중적으로 관리하기 어려우며, 한 팀이 생성형 AI를 단독으로 소유할 수도 없다. 

AI는 본질적으로 여러 부서에 분산되어 활용하기 때문에 통제가 아닌 영향력에 기반한 새로운 리더십 접근 방식이 필요하다.

슐레겔은 AI 거버넌스를 위한 `프랜차이즈` 모델을 소개했다.

▶ 중앙 집중식 팀은 글로벌 일관성, 모범 사례 및 거버넌스를 제공한다.

▶ 분산된 팀(프랜차이즈)은 지역 자율성을 유지하여 AI 어플리케이션을 특정 비즈니스 요구 사항에 맞게 조정한다.

이 모델은 중앙의 핵심 팀이 AI 전략을 설정하지만 개별 사업부가 실행을 주도하는 허브 앤 스포크(hub-and-spoke) 아키텍처와 유사하다.

AI 리더를 위한 슐레겔의 권장 사항

게이트키퍼가 아닌 AI 활용 안내 역할을 하여 AI를 폭넓게 활용할 수 있지만 책임감 있게 사용하도록 한다.

비즈니스 리더는 관리 영역 내에서 AI를 책임감 있게 활용할 수 있도록 교육하고 역량을 강화한다.

AI 솔루션이 하향식 명령이 아닌 실제 피드백을 기반으로 발전하는 접근 방식을 반복적으로 장려한다.

결론: 낙관주의와 실용주의 균형

슐레겔은 생성형 AI를 도입 통합할 때 균형 잡힌 사고방식의 필요성을 강조하며 강연을 마무리했다.

AI는 분석 업무를 혁신할 수 있는 잠재력을 가지고 있지만, 기업은 AI 채택이 비즈니스 가치, 거버넌스, 비용 효율성 및 윤리적 고려 사항과 균형을 취할 수 있도록 신중하게 진행해야 한다.

리더는 AI 모델 비교에 집중하거나 비즈니스 사용자 모두에게 AI를 배포하기 위해 서두르기보다는, AI 채택을 점진적이고 전략적으로 안내하는 구조를 수립해야 한다. 

위 5대 과제의 적극적인 해결로 생성형 AI를 실험적 도구에서 신뢰할 수 있는 비즈니스 성공의 원동력으로 전환할 수 있다.

참고 | https://www.rtinsights.com/top-5-challenges-when-integrating-generative-ai/​