챗GPT(ChatGPT)와 Stable Diffusion을 비롯한 생성형AI의 활용은 이제 개인의 영역을 넘어 비즈니스 분야에서도 필수가 되고 있습니다. 이에 따라 국내 기업들도 자체 생성형AI 도입에 박차를 가하고 있는데요. 보안 기업 파수의 설문 조사 결과에 따르면 국내 기업과 기관의 절반 이상에 해당하는 76.4%가 이미 생성형AI 기술을 적극적으로 활용하고 있거나 추후 활용할 예정인 것으로 나타났습니다.

 이처럼 생성형AI의 비즈니스 도입이 활발해지면서 생성형AI에 조심스러운 입장을 보여왔던 국내 대기업들도 생성형AI 도입을 적극 추진하고 있습니다. 일례로 임직원의 사내 데이터 유출을 이유로 챗GPT(ChatGPT)의 사용을 금지하였던 삼성전자는 연내 챗GPT의 대항마로 검색, 번역, 요약 등 업무에 활용할 수 있는 자체 개발 생성형AI를 구축할 것을 발표했습니다.

 하지만 기업의 생성형AI 도입은 규모와 파급력이 개인 사용자와 비교해 큰 만큼 그 과정에 있어서 다양한 제약조건 및 기술 성숙도에 따라 신중하게 도입 전략을 세워야 할 필요가 있습니다. 이번 컨설팅 이야기에서는 기업들이 생성형AI를 도입하기 전에 꼼꼼히 따져보아야 할 3가지 핵심 질문과 그에 따르는 도입 전략에 대해 소개하겠습니다. 

1. 명확한 목표가 설정되어 있는가?

 모든 시스템 도입이 그렇듯 생성형AI 도입 역시 명확한 목표설정이 필수적입니다. 회사는 생성형AI 도입 전에 반드시 생성형AI를 적용할 업무 및 분야와 그에 따른 기대효과 등 KPI를 명확히 설정할 필요가 있습니다. 각 회사에서 목표로 하는 목표에 따라 도입전략이 180도 달라질 수 있기 때문입니다.

 예를 들어, 회사의 핵심 역량이라고 할 수 있는 기술과 핵심 영업 노하우가 담긴 문서의 검색, 요약 및 번역 등의 기능을 제공하는 사내 지식 관리 시스템(KMS, Knowledge Management System)을 구축하고자 하는 경우와 특정 도메인에 특화된 고객 응대용 챗봇을 만드는 경우의 도입 전략은 완전히 다를 수 있는데, 각각의 전략에 대해 살펴봅시다. 

Solution 1) 목표 및 KPI에 따른 도입 전략

 우선 기업 내 핵심 기밀을 비롯한 민감정보를 다루는 기술에 생성형AI를 적용하는 경우 보안을 최우선으로 두어야 합니다. 이 때 네이버의 하이퍼클로버나 OpenAI사의 챗GPT(ChatGPT)와 같이 정보 API를 활용한 생성형AI를 활용하면 서비스 제공업체의 서버에 우리 회사의 정보가 유출될 수 있는 리스크가 있으므로, LLaMA2와 같은 오픈소스 코드에 기반한 생성형AI를 활용하는 방법을 고려할 수 있습니다.

반면 단순 고객 응대나 특정 도메인에 특화된 고객 응대용 챗봇에 생성형AI 기술을 적용하고자 하는 경우 보안보다는 높은 성능과 낮은 구축 비용 등 효율성을 우선으로 하는 것이 좋습니다. 따라서 이 경우에는 MS Azure나 Amazon AWS와 같은 AI 플랫폼 서비스의 도움을 받아 뛰어난 성능을 자랑하고 사용량만큼만 비용이 발생하는 API 기반 최신 모델을 적극적으로 활용하는 것을 추천합니다. 

2.기초모델 선택은 어떻게 할 것인가?

기초모델 현황 (출처 : https://www.digitalfocus.news)

 생성형AI 도입 시 기초모델의 선정 전략 역시 중요한데요. 기초모델이란 대량의 학습 데이터로 사전 훈련되어 질문 응답 및 특수 이미지 생성 등 특정 작업을 위해 미세 조정(fine-tuning)된 모델을 뜻하는데, 챗GPT(ChatGPT)의 근본이 되는 GPT-3.5 Turbo와 GPT-4.0과 같은 모델을 예로 들 수 있습니다. 도입 목표에 따른 전략이 달라지는 것과 마찬가지로, 기초모델 선택 또한 기업이 처한 상황과 예산 등에 따라서 달라질 수 있습니다. 

Solution 2) 모델 크기와 성능의 trade-off

 대부분 생성형AI의 근간이 되는 기초모델(foundation model)의 경우 모델 크기가 클수록 성능이 좋은 반면, 컴퓨팅 리소스와 시간이 많이 소모됩니다. 따라서 고성능 생성형AI를 자체 개발하고자 하는 경우 우리 회사에서 가용 가능한 GPU의 성능과 서버의 갯수 등 컴퓨팅 리소스를 반드시 고려해야 합니다. 뿐만 아니라 생성형AI 자체 개발을 위한 연구 및 리서치 가용 인력 또한 중요한 요소 중 하나입니다. 

 충분한 컴퓨팅 리소스와 인적자원을 갖추지 못한 회사에서는 생성형AI 활용을 위한 다양한 플랫폼 및 서비스를 고려해 볼 수 있습니다. MS Azure와 Amazon AWS 그리고 Google Cloud 뿐 아니라 다양한 국내 대기업 계열 SI사에서도 생성형AI 도입 및 활용을 위한 솔루션을 제공하고 있습니다. 

3. 생성형AI를 어떻게 커스터마이즈 할 것인가? 

 커스터마이즈 전략은 AI 도입의 세 번째 핵심적인 단계입니다. 이 단계에서는 기업의 도메인에 특화된 요구사항에 맞춘 AI의 성능 최적화에 중점을 두며, 환각현상(Hallucination) 이라고 불리는 부정확한 정보 생성을 방지하고 성능을 개선하는 것이 목표다. 환각현상(Hallucination)은 AI가 잘못된 데이터를 학습하거나, 부적절한 입력에 기반하여 사실이 아닌 정보를 생성하는 현상을 의미합니다. 이를 방지하기 위해서는 고품질의 데이터 셋을 구축하고, 지속적인 모델의 평가와 개선 작업이 필수적입니다.

Solution 3) 성능 최적화와 환각현상 방지를 위한 두 가지 전략  

 그렇다면 어떻게 우리 회사에 특화된 맞춤형 생성 AI를 만들 수 있을까요? 기업은 자체 데이터를 활용하여 모델을 특정 업무나 업계에 최적화시켜야 합니다. 이를 위해서는 데이터 전처리, 모델의 미세 조정(fine-tuning)과 지속적인 학습(continuous learning) 과정을 통해 모델이 기업의 업무 환경에 맞게 발전하도록 해야 합니다. 또한, AI의 결정 과정을 모니터링하고, 잘못된 출력을 바로잡는 것이 중요하며, 이를 위한 내부 프로토콜과 지침을 마련해야 합니다.

미세 조정(fine-tuning) (출처 : https://towardsdatascience.com/)

 그러나 AI 관련 인력과 컴퓨팅 리소스가 부족한 기업에서 미세 조정(fine-tuning)을 통해 모델을 자체 개발하는 것은 쉽지 않을 수 있습니다. 이러한 상황에서 활용할 수 있는 맞춤형 생성 AI 개발을 위한 또 한 가지 방법은 RAG(Retrieval Augmented Generation)을 활용하는 것입니다. RAG(Retrieval Augmented Generation)이란 생성형AI의 응답을 개선하기 위해 관련 정보를 검색하고 이를 통합하는 기술을 말합니다. 

RAG(Retrieval Augmented Generation) (출처 : https://towardsdatascience.com/)

 RAG는 특히 정보에 기반한 정확한 응답을 필요로 하는 업무에서 유용한데,  RAG를 통해 AI는 질의에 가장 관련성 높은 데이터를 검색한 후, 그 데이터를 기반으로 응답을 생성합니다. 이를 통해 AI의 응답 정확도가 향상되고, 환각 현상을 줄일 수 있습니다. 최근에는 Langchain과 같은 프레임워크와 다양한 벡터 스토어(Vector Store) 등 오픈소스 라이브러리를 활용해 RAG를 쉽게 구현할 수 있는데, 모델을 직접 미세 조정(fine-tuning)하는 것보다 적은 노력과 리소스를 통해 동일한 효과를 낼 수 있는 하나의 대안이 될 수 있습니다.

*출처: SK C&C Data Hub ,성공적인 생성형AI 도입을 위해 꼭 알아야 할 세 가지 핵심 전략 | 같이 읽는 IT 트렌드