클라우드 선도 기업 메가존클라우드(대표 이주완)가 생성형 AI를 도입하고자 하는 기업들을 위해 설계부터 구축, 운영까지 지원하는 기업 맞춤형 생성형 AI 엔드 투 엔드 서비스 ‘GenAI360’ 오퍼링을 출시했다.
GenAI360은 △기업의 생성형 AI 활용 전략 수립 및 파일럿 과제 수행 등 컨설팅 △기업별 환경을 고려한 최적 플랫폼 선정과 데이터 학습 및 검증 △기업 내 활용 대상 서비스 개발 및 가이드 제공 △생성형 AI 운영 전략 수립 및 서비스 운영 등으로 구성된다.
메가존클라우드는 7월부터 9주간 사내 HR 헬프데스크에 접수된 질의응답을 한국어 특화 LLM에 학습시키고, 관련 문서 및 사내 가이드는 RAG(검색 증강 생성)를 적용해 신뢰할 수 있는 답변을 생성하도록 하는 프로젝트를 수행했다. 그 결과, 첫 질문에 대한 답변의 정확도는 평균 75% 이상으로 확인됐고 이후 질문 수정 및 추가 질문을 통해 향상된 답변의 정확도는 90% 이상인 것으로 평가돼 질의응답과 관련된 단순·저효율 업무가 실제로 감소되는 성과를 확인할 수 있었다.
메가존클라우드는 이번 성과를 기반으로 RLHF(인간 피드백 기반 강화 학습)를 통해 답변 품질을 향상시키는 고도화 작업을 추가 진행하고 있다.
이 파일럿 프로젝트는 Amazon SageMaker/Amazon Kendra 등 데이터 분석 및 AI/ML을 위한 다양한 AWS 서비스를 근간으로 한 클라우드 기반 아키텍처로 구성됐다. 비용 효율적인 아키텍처 구성 및 답변 품질을 향상시킬 수 있는 학습 방법 등을 위해 AWS와 생성형 AI 분야의 기술 협력을 강화했다.
메가존클라우드는 이 과정을 통해 기업들이 생성형 AI 도입 시 고려해야 할 사항과 구축 과정에서 마주할 수 있는 문제점들에 대한 해결 방안 등 고객 서비스에 활용할 수 있는 실질적 노하우를 축적했다. 비용 최적화, 기업의 고유한 데이터 적용 및 기준 시간, 유의어 사전 등을 포함한 프롬프트 엔지니어링, 환각 현상(Hallucination), 리소스 비용 최적화 및 구현 방법 등이 대표적 사례다.
메가존클라우드 AI & 데이터분석센터 공성배 센터장은 “LLM에 대한 높은 관심에 비해 비즈니스 가치가 검증된 사례는 많지 않은 게 사실”이라며 “메가존클라우드의 경험과 기술력을 AWS 서비스에 결합해 LLM의 한계를 극복하고 비즈니스적 가치를 고객들에게 명확하게 제공할 것”이라고 말했다.
메가존클라우드는 21일 IDG Korea 주최로 양재 엘타워에서 개최되는 Future of AI & Data 2023 콘퍼런스에서 이번 파일럿 프로젝트 결과를 발표할 예정이다.
