AI를 업무에 활용하는 방법들
AI를 업무에 활용하는 방법들을 한번 정리해보고자 한다. 이 글은 직접 겪은 내용을 적는 것이다.
그동안 여러 AI Agent들이 나타났고, 현재로서는 Claude와 OpenAI 계열을 주로 회사에서 사용하고 있다. 새로운 업무를 맡게 되었고, 별다른 인수인계도 없는 환경에서 일을 하는 상황이 되어서, AI로 어떻게 이 문제를 풀 수 있을지 고민해봤다.
Knowledge Base를 구축하다
최초로 한 것은 knowledge base를 구축한 일이다. 다른 회사 다니는 친구한테 이야기를 들어보니 개인마다 KB를 구축하고 있고, 이 정보를 바탕으로 업무를 진행한다고 하여 구성을 해봤다.
목표는 현재 맡고 있는 서비스의 문의 채널에 답을 하는 방법을 마련하는 것이었다. 우선 슬랙으로 접수되는 문의사항을 답변하는 슬랙 봇을 만들어보고자 KB를 구성하기로 마음먹었고, RAG를 하나 구성해서 문의사항의 답변을 맞춰보자는 계획으로 접근했다.
로컬 에이전트로 위키 문서를, 사내에 배포되는 MCP를 이용해 읽어 들인 뒤 RAG에 적재했다. 이후에 문의 채널에 접수되는 내용에 알맞은 답변을 정리해달라고 하면서 비교해 봤더니, 정확도가 매우 낮았다. 이 상황을 봤을 때 위키가 제대로 정리되어 있지 않다는 것으로 판단했다. 항상 고질병이지 뭐.
그래서 어떻게 처리하면 좋을지 생각하던 중, 슬랙 문의 채널에 내용들을 수집해 보자고 생각했고 2차로 슬랙 문의 채널의 질문과 답변을 전부 수집했다. 이후 다시 문의 채널에 인입되는 내용을 기준으로 답변을 정리해보니 꽤 정확도가 높아졌다.
그리고 기존 문의 답변 내용을 확인하던 중, 해당 서비스의 전용 레퍼런스가 별도로 관리된다는 것을 알게 되었고, 그 레퍼런스 문서도 RAG에 적재했다. 이후 정확도는 매우 좋아졌고, 접수되는 문의사항에 대해 로컬 AI 에이전트가 알려주는 형태대로 작성해서 답변을 남기게 되었다.
이후에는 문서가 업데이트되지 않는 경우를 해결할 방법이 무엇일지 생각하던 도중에, 로컬에 설정해 놓은 LLM 위키 문서 중 서비스와 관련된 사항에 대해서 새롭게 알게 된 사실일 경우 RAG에 적재할 수 있도록 구성했다.
이렇게 세 차례 업데이트를 진행한 뒤 사용성이 좋아지는 것을 확인했다. 혼자 쓰려고 만들었던 것이었는데 아까워서, 서버로 올려 팀 구성원에게 MCP로 제공했다.
사용 피드백이 좋았고, 기존에 개발 중인 문의 봇에서도 활용할 수 있는 정보였으면 좋겠다고 하여 현재 관련 내용을 협의 중이다. 의도치 않은 전개였다.
Error Analysis Agent
이제는 서버 장애에 관련된 이슈들을 다루는 방법을 알아보기 시작했다. 서버 지표들과 로그 데이터를 얻을 수 있는 방법들을 찾아보니, 의외로 인증 수단 없이 접근이 가능한 상태였다. 사내 네트워크면 되었다.
그래서 표본 데이터를 획득하기가 쉬워졌고, 우선 서버 모니터링 지표부터 수집하는 대시보드를 만들었다. 대시보드가 만들어진 이후 오류 분석을 할 수 있는 에이전트를 하나 구성하면 좋을 것 같다고 생각했고, 로그 데이터를 가져와서 분석할 수 있도록 구성을 진행했다.
기간별로 오류 내용을 목록화하여 웹 페이지에서 보여주고, 관련 오류 내용의 분석 버튼을 누를 경우 서버에 있는 LLM을 활용하여 오류를 분석하고, 앞서 만들어 놨던 KB에서 기존 사례가 있는지 확인한 뒤 리포팅을 해준다. 해당 리포팅 내용을 기준으로 심각한지, 일상적인 오류인지 분류하여 확인하고 있다.
이것도 완성 후 팀원에게 공유했다. 앞으로 활용성은 더욱 커질 것 같다.
Coding Agent
코딩 에이전트는 현재 개발 중이다. 위에 있는 오류 분석 에이전트에서 확인된 오류 사항을 기준으로, 코드를 개선해야 할 부분이 있다면 관련 오류 사항을 수정한 뒤 git 저장소에 PR을 작성해 주는 에이전트다.
여기서 오류 분석 에이전트와 코딩 에이전트는 Agent to Agent 통신으로 구성했다. 이런 구성을 통해서 얼마나 잘 커버가 되는지 확인해 본 뒤, 생각보다 결과가 좋으면 자동화까지 생각해 보려고 한다.
그 밖에
현재 서비스하는 제품들이 너무 각기 만들어져 있지만 서로 의존이 있는 상태다. UI를 개선하고 API를 정비해서 제품을 다듬어야 하는 상황인 것 같은데, 이걸 다시 기획할 인력이 없어 보인다.
이런 도중에 챗봇과 MCP, 그리고 A2A 방식을 보니 조그만한 채팅 창을 이용해서 위 문제를 풀 수 있겠더라. 그래서 곧 이 방법으로 문제를 풀고 제품에 새롭게 기능을 추가할 예정이다.
MCP
결국 도구 모음이고, API를 정리한 AI를 위한 Swagger 문서 같은 느낌이다.
API는 단순해야 되고, 부수적인 요소는 없어야 하는 이유도 다시 한번 더 강조되지 않을까.
RAG
말 그대로, 현재 사용 중인 AI에게 우리가 원하는 작업을 하기 위한 정보를 주입시킬 수 있는 방법이다. 텍스트 임베딩과 벡터화 같은 이야기가 있지만, 예전에 Elasticsearch에 문서를 추가하고 연관 자료를 보여주던 검색 엔진과 같은 느낌이랄까.