[독서] AI 프로덕트 기획과 운영: 엔지니어에게도 도움되는 실전 매니지먼트 도서

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다.

 

https://www.hanbit.co.kr/store/books/look.php?p_code=B9626918878

AI 프로덕트 기획과 운영

---

 

 

도서 선택 이유

 

 

현재 기존 프로덕트에 소형언어모델을 활용한 분류 및 추출 기능을 도입하는 프로젝트를 수행하고 있습니다. 기술적으로는 소형언어모델을 이용해 반복적인 테스트와 개발 작업을 진행하고 있으나, AI 기능 범위의 모호함이나 AI 를 잘 모르는 관계자들의 높은 기대치(소형언어모델은 ChatGPT와 다르다는 점을 이해시키는 과정) 등, 프로젝트의 초기 단계에서 다소 매끄럽지 못한 진행에 대한 아쉬움이 있었습니다. 돌이켜보면 AI에 대한 전문성과 프로덕트 관리 역량을 겸비한 PM이 이를 총괄했다면 일정 관리나 협업이 보다 수월했을 것이라는 생각을 하게 됩니다. 저 역시 당면한 과제에 집중하느라 전체 프로덕트를 아우르는 시야와 프로젝트를 주도할 시간적 여유가 부족했던 것 같습니다.

 

이러한 아쉬움과 함께 <AI 프로덕트 기획과 운영> 도서를 접했습니다. 이 책은 단순히 모델 개발을 넘어, AI를 적용하는 서비스의 기획, 성공 지표 설정, 개발, 운영 등 전 과정을 총괄하는 AI PM의 실무적인 경험을 담고 있습니다. AI 전문성을 갖춘 주체가 프로덕트 개발을 주도한다면, 기술적 한계를 명확히 인지하고 사용자가 만족할 만한 서비스 배포로 이어질 것이라는 기대감으로 이 책을 이번 리뷰 도서로 선택했습니다.

 

 

---

 

 

목차와 주요 내용 소개

 

 

이 도서는 AI 제품을 기획→설계→출시→운영하는 전 과정을 다룹니다. 저자 마릴리 니카는 구글의 GenAI 프로덕트 리드이자 AI교육자로 1만 명 이상이 수료한 AI 프로덕트 아카데미의 설립자입니다. 저자가 13년 넘는 AI 프로덕트를 구축한 경험을 바탕으로 작성한 도서여서 그런지, 읽는 내내 AI 프로덕트를 잘 만들기 위한 핵심 실무 노하우가 잘 담겨있다는 생각이 들었습니다. 아래 주요 내용은 전체 내용은 아니며, 제가 도서를 읽으면서 중요하게 느낀 영역만 요약했습니다.

 

 

1장. AI 프로덕트 매니의 역할

 

첫 장에서는 AI 기술의 진정한 가치가 학습, 적응, 불확실성 처리와 같은 AI 만의 고유한 특성에서 비롯됨을 설명하면서, AI 프로덕트 매니지먼트(이하 PM)가 이러한 근본적인 특성을 이해해야 한다고 강조합니다. AI 프로덕트는 확률적 특성, 데이터 의존성, 데이터 드리프트, 설명 가능성 요구 등 기존 소프트웨어와는 구별되는 특징을 가지고, 인프라와 확장성에 대한 고려는 개발 시작 단계부터 이루어져야 한다고 합니다.

 

AI PM은 AI 전문성을 바탕으로 AI가 큰 가치를 줄 수 있는 영역을 찾아내, AI 프로덕트 구현을 위한 전략적인 로드맵을 수행합니다. 기존 PM들이 갖추었던 핵심 PM 지식, 엔지니어링 기초, 리더십, 협업 능력은 물론 AI 라이프사이클과 운영에 대한 깊은 이해 등 광범위한 역량을 요구한다는 것을 배웠습니다. 요구되는 지식의 폭이 넓어 직무 자체가 매력적이라고 느꼈는데요, 다양하고 넓은 분야를 알고 싶은 사람이라면 적합할 것 같다고 생각했습니다. 더불어 그만큼 책임도 아주 클 것 같습니다..ㅎㅎ

 

35페이지 그림1-3. 기업 내 AI PM의 역할

 

 

2장. AI 프로덕트 개발 사이클

 

AI 프로덕트 개발 라이프사이클은 사용자 중심의 아이디어 구상 단계로 시작하며, AI가 사용자 경험을 간편하게 만들고 개인화된 경험을 제공할 수 있는 기회를 포착하는 데 초점을 맞춰야 합니다. 

 

• 기획: 아이디어가 기술적 실현 가능성, 사용자 매력도, 사업적 타당성을 모두 갖추었는지 평가하기
• 프로토타입: 출시와 동시에 가치를 제공할 수 있는 AI MVP 만들기, 완전한 자동화 대신 핵심 가치 제안에 집중하고 피드백 수집 경로를 확보할 것
• 테스트 및 분석: 프로덕트의 성능, 사용자 피드백, 시장 적합성을 평가하고 반복적인 실험적인 과정을 통해 개선할 것

 

전반적인 개발 라이프사이클은 기존 소프트웨어 개발과 유사한데요. 최초 출시 시, 모든 것을 AI스럽게 자동화하는 것보다는 핵심 가치 제안에 집중하라는 조언이 와닿았습니다. ChatGPT가 등장하고 이후 AI Agent가 나오면서 비전문가들은 간단한 사용자 프롬프트만으로도 많은 것을 알아서 해줄 것이라는 기대를 안고 있는데요. 우리가 서비스에 적용하는 언어모델은 GPT가 아니라 기대하는 만큼의 성능이 항상 나오지는 않습니다(12페이지에서도 저자는 "AI 시스템은 확률적"이라고 강조했습니다). 심지어 개발 시간도 부족하다면 완전 자동화된 서비스를 시장에 내놓겠다는 꿈은 AI 개발 현실을 이해하지 못한 허황된 기대라고 봅니다. 실무 개발자로서 기획자들에게 이런 한계를 미리 분명하게 전달해야겠다고 반성도 했고요, 프로덕트 개발 과정에 있어 초반부터 구성원들 간에 이야기를 많이 나누면서 명확한 목표와 핵심 가치를 정의하고 현실적인 계획을 수립하는 것이 중요하다고 다시한번 깨달았습니다.

 

 

3장. AI PM의 필수 지식

 

AI PM은 정말 많은 것들을 알고 있어야 되더라구요. 사용자 세그먼트와 요구사항을 파악하고, 사람의 요구와 AI의 기능이 상호작용하는 유저 스토리도 작성해야 합니다. 정확도와 속도, 설명 가능성과 성능, 사용자 프라이버시와 개인화 등 AI 트레이드오프를 평가하고 우선순위를 설정해야 하고요. 위 2장에서도 나왔던 AI 프로덕트 개발 라이프사이클에 대한 이해는 필수인데, 명확한 프로젝트 범위 설정을 통해 목표와 제외할 항목을 확정하고, 데이터 수집, 모델 학습, 반복적인 검증과 테스트를 거쳐 배포 후에도 사람의 개입을 유지해야 합니다. 프로젝트 초기 단계에서 제외할 항목까지 분명하게 설정해야 한다는 지점은 현실적인 교훈으로 느껴졌고, AI PM이 기술적 가능성과 사용자의 실제 요구사항을 이어주는 핵심 연결고리라는 것을 재확인했습니다.

 

112페이지 그림3-4. AI 프로덕트 개발 사이클과 사람과의 상호작용

 

 

4장. AI PM의 업무

 

AI PM은 실험 설계를 일상화하고, 비즈니스 목표에 영향을 미치는 영향을 평가하며 데이터 중심 의사결정을 수행합니다. 특히 AI 시스템의 성능은 배포 전 예측이 어렵기 때문에, MVP 정의 시 신중해야 하며 피드백을 수집하고 버전 관리 및 업데이트 전략으로 지속적인 개선을 해야한다고 강조한 점이 인상 깊었습니다. AI PM은 AI/머신러닝 팀, 인프라 운영팀, 비즈니스팀 등 다양한 팀과 이해관계자를 연결하는 역할이고, 성공적인 프로덕트 완성을 위해 넓은 시야를 갖고 분석해야 한다고도 언급합니다.

 

 

5장. AI에서의 전략적 사고

 

AI 프로덕트 개발에 앞서 전략적 사고를 적용하는 방법을 배웁니다. AI로 달성할 목표가 조직의 미션에 부합하는지, 사용자에게 미치는 영향은 어떠한지, AI 모델을 직접 개발할 것인지 솔루션을 구매할 것인지 등을 결정해야 합니다. 데이터 전략에서는 민감 정보나 드문 시나리오 테스트에서는 합성 데이터를, 사용자 행동과 선호도가 핵심인 경우에는 실제 데이터를 활용하라는 점, 진척 사항 공유와 핵심 의사결정을 위해 프로덕트 리뷰 과정을 철저하게 준비하라는 조언도 유익했습니다.

 

 

 

6장. 목표 설정과 성공 측정

 

성공적인 AI 프로덕트를 평가하기 위해 단일 지표가 아닌 다양한 지표를 보완적으로 적용하라고 강조합니다. 지표는 크게 사용자의 참여도와 만족도를 측정하는 AI PM의 주요 관심사인 프로덕트 상태 지표, 시스템의 신뢰성과 확장성을 보여주는 시스템 상태 지표, 모델의 성능을 평가하는 AI 프록시 지표로 구분합니다. 중요한 점은 단순히 모델을 준비하는 것을 넘어 사용자 경험에 모델이 자연스럽게 녹아들도록 해야 한다는 점입니다. 다만 AI PM의 역할이 기술적 수준이 광범위하여, 시스템 상태 지표와 같은 일무 업무는 운영 개발자들과 효율적으로 배분할 필요도 있겠다는 생각이 들었습니다.

 

 

7장. PM을 위한 AI 

 

AI PM이 개발 라이프사이클 전반에 걸쳐 효율성을 높일 수 있는 다양한 AI 툴들을 소개합니다. 목표 달성을 위해 필수 부서들 간의 긴밀한 협업을 유지하고 업무 점검의 효율성을 높이기 위한 협업 툴의 중요성도 강조합니다. 한 하버드 교수가 "AI Won’t Replace Humans — But Humans With AI Will Replace Humans Without AI"라고 했다던데요, 이는 AI PM에게 새로운 기술을 활용하는 것이 선택이 아닌 필수라는 점을 깨달았습니다. (사실 AI PM 뿐만 아니라 많은 직업들이 영향을 받을 것이라 생각합니다)

 

 

8장. AI 에이전트 구축

 

AI 에이전트는 특정 환경에서 자신의 목표와 상황에 맞는 적절한 행동을 하고, 경험을 통해 학습하며 변화에 유연하게 대응하는 높은 자율성을 지닌 지능적인 존재로 정의됩니다. 에이전트 기반 프로덕트 개발은 AI 자체의 역량뿐만 아니라, 사용자의 행동과 요구에 대한 깊은 이해를 바탕으로 비즈니스 가치를 높여야 한다고 강조합니다. 이 챕터는 에이전트 상호 작용을 위한 디자인 패턴, 성공 기준 정의, 의사결정을 돕는 체크리스트를 제공하며 AI 에이전트 구축의 실무적 측면을 탐구합니다. AI 에이전트는 문제 해결 방식과 프로덕트 설계에 새로운 패러다임을 제시하므로, AI PM이라면 새로운 트렌드에 한발 앞서 준비하고 지속적으로 학습해야 한다고 언급하며 마무리합니다.

 

 

---

 

 

도서 총평: 모델을 넘어 AI를 현실적인 제품으로 운영하는 방법

 

 

AI 시스템은 확률적이며, 고품질 데이터에 의존하고, 지속적인 학습과 최적화가 필요합니다. / 12p, 이 책에 대하여

 

AI 자체는 프로덕트가 아닙니다. 진짜 프로덕트는 경험입니다. AI가 진정으로 사용자에게 가치를 제공하려면 특정 경험에 통합되어, 그 경험을 개선하거나 아직 충족되지 않은 요구를 해결해야 합니다. / 13p, 이 책에 대하여

 

이 책은 "AI를 이해하고 잘 쓰는 법"이라기 보다는 "AI를 제품으로 운영하는 법"을 다루는 실용적인 지침서입니다. AI PM으로서 저자가 장기간 체득한 수많은 경험과 통찰이 체계적인 형식지로 잘 정리되어 있습니다. 즉시 내 업무에 적용할 수 있는 체크리스트와 템플릿을 제공하고 있어, AI 프로덕트로 발전하기 위해 무엇을 목표로 하고 무엇이 필요한지 등을 점검할 수 있을 겁니다. 기존 AI 도서들이 대부분 모델 개발 중심의 내용이었던 것과 다르게, AI 를 현실적으로 제품에 녹이는 과정에 대한 내용이므로 기존 소프트웨어 PM도 AI 엔지니어도 읽을 수 있는 도서라고 생각합니다. 특히 저와 같은 AI 엔지니어들은 기술 구현을 넘어, 모델이 비즈니스와 사용자 경험에 어떻게 통합되고 가치를 창출해야 하는지 알고 싶은 분들에게 추천합니다.

 

이 책은 AI를 제품에 녹이는 과정 전체에 대한 내용을 담고 있어서, 엔지니어로서 자기 성찰을 하기도 했습니다. 그동안 모델의 성능과 기술적 구현에만 집중하여, 프로덕트의 성공을 위한 넓은 시야나 주체적인 역할 설정에 소홀했음을 반성했습니다. 프로젝트를 진행할 때 명확한 목표 설정을 하지 않거나 기획이 나올 때까지 기다리는 소극적인 태도는 결국 시간 내에 요구사항을 모두 반영하기 어렵다는 판단을 늦추는 결과를 낳을 수 있습니다. 이 책을 통해 엔지니어도 모델 개발 영역에만 머무르지 않고, 프로덕트 관리의 주체성을 갖고 AI가 창출할 수 있는 비즈니스 가치와 한계를 선명하게 정의하는 데 적극적으로 기여해야 함을 깨달았습니다.

 

특히 자연어 처리를 다루는 언어모델의 경우, 사용자가 자연어로 표현 가능한 범위가 매우 넓어서, 커버해야 할 영역에 대한 고민이 깊었습니다. 이 책에서 "AI 시스템의 성능은 배포 전까지 정확히 예측하게 어렵다"는 점을 지적하며 MVP를 신중하게 정의하고 실제 운영 환경의 데이터를 바탕으로 지속적인 실험과 빠른 반복 개선이 최선임을 다시 한번 확인시켜 줍니다. 현업의 고민에 대한 가장 현실적인 해답이라고 생각하여 크게 공감하며 읽었습니다.

 

<AI 프로덕트 기획과 운영>은 AI 기술을 가진 조직이라면 반드시 읽어야 하는 필독서로, 어떻게 넓은 시야를 갖고 프로덕트 개발을 진행해야 하는지를 체계적이고 분명하게 제안합니다. 저의 개인적인 목표는 이 책의 내용을 바탕으로 기술 구현을 넘어 AI 프로덕트의 성공을 위해 선명한 비전과 측정 가능한 목표를 설정하는 데 주체적으로 기여하는 것입니다. 또한 앞으로 기술 변화에 뒤처지지 않도록 지속적으로 학습하고, 전략적 사고를 바탕으로 프로젝트/프로덕트 관리에 적극적으로 참여해야겠다고 다짐했습니다.👍