283
6
장
마치며
6.2.2
2
단계: 요구 사항 정의
이 단계에서는 프로젝트의 요구 사항을 정의합니다. 그에 앞서, 체크리스트를 먼저 점검합
니다.
●
API
키 관리 : 개발자의 키를 사용할 것인지 결정합니다.
●
안전 : 악의적인 사용이나 유해한 콘텐츠 생성의 위험은 없나요?
●
비용 : 예산은 얼마인가요?
●
품질 : 성능이 충분한지는 어떻게 판단하나요?
●
반응성 : 동작 속도 관련 이슈
예시에서는
API
키 관리를 위해
3
장의 권장 사항을 따르고 자체 키를 사용하기로 합니다. 오픈
AI
모델은 백엔드에서 호출되며, 관리하는 서버에 호스팅됩니다. 따라서 사용자는
API
호출을
볼 수 없고 키를 알아낼 수도 없습니다.
여기서는 오픈
AI
에 개인 정보를 보내지 않기 위해,
LLM
의 기능을 검색으로 제한합니다. 실제
등록 및 결제는 챗봇 내에서 처리하지 않습니다.
사용자의 입력은 오픈
AI
모델로 전송되므로 프롬프트 인젝션의 위험이 있습니다. 설계 시 위
험을 줄이는 몇 가지 조치 사항을 기억해야 합니다. 예를 들어 사용자의 입력을 모델에 보내기
전에 처리하는 것입니다.
본 예시는
1
장에서 다룬 할루시네이션이나 편향의 위험은 없다고 판단되지만, 위험은 늘 염두
에 둬야 합니다.
비용 측면에서는 각 사용자가 몇 번의 대화를 주고받을지 가정하고, 예상되는 총사용자 수에
맞게 예산을 책정합니다. 이 과정에서는 사용자가 서비스를 남용하지 않도록 메시지 길이 제한
하거나 로그인한 사용자만 챗봇을 사용하도록 결정할 수도 있습니다.
6.2.3
3
단계: 프로토타입 ...