에이전트 시대의 AI 시스템 설계

87

2

장

콘텐츠 스타일의 제어

다는 점이다. 이 패턴이 표집 과정에 끼어드는 방식 때문에 이런 통신이 발생하게 된다. 모델을

로컬에 호스팅하거나 클라이언트 코드를 모델이 있는 컴퓨터에서 직접 실행하는 방식으로 애

플리케이션을 배포하지 않는 한 (이 부분은 모델 제공업체에 문의해야 할 것이다 ), 이런 통신

요구사항 때문에 지연시간이 허용할 수 없을 정도로 길어질 여지가 있다. 그래서 현실적으로

로짓 마스킹은 모델을 로컬에서 호스팅하는 경우에만 적용할 수 있을 때가 많다. 하지만 그런

조건이 충족된다면, 이 패턴은 특정 유형의 복잡한 문제들에서 더 작은 모델이 더 크고 비싼 모

델에 필적하는 성능을 내게 하는 방법을 제공한다.

셋째 고려사항은 로짓 마스킹이 특정한 시퀀스들을 ‘검열’하는 방식으로 작동한다는 점이다. 규

칙을 충족하는 후보 토큰 시퀀스가 아예 없으면 유효한 콘텐츠를 생성할 수 없다. 앞의 논의에

서는 그런 상황에 처한 경우 다른 출발점에서 생성을 다시 시작할 것을 제안했지만, 더 간단한

방법은 오류를 발생하거나 요청을 거부하는 것이다. 로짓 마스킹을 사용하는

AI

엔지니어는 이

런 일이 드물게 발생하도록 프롬프트에 충분한 정보를 제공하는 것이 중요하다.

자체점검

패턴 (제

9

장의 패턴

31

)도 로짓을 사용하는 또 다른 예이다.

2.1.5

참고문헌

강화학습에서는 로짓을 변경해서 선택 확률을

0

으로 만드는 것을

유효하지 않은 행동 마스킹

in-

valid

action

masking

이라고 부른다. 기록된 첫 용례는 비냘스

Vinyals ...