에이전트 시대의 AI 시스템 설계

278

에이전트 시대의 AI 시스템 설계

가능한 자료에 나오는 작업이라면 그 무엇이든

LLM

이 접했을 것이다. 이러한 점을 고려해서,

이번 장에서는

LLM

의 추론 능력에 한계가 있음을 수학과 논리 추론 문제를 이용해서 실제로

확인해 볼 것이다. 그렇다고 이번 장의 패턴들이 수학이나 논리 추론 문제에 대한

해법

은 아님

을 유의하기 바란다. 이 패턴들은 투자 위원회 메모 작성이나 내부 조사 판결 같은 문제들을 위

한 해법이기도 하다.

5.1.1

알고 있는 능력

수학 및 논리 추론 문제라도 공개적으로 널리 알려진 것들은

LLM

의 훈련 데이터셋에 포함되기

마련이다. 예를 들어 여러분이 선호하는 기초 모델에 다음 작업을 요청해 보기 바란다.

100에서 110 사이의 소수(prime number)를 나열하세요.

아마

101

,

103

,

107

,

109

라는 올바른 결과를 얻을 것이다. 예를 들어 제미나이 플래시는 다음

과 같이 응답했다 (전체 코드는 원서 깃허브 저장소의

limitations

.

ipynb

파일에 있다 ).

100과 110 사이의 소수는 다음과 같습니다:

101

103

107

109

제미나이의 훈련 데이터에 딱 이 질문에 대한 답변이 있었을 가능성은 낮다. 그보다는, 제미나

이가 자신이 접했던 소수 확인 방법을 우리가 지정한 범위로 일반화했을 것이다.

이번에는

GPT

-

4o