AI를 위한 필수 수학

295

Chapter 7 -

자연어 처리와 금융 인공지능: 벡터화와 시계열 분석

7.7.5

이미지 캡셔닝

이미지 캡셔닝은 컴퓨터 비전 기술과 자연어 처리 기술이 결합된 형태다.

7.7.6

챗봇

챗봇은 자연어 처리 분야의 궁극적인 응용 애플리케이션이다. 챗봇은 언어 구문 분석, 검색, 분

석, 응답 생성, 요청에 대한 응답, 실행 등 여러 종류의 처리가 필요하다. 또한 과거 문장과 응

답에 대한 메모리를 유지하기 위해 데이터베이스가 필요하다.

7.7.7

기타 애플리케이션

다른 애플리케이션으로는 개체명 인식

named

-

entity

recognition

163

, 개념 이해

conceptual

focus

164

, 정보 추

출(

예

날짜 등), 언어 생성 애플리케이션 등이 있다. 이 내용은 <

Chapter

8

확률적 생성 모델>

에서 다룬다.

7.8

트랜스포머와 어텐션 모델

트랜스포머와 어텐션

Attention

모델은 기계 번역, 질문 응답, 언어 생성, 개체명 인식, 이미지 캡

셔닝, 챗봇과 같은 자연어 처리 애플리케이션을 위한 최신 기술이다 (

2022

년 기준 ). 현재 이

모델들은 구글의

BERT

(양방향 인코더 트랜스포머 표현 )

165

와

Open

AI

의

GPT

-

2

(사전 학

습된 생성 트랜스포머 ),

GPT

-

3

166

와 같은 대규모 언어 모델의 기반이 되고 있다.

트랜스포머는 기존의 자연어 ...