로 생성되기 때문에 각 단어는 이전 단어에만 주의를 기울일 수 있다. 또한 디코더는 인코더로
부터 받는 출력에 주의를 기울이는 추가 어텐션 메커니즘을 갖고 있다.
7.8.3
트랜스포머는 완벽하지 않다
트랜스포머 모델은 자연어 처리 분야에서 혁신을 일으켰지만 완벽하지는 않다. 일반적으로 언
어 모델은 생각 없이 흉내만 낸다. 언어 모델은 입력이나 출력을 이해하지 못한다.
MIT
테크놀
로지 리뷰와 같은 비판적인 기사
174
에서는 언어 모델이 언어 자체를 이해하지 못하고 있으며
긴 텍스트 생성 시 어휘를 반복하는 등의 단점을 자세히 설명한다. 그럼에도 불구하고 트랜스
포머 모델은 자연어 분야에 큰 변화를 가져왔고 생명의학, 컴퓨터 비전, 이미지 생성 등의 분야
에도 영향을 미치고 있다.
7.9
시계열 데이터를 위한 합성곱 신경망
자연어 처리 및 금융 영역에서는 시계열
time
series
이라는 용어 대신 시간 순서
time
sequence
라는 용
어를 사용해야 한다. 수학에서 시리즈
series
는 무한한 수열의 항을 합하는 것을 의미하기 때문에
모든 자연어 데이터와 대부분의 금융 데이터처럼 데이터가 합산되지 않는 경우 실제로는 시리
즈가 아닌 숫자 또는 벡터
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.