
754
2
부
신경망과 딥러닝
17.1
효율적인 데이터 표현
다음과 같은 숫자 시퀀스를 쉽게 기억할 수 있는 방법이 있을까요?
• 40
,
27
,
25
,
36
,
81
,
57
,
10
,
73
,
19
,
68
• 50
,
48
,
46
,
44
,
42
,
40
,
38
,
36
,
34
,
32
,
30
,
28
,
26
,
24
,
22
,
20
,
18
,
16
,
14
처음 봤을 땐 첫 번째 시퀀스가 짧기 때문에 더 쉬워 보입니다. 하지만 두 번째 시퀀스를 자세
히 살펴보면
50
부터
14
까지 짝수를 나열했다는 걸 알 수 있습니다. 이런 패턴을 알고 나면 첫
번째보다 두 번째 시퀀스를 외우는 것이 더 쉽습니다. 패턴 (줄어드는 짝수), 시작 숫자, 종료
숫자 (
50
과
14
)만 외우면 됩니다. 무엇이든 빠르고 쉽게 기억할 수 있는 사람이라면 두 번째
시퀀스에 어떤 패턴이 있는지 신경 쓸 필요가 없습니다. 모든 숫자를 외우면 그만이니까요. 하
지만 보통 이렇게 긴 시퀀스를 기억하기 어렵기 때문에 패턴을 찾는 것이 유용합니다. 그렇기
때문에 훈련하는 동안 오토인코더에 제약을 가해서 데이터에 있는 패턴을 찾아 활용합니다.
1970
년대 초 윌리엄 체이스
William
Chase
와 허버트 사이먼
Herbert
Simon
은 기억, 지각, 패턴 매칭 사
이의 관계에 관해 많은 연구를 했습니다(
https
://
homl ...