fastai와 파이토치가 만나 꽃피운 딥러닝

651

17



기초부터 만드는 신경망

17.3



이 장에서는 행렬의 곱셈에서 시작해서 밑바닥부터 구현한 순전파와 역전파 등 딥러닝의 기초

를 살펴봤습니다. 그리고 코드를 리팩터링하여 파이토치가 내부적으로 작동하는 방식을 알아

봤습니다.

이 장의 내용을 요약하면 다음과 같습니다.

●

신경망은 기본적으로 수많은 행렬의 곱셈과 비선형성으로 구성됩니다.

●

파이썬은 느립니다. 빠른 코드를 원한다면 벡터화를 통해 요소별 연산 및 브로드캐스팅의 이점을 누릴

수 있는 형태로 작성해야만 합니다.

●

두 텐서의 마지막부터 하나씩 앞으로 이동하며 차원을 비교하여 호환이 가능하면(완전히 동일하거나,

둘 중 하나가

1

일 때) 브로드캐스팅을 적용할 수 있습니다. 텐서를 브로드캐스트할 수 있게 하려면 때로

는

unsqueeze

메서드 또는

None

색인 기능으로 크기가

1

인 차원을 추가해야 합니다.

●

학습을 시작할 때 신경망을 적절히 초기화하는 것은 매우 중요합니다. 활성화 함수로

ReLU

를 선택했다

면 케이밍 초기화를 사용해야 합니다.

●

역전파란 모델의 출력에서 그레이디언트를 계산하고 한 번에 한 계층씩 앞으로 이동하며 연쇄 법칙을 여

러 번 적용한 것입니다.

●

nn.Module

(

fastai

의

Module

이 아님)을 상속받을 때,

__init__

메서드의 시작 지점에 상위 클래스의

__init__

메서드를 호출하고 입력 데이터를 받아들여 원하는 결과를 반환하는

forward

함수를 정의

해야만 합니다.

17.4



1

단일 뉴런을 구현하는 ...