PyTorch의 코더를 위한 AI 및 ML

4장. PyTorch로 데이터 사용하기

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 책의 첫 세 장( )에서는 API를 통해 편리하게 번들로 제공되는 패션 MNIST 데이터 세트부터 다운로드하고 전처리해야 하는 ZIP 파일로 제공되는 이미지 기반 '말 또는 인간' 및 '개와 고양이' 데이터 세트까지 다양한 데이터를 사용해 모델을 훈련했습니다. 지금쯤이면 모델 학습에 필요한 데이터를 얻는 방법은 매우 다양하다는 사실을 깨달았을 것입니다.

그러나 많은 공개 데이터 세트는 모델 아키텍처를 고려하기 전에 다양한 도메인별 기술을 배워야 합니다. PyTorch 도메인과 torch.utils.data.Datasets 네임스페이스에서 제공되는 도구의 목표는 데이터를 수집하고 PyTorch 친화적인 API로 가져오는 모든 전처리 단계가 자동으로 수행되는 사용하기 쉬운 방식으로 데이터 세트를 노출하는 것입니다.

이 아이디어는 이미 2장에서 PyTorch가 패션 MNIST를 처리하는 방법( )에서 조금 보셨을 것입니다. 요약하자면, 데이터를 얻기 위해 해야 할 일은 이것뿐이었습니다:

train_dataset = datasets.FashionMNIST(root='./data', train=True,
                             download=True, transform=transform)
 

이 데이터 세트( )의 경우, 패션 MNIST에 대한 참조가 포함된 데이터 세트 객체를 얻기 위해 torchvision 라이브러리에서 임포트를 수행했습니다:

from torchvision import datasets

컴퓨터 비전 지향 데이터 세트이기 때문에, 이 데이터 세트가 torchvision 라이브러리에 있는 것이 당연합니다.

PyTorch에는 같은 방식으로 로드할 수 있는 다양한 데이터 유형의 다른 많은 데이터 세트가 있습니다. 여기에는 다음이 포함됩니다:

Vision

패션 MNIST는 앞서 언급한 torchvision 라이브러리에 있습니다. "이미지 분류" 기본 제공 데이터 세트 중 하나이지만 이미지 감지, 세그멘테이션, 광학 흐름, 스테레오 매칭, 이미지 페어링, 이미지 캡션, 비디오 분류, 비디오 예측 등과 같은 다른 시나리오를 위한 더 많은 데이터 세트가 있습니다.

텍스트

일반적인 텍스트 데이터 세트는 토치 텍스트 라이브러리에서 사용할 수 있습니다. 여기에 나열하기에는 너무 많지만 텍스트 분류, 언어 모델링, 기계 번역, 시퀀스 태깅, 질문과 답변, 비지도 학습을 위한 데이터 세트가 있습니다. 이에 대한 자세한 내용은 PyTorch 문서에서 확인할 수 있습니다. 이 라이브러리에는 데이터 세트에만 국한되지 않고 텍스트를 처리할 때 사용할 수 있는 많은 도우미 함수도 있습니다.

오디오

torchaudio 라이브러리에는 소리나 음성에 대한 머신 러닝 시나리오에서 사용할 수 있는 많은 데이터 세트가 포함되어 있습니다. 자세한 내용은 PyTorch 문서에서 확인할 수 있습니다.

모든 ...