
388
2
부
모델 사용
15.4
transformers
시작하기
14
장에서 허깅 페이스 허브에 있는 모델을 사용하는 방법을 알아봤습니다. 허브에 접근할 수
있으면 다양한 파이프라인으로 얼마나 쉽게 사용할 수 있는지 보았습니다. 이 장에서는 조금
더 자세히 알아보겠습니다. 먼저 필요한 라이브러리를 설치합니다.
pip install transformers
pip install datasets # 허깅 페이스 데이터셋
pip install tokenizers # 토크나이저
허깅 페이스 허브의 많은 모델은
transformers
를 사용해 접근할 수 있습니다. 모델을 사용하
려면 모델에 대한 사용 권한과 허깅 페이스의 인증 토큰이 필요합니다.
14
장에서 액세스 토큰
을 만드는 방법을 알아보았습니다. 그다음 사용하려는 모델에 따라서 모델 페이지에서 사용 권
한을 요청해야 할 수도 있습니다. 구글 콜랩의 비밀 보안을 통해
transformers
라이브러리를
사용하는 방법을 배웠지만 다른 방식으로도
transformers
를 사용할 수 있습니다.
토큰을 준비했다면 다음과 같은 파이썬 코드로 토큰을 입력합니다.
from huggingface_hub import login
login(token="your_token_here")
원한다면 환경 변수로 설정할 수 있습니다.
export