Python을 사용한 응용 텍스트 분석

12장. Deep Learning과 그 너머

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 책에서는 실제 적용을 지원하기에 충분히 강력한 기술과 도구를 강조하기 위해 노력했습니다. 때로는 덜 성숙되었지만 유망한 라이브러리와 주로 개별 연구용으로 만들어진 라이브러리는 건너뛰기도 했습니다. 대신, 단일 컴퓨터에서의 임시 분석부터 수십만 명의 사용자의 상호작용을 관리하는 대규모 클러스터까지 쉽게 확장할 수 있는 도구를 선호해 왔습니다. 지난 장에서는 많은 모델을 병렬로 실행할 수 있고 대규모 프로덕션 애플리케이션에 충분히 빠르게 적용할 수 있는 Python 멀티프로세싱 라이브러리부터 강력한 Spark까지, 이러한 몇 가지 도구를 살펴보았습니다. 이 장에서는 자연어 처리의 새로운 최첨단 기술로 빠르게 자리 잡고 있는 신경망에 대해 논의할 것입니다.

아이러니하게도 신경망은 어떤 의미에서 이 책에서 다루는 가장 '오래된' 기술 중 하나이며, 그 계산적 뿌리는 거의 70년 전에 수행된 작업으로 거슬러 올라갑니다. 이 역사의 대부분 동안 신경망은 실용적인 머신 러닝 방법으로 간주될 수 없었습니다. 그러나 지난 20년 동안 세 가지 주요 발전, 즉 첫째, 2000년대 초반에 GPU와 분산 컴퓨팅으로 가능해진 컴퓨팅 성능의 극적인 증가, 둘째, 이 장의 뒷부분에서 설명할 지난 10년간의 학습 속도 최적화, 마지막으로 지난 몇 년 동안 제공된 PyTorch, TensorFlow, Keras와 같은 오픈 소스 Python 라이브러리 덕분에 빠르게 변화하고 있습니다.

이러한 발전에 대한 자세한 논의는 이 책의 범위를 훨씬 벗어나지만 여기서는 5장부터 9장까지 살펴본 머신 러닝 모델군과 관련된 신경망에 대한 간략한 개요를 제공하고자 합니다. 신경망 모델군에 특히 적합한 감정 분류 문제에 대한 사례 연구를 살펴보고, 마지막으로 이 분야의 현재와 미래에 대해 논의합니다.

응용 신경망(Applied Neural Network+)

애플리케이션 개발자로서 우리는 서류상으로는 좋게 들리지만 실제로 운영할 때는 골칫거리가 될 수 있는 최첨단 기술에 대해 조심스럽게 낙관적인 태도를 취하는 경향이 있습니다. 이러한 이유로 이 책의 마지막 장을 신경망에 관한 장으로 선택한 이유에 대한 당위성을 설명하면서 이 장을 시작해야 할 것 같습니다.

현재 기존 모델과 신경망 간의 상충 관계는 모델 복잡성과 속도라는 두 가지 요소와 관련이 있습니다. 신경망은 학습하는 데 시간이 오래 걸리는 경향이 있으므로 5장에서 설명한 워크플로우를 통한 빠른 반복을 방해할 수 있습니다. 또한 신경망은 일반적으로 기존 모델보다 더 복잡하기 때문에 하이퍼파라미터를 조정하기가 더 어렵고 모델링 오류를 진단하기가 더 어렵습니다.

그러나 신경망은 점점 더 실용화되고 있을 뿐만 아니라 기존 모델에 비해 비약적인 성능 향상을 약속합니다. 더 많은 데이터를 사용할 수 있게 되더라도 성능 정체에 직면하는 기존 모델과 달리 신경망 ...