파이썬으로 웹 크롤러 만들기: 초간단 나만의 웹 크롤러로 원하는 데이터 가져오는 방법

CHAPTER 13

스크레이퍼로 웹사이트 테스트하기

여러 기술이 복합된 웹 프로젝트를 개발하다 보면, 정기적으로 테스트하는 부분은 보통 서버 쪽에 한정되기 마련입니다. 파이썬을 포함해 최근의 프로그래밍 언어는 대부분 어떤 종류든 테스트 프레임워크가 들어 있지만, 웹사이트의 프런트엔드는 보통 이런 자동화된 테스트에서 제외되곤 합니다. 사실 프로젝트에서 방문자와 마주하는 부분은 프런트엔드밖에 없는데도 말입니다.

웹사이트를 개발할 때 여러 가지 마크업 언어와 프로그래밍 언어를 뒤죽박죽으로 섞어 쓰는 것도 이런 문제의 한 원인입니다. 자바스크립트에 단위 테스트를 적용할 수 있지만, HTML이 바뀌어서 자바스크립트가 의도한 대로 동작할 수 없게 될 때도 있습니다.

웹사이트의 프런트엔드 테스트는 나중으로 미뤄지거나 초보 프로그래머에게 맡길 때가 대부분입니다. 그리고 이런 초보 프로그래머에게 주어지는 것은 기껏해야 체크리스트와 버그 트래커입니다. 하지만 조금만 수고를 들이면 이 체크리스트를 단위 테스트로, 사람의 눈을 웹 스크레이퍼로 대체할 수 있습니다.

웹 인터페이스의 모든 부분이 의도한 대로 동작하는지 매일 테스트하고, 누군가 웹사이트에 새 기능을 추가하거나 요소 위치를 바꿀 때마다 테스트 슈트가 동작하는 테스트 주도 웹 개발에 대해 상상해봅시다. ...