데이터 엔지니어를 위한 97가지 조언

45 저가형 센서와 데이터 품질

 

시바난드 프랍훌랄 구네스(Shivanand Prabhoolall Guness) 박사

2016년에 저는 저가형 센서와 라즈베리 파이Raspberry Pi나 아두이노Arduino 등의 저전력 기기를 사용해서 대기질 모니터링 제품을 개발하는 프로젝트를 진행하고 있었습니다. 그래서 프로젝트를 시작하기 위해 개념 증명 작업에서 사용할 센서와 보드를 주문했습니다.

처음 겪은 문제는 저가형 센서였습니다. 우리는 필요한 수량만큼만 센서를 주문했습니다. 보드 하나마다 미세먼지 센서 하나, 산화질소 센서 하나, 오존 센서 하나를 주문했고요. 측정 위치 한 곳에 몇 개의 모니터링 센서를 설치한 다음, 1년 동안 대기질을 모니터링하려고 했습니다. 인터넷이 안 될 경우 데이터를 SD 카드에 저장하여 데이터를 보호하는 방식으로 이중화를 구축했습니다. 처음 몇 주가 지난 다음, 전력이 급증하는 전원 서지surge 문제 때문에 SD 카드에 저장된 모든 데이터가 유실되었습니다. 라즈베리 파이가 손상되었지만 센서는 사용 가능해보였기에 센서를 재사용했습니다.

두 번째 문제는 인터넷이었습니다. 앞서 말했듯이 측정 지점에서 인터넷이 동작하지 않는 경우에는 모든 데이터가 SD 카드에 저장되고 있었습니다. 데이터 수집 단계에서 인터넷 문제가 여러 ...