
64
MLOps 실전 가이드
일에서 지정된 행까지 모든 행을 무작위로 섞은 뒤 출력한다. 아래 스크립트의 경우 약
1GB
에
달하는 파일의 첫
100
,
000
개의 행을 사용하여 무작위로 행을 재배치하고 그 출력값을
>
연산
자를 통해 새로운 파일에 작성한다.
bash-3.2$ time shuf -n 100000 en.openfoodfacts.org.products.tsv > 10k.sample.en.
openfoodfacts.org.products.tsv
1.89s user 0.80s system 97% cpu 2.748 total
이처럼 셸을 사용하면 데이터 사이언스 라이브러리로 처리하기에 너무 큰
CSV
파일까지도 간
단한 명령어들을 조합해서 작업하는 시간을 크게 절약할 수 있다.
2.3.5 2.3.5
셸 설정셸 설정
앞서 언급했듯 클라우드 기반 개발 환경에서는 배시 환경을 개발 편의에 맞게 개인화하는 것이
좋다. 셸 설정 파일을 이용하면 개인화된 환경을 쉽게 구성할 수 있다. 지셸과 배시 셸 설정 파
일은 터미널이 새로 열릴 때마다 자동으로 실행하는 내용을 저장하고 있다. 설정 파일은 여러
분이 사용하는 셸마다 다르다. 지셸은
.
zshrc
파일, 배시는
.
bashrc
파일을 설정 파일로 사용
한다. 아래 스크립트는 필자가 맥
OS
의
.
zshrc
파일에 작성한 개인화된 ...