[Shell] 데이터 특정 퍼센트로 나누는 방법

2021. 5. 3. 00:28 기타/Shell script, bash

데이터를 특정 퍼센트로 나누는 방법

하나의 큰 데이터를 특정 퍼센트 만큼 샘플링을 하거나, train/test 데이터셋으로 나누고 싶은 경우가 있는데, 이때 사용하면 좋다.

1) split 70% based on lines

 

split -l $[ $(wc -l filename|cut -d" " -f1) * 70 / 100 ] filename

2) split 70% based on bytes

split -b $[ $(wc -c filename|cut -d" " -f1) * 70 / 100 ] filename

출처 : ourcstory.tistory.com/449?category=716432