쉘(Shell)에서 중복단어 제거하기

 

쉘에서 중복단어 제거하는 방법 (Shell: How To Remove Duplicate Text Lines)

사전을 만든다고 할때 unique한 단어만 가져와야 할때 간단하게 쉘 스크립트로 작성이 가능하다.
pipeline은 정말 강력한 무기인듯 하다.
uniq와 sort를 통해서 중복된 단어를 제거하는 예제를 소개한다.

 

사용예

• 사용전

banana banana apple banana

• 실행후

apple banana

 

명령어(syntax)

sort {file-name} | uniq -u sort all_words.txt | uniq -u > uniqu_words.txt

 

출처 : ourcstory.tistory.com/406?category=716432