최근에 공개되었던 rockyou2024.txt 파일을 살펴보았습니다. 이 파일은 압축된 상태에서 약 50GB의 용량을 가지고 있으며, 압축을 해제하면 무려 160GB에 달하는 텍스트 파일로 구성되어 있습니다. 용량이 큰 텍스트파일을 다루는 것은 일반적인 방법으로는 쉽지 않습니다.
rockyou2024 대용량 텍스트문서
rockyou2024 파일에서 불필요한 데이터를 제거하고 패스워드 사전 공격 등에 활용하기 위해 용량을 줄인 25GB의 정리된 rockyou 파일도 있지만, 여전히 대용량 텍스트파일 입니다.
대용량 파일을 열 때의 문제점
일반적인 윈도우에서 텍스트 에디터나 메모장을 사용하여 이러한 대용량 파일을 열면 몇가지 문제가 발생합니다.
- 메모리 부족: 시스템 메모리가 부족하여 프로그램이 응답하지 않거나 강제 종료될 수 있습니다.
- 느린 로딩 시간: 파일을 완전히 로드하는 데 오랜 시간이 걸립니다.
- 시스템 성능 저하: 다른 작업에 지장이 생길 정도로 시스템 전체의 성능이 저하될 수 있습니다.
rockyou파일도 마찬가지로 윈도우에서 메모장으로 열게되면 메모장 프로그램이 응답하지 않거나 종료될 수 있습니다.
리눅스에서 효율적으로 대용량 파일 열기
리눅스 환경에서는 이러한 대용량 파일을 효율적으로 처리할 수 있도록 매우 적합합니다. 또 다양한 도구와 명령어가 제공됩니다.
리눅스에서 대용량 파일을 처리하기위해서 파일을 가져온뒤 용량을 확인해봤습니다.
원래의 160GB 가까이 되는 텍스트에는 NULL문자나 불필요한 문자가 너무 많아서 이를 제거한 26GB의 파일입니다.
Cat 파일 내용 확인시도
리눅스에서는 cat 명령을 통해서 파일의 내용을 불러올수 있지만 현재 살펴보려는 파일은 용량이 너무 크기때문에 텍스트의 로딩이 매우 오래걸립니다.
less 명령어로 대용량 파일 처리하기
less는 대용량 파일을 효율적으로 탐색하고 확인할 수 있는 강력한 도구입니다. 이 명령어는 파일 전체를 한 번에 메모리에 로드하지 않고, 필요한 부분만 동적으로 로드하여 시스템 자원을 절약하여 매우 효율적입니다.
파일 열기
less filname
#ex)less rockyou2024.txtless 명령어와 함께 파일 이름을 입력하면 파일의 내용이 즉시 표시됩니다.
내용 검색
/text대용량의 파일에서 원하는 단어를 찾으려면 / 와 함께 찾고자하는 텍스트를 입력하면 됩니다. VI에디터와 매우 유사합니다.