UtilityNest

중복 줄 제거

이메일 주소, 키워드, 로그, 상품 코드, URL 목록을 붙여 넣으면 같은 줄은 하나만 남깁니다. 입력 줄, 제거한 줄, 결과 줄 수가 바로 보이고, 모든 처리는 기기 안에서 이뤄집니다.

0

입력 줄

0

제거

0

결과 줄

정렬

중복 줄 제거 사용 방법

  1. 1원본 목록 칸에 목록을 붙여 넣거나 붙여넣기 버튼으로 클립보드에서 가져옵니다. 한 줄에 항목 하나씩입니다.
  2. 2대소문자 구분 안 함, 앞뒤 공백 무시, 빈 줄 제거 스위치를 정합니다. 기본값은 세 가지 모두 켜짐입니다.
  3. 3정렬을 고릅니다. 그대로는 처음 나온 순서를 지키고, A→Z와 Z→A는 가나다·알파벳순, 많이 반복된 순은 자주 나온 줄을 위로 올립니다.
  4. 4결과를 복사하거나 다운로드 버튼으로 deduped.txt 파일로 저장합니다. 아래의 반복된 줄 보기를 열면 여러 번 나온 줄과 횟수가 나옵니다.

이럴 때 씁니다

목록을 합치면 중복이 생깁니다. 서로 다른 달에 받은 회원 명단 두 개는 대부분 주소가 겹치고, 여러 번 조사한 키워드 목록에는 대소문자만 다른 같은 표현이 섞입니다. 서버 로그에는 같은 경고가 수백 번 반복되고, 엑셀 탭 세 개에서 복사한 열에는 같은 상품 코드가 계속 나옵니다. 수식을 쓰지 않고 몇 초 만에 깔끔한 목록이 필요할 때 쓰면 됩니다.

무엇을 중복으로 보나요

설정을 적용한 뒤 완전히 같은 줄만 중복으로 봅니다. 대소문자 구분 안 함을 켜면 Apple과 apple은 같은 줄이 되고, 먼저 나온 표기가 남습니다. 앞뒤 공백 무시를 켜면 줄 앞뒤의 공백과 탭을 무시해 엑셀이나 메일에서 복사할 때 딸려 온 공백을 잡아냅니다. 줄 가운데 공백은 그대로 비교하므로 서울 시청과 공백이 두 칸인 서울 시청은 다른 줄입니다. 빈 줄 제거는 빈 줄을 지우고 제거한 줄 수에 포함합니다.

줄 전체를 비교할 뿐 줄 안의 열이나 항목은 보지 않습니다. [email protected], 김안나와 [email protected], 김안나 팀장은 다른 줄입니다.

정렬 고르기

그대로가 가장 안전합니다. 원래 순서를 지키고 뒤에 나온 중복만 지웁니다. 순위표나 로그처럼 순서에 의미가 있을 때 쓰세요. A→Z는 숫자를 자연스럽게 정렬해 item2가 item10보다 앞에 오고, 대소문자는 무시하고 정렬합니다. 많이 반복된 순은 간단한 빈도 보고서입니다. 설문 응답, 오류 메시지, 태그에서 무엇이 가장 많았는지 바로 보입니다.

직접 테스트해 본 결과

실제 회원 명단처럼 만든 20,300줄 파일로 테스트했습니다. 서로 다른 주소 6,000개가 들어 있고, 약 15%는 대소문자가 다르게, 약 10%는 끝에 공백이 붙어 있으며, 빈 줄 300개가 섞여 있습니다. 기본 설정에서 입력 20,300줄, 제거 14,502줄, 결과 5,798줄로 서로 다른 주소 수와 정확히 맞았고, 헤드리스 크롬에서 약 0.75초 걸렸습니다. 많이 반복된 순으로 바꾸자 12번 나온 주소가 맨 위에 왔고, 처음 나온 대문자 표기 그대로 남았습니다.

대소문자 구분 안 함을 끄면 11,930줄이 남았고, 앞뒤 공백 무시까지 끄면 10,366줄이 남았습니다. 이 차이가 내보낸 파일 속에 숨어 있는 지저분함이고, 그래서 스위치가 기본으로 켜져 있습니다.

목록 종류별 팁

이메일 주소: 대소문자 구분 안 함을 켜 두세요. 실제로 메일 서비스는 대소문자가 달라도 같은 받은편지함으로 보냅니다. URL: example.com/page와 끝에 슬래시가 붙은 example.com/page/는 다른 줄로 보므로, 같게 보려면 슬래시나 추적용 파라미터를 먼저 지우세요. 키워드: 중복을 지운 뒤 A→Z로 정렬하면 비슷한 표현이 나란히 모여 손으로 정리하기 쉬워집니다. 코드·ID: 시스템에서 ab12와 AB12가 다른 항목이라면 대소문자 구분 안 함을 끄세요.

한계와 자주 생기는 문제

결과 줄 수가 예상보다 많으면 먼저 스위치를 확인하세요. 대소문자나 공백 때문에 거의 같은 줄이 따로 남는 경우가 많습니다. 목록이 한 줄로 길게 들어왔다면 항목이 줄바꿈이 아니라 쉼표나 세미콜론으로 나뉘어 있는 것이니, 메모장에서 줄바꿈으로 바꾼 뒤 붙여 넣으세요. 수십만 줄도 처리되지만 입력 칸 스크롤이 느려질 수 있습니다. 이 페이지에는 파일 열기 버튼이 없으니 .txt나 .csv 파일은 편집기에서 열어 내용을 붙여 넣으세요.

자주 묻는 질문

처음 나온 줄과 마지막 줄 중 무엇이 남나요?

처음 나온 줄이 남고 뒤에 나온 중복이 지워집니다. 정렬을 고르지 않으면 원래 순서가 유지됩니다.

엑셀이나 CSV에서 특정 열 기준으로 중복을 지울 수 있나요?

이 도구는 줄 전체를 비교합니다. 일부 열만 기준으로 삼으려면 엑셀·CSV 중복 행 제거 도구를 쓰세요.

목록이 업로드되나요?

아니요. 비교는 브라우저 안에서 이뤄지므로 고객 이메일이나 내부 코드가 기기 밖으로 나가지 않습니다. 스위치 설정만 이 브라우저에 기억되고 목록은 저장되지 않습니다.

줄마다 몇 번 나왔는지 볼 수 있나요?

네. 숫자 아래의 반복된 줄 보기를 열면 줄마다 ×12처럼 횟수가 나옵니다. 반복된 줄은 최대 500개까지 표시합니다.

지워져야 할 줄이 남아 있어요

눈에 안 보이는 차이를 찾아보세요. 가운데의 두 칸 공백, 서로 다른 하이픈이나 따옴표, 웹페이지에서 복사한 줄바꿈 없는 공백(NBSP)이 있으면 같아 보여도 다른 줄입니다.