Разное

Поиск дублей: 7 лучших программ для поиска файлов-дубликатов

19.11.1971

Содержание

7 лучших программ для поиска файлов-дубликатов

Наверняка у любого из нас на диске со временем скапливаются файлы-дубликаты. Файлы в «Загрузках», которые вы скачали несколько раз, одинаковые фотографии и музыкальные композиции, лежащие в таких недрах, что до них просто не доходят руки. Избавиться от всего этого можно и вручную, но куда быстрее за вас сработают специальные утилиты, ищущие одинаковые файлы.

CCleaner

Очень популярный «чистильщик», который, наверное, установлен у каждого. Да, он может не только искать системный мусор и очищать историю и cookies браузеров, но и убирать дубликаты файлов.

Платформы: Windows, Mac.

Цена: бесплатно, 24,95 доллара за расширенную версию.

Загрузить CCleaner →

dupeGuru

Программа ищет файлы как с одинаковыми или похожими названиями, так и с идентичным содержимым. Хорошо работает с музыкой и может отыскивать одинаковые музыкальные файлы, даже если у них разные теги. Кроме того, dupeGuru умеет сравнивать изображения, чтобы найти не только одинаковые, но и просто похожие фотографии.

Разрабатывается для Mac и Linux. Версия для Windows больше не поддерживается разработчиком, но её можно загрузить с официального сайта — она полностью работоспособна.

Платформы: Windows, Mac, Linux.

Цена: бесплатно.

Загрузить dupeGuru →

SearchMyFiles

Продвинутое приложение для поиска файлов, которое, помимо прочего, может удалять дубликаты. SearchMyFiles обладает гибкими фильтрами, так что вы можете настроить поисковую выдачу так, как вам угодно.

Платформы: Windows.

Цена: бесплатно.

Загрузить SearchMyFiles →

Gemini 2

Популярное приложение для Mac, которое ищет одинаковые или похожие файлы и показывает, в чём разница между ними. Копии в «Фото», в фонотеке iTunes — мимо Gemini 2 не пройдёт ничего. Разработчиками заявлен умный механизм поиска дубликатов, который запоминает, какие файлы вы оставляете, а что решаете удалить.

Платформы: Mac.

Цена: 19,95 доллара.

Загрузить Gemini 2→

AllDup

Хотя AllDup бесплатна, она умеет немало. Ищет, удаляет, копирует и перемещает дубликаты файлов, в том числе одинаковые аудиозаписи с разными тегами. Присутствует гибкая настройка поиска. С помощью встроенного просмотрщика можно изучить файлы и выбрать, что именно удалять.

Платформы: Windows.

Цена: бесплатно.

Загрузить AllDup →

Duplicate File Finder

Duplicate File Finder быстро и эффективно отыскивает файлы-копии. Предоставляет интересную возможность поиска дубликатов не только на жёстком диске, но и в локальной сети. Может работать с изображениями и музыкой, сравнивая как теги, так и содержимое. Функция предпросмотра поможет разобраться, что действительно удалить, а что оставить. К сожалению, в бесплатной версии довольно много опций недоступно.

Платформы: Windows.

Цена: бесплатно, 29,95 доллара за расширенную версию.

Загрузить Duplicate File Finder →

Total Commander

Универсальный файловый менеджер, который может сделать с вашими файлами что угодно. В том числе и найти файлы-дубликаты. Включить опцию поиска копий можно на вкладке с параметрами поиска, там же, где указываются другие атрибуты искомых файлов.

Платформы: Windows.

Цена: 43,9 доллара.

Загрузить Total Commander →

DupeGuru выглядит наиболее привлекательным вариантом. Он бесплатен, при этом предлагает все необходимые функции для избавления вашего диска от скопившегося барахла. Огорчает лишь тот факт, что разработка версии для Windows остановлена. Пользователям Windows, не желающим платить за коммерческие альтернативы, больше подойдёт AllDup. А CCleaner и Total Commander — это более универсальные и распространённые решения, которые, наверное, уже установлены у каждого.

Поиск дубликатов файлов Windows | remontka.pro

&nbsp windows | для начинающих | программы

В этой инструкции о нескольких бесплатных и простых способах найти дубликаты файлов на компьютере в Windows 10, 8 или 7 и удалить их при необходимости. Прежде всего речь пойдет о программах, которые позволяют выполнить поиск дубликатов файлов, но, если вас интересуют способы интереснее, в инструкции затронута и тема их поиска и удаления с помощью Windows PowerShell.

Для чего это может потребоваться? Почти у любого пользователя, который достаточно продолжительное время сохраняет архивы фотографий, видео, музыки и документов к себе на диски (не важно, внутренние или внешние хранилища), с огромной вероятностью «образуются» дубликаты одних и тех же файлов, занимающие лишнее место на HDD, SSD или другом накопителе.

Это не особенность Windows или систем хранения, скорее — особенности нас самих и результат значительного объема хранимых данных. И, может оказаться, что найдя и удалив дубликаты файлов, вы сможете освободить значительное место на диске, а это может быть полезным, особенно для SSD. См. также: Как очистить диск от ненужных файлов.

Важно: не рекомендую выполнять поиск и удаление (особенно автоматическое) дубликатов сразу на всём системном диске, указывайте в приведенных программах ваши пользовательские папки. Иначе есть значительный риск удалить необходимые системные файлы Windows, которые нужны более чем в одном экземпляре.

AllDup — мощная бесплатная программа для поиска дубликатов файлов

Бесплатная программа AllDup доступна на русском языке и содержит все необходимые функции и настройки, имеющие отношение к поиску дубликатов файлов на дисках и в папках Windows 10 – XP (x86 и x64).

Среди прочего поддерживается поиск на нескольких дисках, внутри архивов, добавление фильтров файлов (например, если нужно найти только дубликаты фотографий или музыки или исключить файлы по размерам и другим характеристикам), сохранение профилей поиска и его результатов.

По умолчанию, в программе сравнение файлов происходит только по их именам, что не очень разумно: рекомендую сразу после начала использование включить поиск дубликатов только по содержимому или хотя бы по имени и размеру файла (эти настройки можно изменить в «Метод поиска»).

При поиске по содержимому файлы в результатах поиска сортируются по их размеру, доступен предварительный просмотр для некоторых типов файлов, например, для фотографий. Чтобы удалить ненужные дубликаты файлов с диска, отметьте их и нажмите кнопку слева вверху в окне программы (Файл-менеджер для операций с выбранными файлами).

Выберите, полностью ли их удалить или переместить в корзину. Допустимо не удаление дубликатов, а их перенос в какую-либо отдельную папку или же переименование.

Подводя итог: AllDup функциональная и настраиваемая утилита для быстрого и удобного поиска дубликатов файлов на компьютере и последующих действий с ними, к тому же с русским языком интерфейса и (на момент написания обзора) чистая от какого-либо стороннего ПО.

Скачать AllDup можно бесплатно с официального сайта http://www.allsync.de/en_download_alldup.php (там же присутствует и portable версия, не требующая установки на компьютер).

DupeGuru

Программа DupeGuru — еще одна отличная бесплатная программа для поиска дубликатов файлов на русском языке. К сожалению, разработчики с недавних пор перестали обновлять версию для Windows (но обновляют DupeGuru для MacOS и Ubuntu Linux), однако имеющаяся на официальном сайте https://dupeguru.voltaicideas.net/ версия для Windows 7 (внизу страницы) прекрасно работает и в Windows 10.

Все что потребуется для использования программы — добавить папки для поиска дубликатов в список и запустить сканирование. По его завершении вы увидите список найденных дубликатов файлов, их расположение, размеры и «процент», на сколько этот файл совпадает с каким-либо другим файлом (по любым из этих значений можно отсортировать список).

При желании, вы можете сохранить этот список в файл или отметить файлы которые требуется удалить и сделать это в меню «действия».

Например, в моем случае одна из тестировавшихся недавно программ, как оказалось, скопировала свой файлы установки в папку Windows и оставила там (1, 2), забрав у меня драгоценные 200 с лишним Мб, этот же файл остался и в папке загрузок.

Как видно на скриншоте, отметка для выбора файлов есть только у одного из найденных образцов (и только его можно удалить) — при этом в моем случае логичнее удаление не из папки Windows (там, в теории, файл может быть нужен), а из папки загрузок. Если выбор нужно изменить, отметьте файлы, которые не нужно удалять и затем, в меню правого клика мыши — «Сделать выбранные эталоном», тогда отметка для выбора исчезнет у текущих файлов и появится у их дубликатов.

Думаю, с настройками и остальными пунктами меню DupeGuru у вас не составит труда разобраться: все они на русском и достаточно понятны. А сама программа ищет дубликаты быстро и надёжно (главное не удаляйте какие-либо системные файлы).

Duplicate Cleaner Free

Программа для поиска дубликатов файлов на компьютере Duplicate Cleaner Free — еще одно скорее хорошее, чем плохое решение, особенно для начинающих пользователей (на мой взгляд, этот вариант проще). Несмотря на то что сравнительно ненавязчиво предлагает приобрести Pro версию и ограничивает некоторые функции, в частности поиск только одинаковых фотографий и изображений (но при этом доступны фильтры по расширениям, что позволяет также искать только картинки, возможен поиск только одинаковой музыки).

Также, как и предыдущие программы, Duplicate Cleaner имеет русский язык интерфейса, но некоторые элементы, судя по всему, были переведены с использованием машинного перевода. Тем не менее, почти всё будет понятно и, как было упомянуто выше, работа с программой скорее всего будет очень простой для начинающего пользователя, которому потребовалось найти и удалить одинаковые файлы на компьютере.

Скачать бесплатно Duplicate Cleaner Free вы можете с официального сайта https://www.digitalvolcano.co.uk/dcdownloads.html

Как найти дубликаты файлов с помощью Windows PowerShell

При желании, можно обойтись без сторонних программ для поиска и удаления дубликатов файлов. Недавно я писал о том, как вычислить хэш файла (контрольную сумму) в PowerShell и эту же функцию можно использовать для поиска одинаковых файлов на дисках или в папках.

При этом, можно найти множество различных реализаций скриптов Windows PowerShell, позволяющих найти дубликаты файлов, вот некоторые варианты (сам я не специалист по написанию таких программ):

Ниже на скриншоте — пример использования слегка модифицированного (чтобы он не удалял дубликаты файлов, а отображал их список) первого скрипта в папке изображений (где лежат две одинаковые картинки — те же, что нашла программа AllDup).

Если для вас создание скриптов PowerShell — привычное дело, то, думаю, в приведенных примерах вы сможете найти полезные подходы, которые помогут реализовать поиск дубликатов файлов необходимым именно вам способом или даже автоматизировать процесс.

Дополнительная информация

Помимо приведенных программ поиска дубликатов файлов, есть много других утилит такого рода, многие из них не бесплатны или ограничивают функции до регистрации. Также при написании этого обзора попались программы-пустышки (которые делают вид, что ищут дубликаты, а по факту лишь предлагают установить или купить «основной» продукт) от довольно-таки именитых разработчиков, которые у всех на слуху.

На мой взгляд, свободно распространяемые утилиты для поиска дубликатов, особенно первые две из данного обзора, более чем достаточны для любых действий по поиску одинаковых файлов, в том числе музыки, фотографий и картинок, документов.

Если же приведенные варианты вам показались не достаточными, при загрузке других найденных вами программ (да и перечисленных мною — тоже) будьте внимательны при установке (во избежание установки потенциально нежелательного ПО), а еще лучше — проверяйте загружаемые программы с помощью VirusTotal.com.

Подписаться | Поддержать сайт и автора

А вдруг и это будет интересно:

Удаление дубликатов файлов в CCleaner: Windows 7, 8, 10

Дубли файлов занимают гигабайты жесткого диска и тормозят работу Windows. Для удаления дубликатов файлов в CCleaner перейдите в раздел «Сервис», выберите пункт «Поиск дублей», задайте критерии поиска и нажмите на кнопку «Найти».

Ввиду отсутствия стандартной утилиты Windows пользователь перебирает десятки тысяч файлов вручную. Появляется риск удалить важную информацию или системные файлы. Выполните поиск дублей в CCleaner и очистите винчестер от ненужной информации.

Необходимо скачать CCleaner бесплатно на русском языке. Запустите утилиту. В разделе «Сервис» выберите вкладку «Поиск дублей».

Задайте критерии дубликатов. Программа ищет документы с одинаковыми именами, размерами, датами создания и содержимым. Настройки представлены в блоке «Критерий поиска». Простановка галочек увеличивает время поиска и повышает точность результата.

В блоке «Пропускать файлы» по умолчанию игнорируются документы:

  • нулевого размера;
  • только для чтения;
  • системные;
  • скрытые;
  • менее 1 Мб.

Меняйте настройки обдуманно. При снятии галочки «Системные» и обнаружении дубликатов системных файлов задумайтесь о целесообразности удаления.

В блоке «Включения-Исключения» по умолчанию доступны для поиска все локальные диски.

Вкладка «Включения»

Осуществляет выбор конкретных директорий для сканирования.

Выберете вкладку «Включения» и нажмите кнопку «Добавить». Появится диалоговое окно. В блоке «Включения» нажмите «Обзор». Выберите папку или диск, нажмите «ОК».

Путь к выбранной директории отобразится левее кнопки «Обзор».

При необходимости укажите имя и разрешение файлов. Допустимо использовать символ *.

В группе «Параметры» выберите второй пункт списка «Учитывать файлы и подпапки» для поиска дубликатов в корневой папке и вложенных директориях.

Нажмите «ОК».

Выбранные директории появились во вкладке «Включения».

Вкладка «Исключения»

Выполняйте аналогичные действия для исключения папки или диска из области поиска.

Выберете вкладку «Исключения» и нажмите кнопку «Добавить». Появится диалоговое окно «Исключения».

Нажмите «Обзор», выберите директорию или диск.

Нажмите «ОК».

Пути к запрещенным для сканирования папкам появились во вкладке «Исключения».

Изменяйте или удаляйте директории в блоке «Включения-Исключения». Выберите мышкой строку и нажмите кнопку «Изменить» или «Удалить».

Нажмите кнопку «Сброс» для возврата к настройкам по умолчанию.

Поиск и удаление дублей

После задания параметров поиска нажмите кнопку «Найти».

О завершении сообщит диалоговое окно.

Результаты поиска дубликатов файлов в CCleaner представлены пунктами списка. Сортировка по имени или размеру не предусмотрена. Сохраните отчет в виде текстового файла.

Для удаления дублей в CCleaner:

  1. убедитесь в бесполезности обнаруженных копий. Обратите внимание на имя, размер, директорию;
  2. отметьте галочками файлы для удаления;
  3. нажмите кнопку «Удалить выбранные».

Поиск дублей и объединение сделок — Сделки

Функционал доступен для пользователей, у которых как минимум есть следующие права: полные права просмотра, редактирования и удаления всех сущностей(сделки/контакты/компании). Работает только в браузерной версии amoCRM.

Поиск дублей контактов в аккаунте amoCRM происходит по одинаковым e-mail или телефонам. Дублями считаются только те сделки, в которых фигурируют потенциально дублированные контакты (с общими e-mail или телефоном).

Для поиска дублей, перейдите в раздел «Сделки», в правом углу нажмите на «Еще» (три точки) — «Поиск дублей».

Внешний вид аналогичен виду объединения дублей, при объединении из списка (выделив дубли галочками и нажав «объединить»). Если вы выберете «не является дублем», то связь между потенциально дублированными контактами разрывается и их сделки перестают предлагаться для объединения. После объединения 2 сделок все задачи, чаты, примечания, записи звонков, события останутся в новой карточке.

Алгоритм поиска дублей обучающийся. Когда система предполагает, что сделки дублируются, а прямых совпадений нет, то, кликнув на

пропустить/не является дублем, вы обучаете систему по поиску дублей, и в следующий раз при подобном кейсе, она уже не выведет, что такие карточки являются дублями.
Обратите внимание, что мы выполняем поиск реальных дублей , например, если у вас есть контакт с номером 7999000000, то такой контакт система не будет проверять — это явно мусорная сделка. Или, например, не станем проверять на дубли почту типа noreply.

Поиск дублей не находит дубль

Наша система предлагает карточки к объединению, когда считает это нужным. У нас есть справочник публичных номеров, который постоянно пополняется. Номера из данного справочника наша система не считает поводом для объединения карточек, в связи с этим может не появляться кнопка «Дубль?». При этом вы можете всегда объединить карточки в списке.

Как искать дубли файлов в Windows с помощью CCleaner? – RU Help Center

На этой странице рассказывается, как можно использовать инструмент «Поиск дублей». Мы также можем помочь вам понять, что представляет собой инструмент «Поиск дублей», если вы не знакомы с ним. 

Где найти «Поиск дублей»

Откройте CCleaner, перейдите в раздел Инструменты и выберите Поиск дублей, чтобы запустить этот инструмент. В области Критерий поиска интерфейса инструмента «Поиск дублей» есть список параметров, позволяющий искать дубликаты файлов, используя указанные ниже категории.

  • Название
  • Размер
  • Дата изменений
  • Содержимое (чтобы выбрать этот вариант, также необходимо установить флажок для параметра Размер)

«Поиск дублей» ищет файлы, используя только выбранные вами категории.

Все параметры, которые вы выберете в разделе Критерий поиска, должны совпадать у двух или более файлов на ПК, чтобы программа CCleaner идентифицировала файл как дубликат другого.

1. Что мы имеем в виду под этим? См. пример ниже.

Если вы выберете Имя и Размер, программа CCleaner найдет два файла с одинаковым именем и размером. В данном случае этим требованиям должны соответствовать файлы, хранящиеся на вашем ПК, чтобы программа CCleaner могла найти их. 

Как использовать функцию «Игнорировать» инструмента «Поиск дублей»

Вы можете выбрать, какие файлы следует игнорировать, используя флажки в разделе Игнорировать (см. снимок экрана). В этом случае, чтобы программа CCleaner идентифицировала файлы как дубликаты, они не должны соответствовать ни одному из параметров, выбранных в разделе Игнорировать. Например, если файл помечен как скрытый в файловой системе компьютера и вы выбрали Скрытые файлы в разделе Игнорировать (см. снимок экрана), CCleaner не будет считать его дубликатом. Такой файл будет игнорироваться, даже если он соответствует выбранным критериям.

Вкладки «Включить» и «Исключить»

Вы также можете указать дополнительные диски и/или папки, которые следует включить в поиск или исключить из него, с помощью вкладок 

Включить и Исключить. Чтобы запустить поиск, щелкните Найти.

Примечание. Если вы установите для параметра Включить значение Включать только файлы, поиск будет включать только выбранную вами конкретную папку. Выберите Включать файлы и подпапки, чтобы проверить также подпапки.

Удалить файлы можно, установив флажок и выбрав Удалить выбранные. Обратите внимание, что удалять все дубликаты, найденные программой CCleaner, небезопасно.

Какие дубликаты следует удалять?

Инструмент «Поиск дублей» может искать файлы с одинаковым именем, размером, датой изменения и содержимым, однако он не может определить, какие файлы необходимы, а какие можно безопасно удалить.

Как узнать, какие файлы можно безопасно удалить после поиска? 

Мы рекомендуем просмотреть путь к файлу и, при необходимости, сам файл, чтобы убедиться, что он действительно является дубликатом и не нужен программе на вашем компьютере. Вы можете открыть файл с экрана инструмента «Поиск дублей»: нажмите его правой кнопкой мыши, выберите Открыть папку, а затем дважды нажмите файл в открывшемся окне.

1. Дубликаты файлов мультимедиа

Как правило, удалять дубликаты личных изображений или фильмов безопасно, но тем не менее проверьте путь к файлам и их содержимое, прежде чем что-либо удалять.

2. Выбор дубликатов в определенной папке

Вы можете сделать это, нажав файл в списке поиска дублей (см. снимок экрана) и выбрав в контекстном меню Выбрать дубликаты, а затем нужную папку.  Это позволяет проверить с помощью CCleaner наличие дубликатов в выбранном расположении.

Можно ли удалять дубликаты, расположенные в папках C:\Windows и C:\Program Files?

Мы не рекомендуем удалять дубликаты, расположенные в папках C:\Windows и C:\Program Files, некоторые программы на ПК могут нуждаться в них для правильной работы. 

Какие еще параметры доступны в инструменте «Поиск дублей»?

Дополнительные параметры выбора можно увидеть, нажав правой кнопкой мыши определенные файлы. Вот несколько примеров таких параметров.

  • Исключение дубликатов в определенном расположении
  • Ограничение списка результатов определенным расположением
  • Выбор всех дубликатов определенного типа в группе дубликатов
  • Сохранение списка обнаруженных дубликатов в текстовый файл (чтобы просмотреть позже)

Шесть программ для поиска одинаковых файлов на вашем ПК — Новости Барановичей, Бреста, Беларуси, Мира. Intex-press

Современные компьютеры оснащены жесткими дисками большого объема, что позволяет без проблем скидывать «на винт» сотни гигабайт информации. Но со временем на винчестере скапливается множество дубликатов. Что делать, если на компе тысячи фотоснимков и велика вероятность, что один и тот же файл мог быть скопирован на ПК несколько раз? Как освободить место на жестком диске, удалив ненужные дубликаты?

Intex-press подобрала шесть программ, которые помогут вам навести порядок в вашем компьютере.

Бесплатная программа с богатым функционалом. В основном ее используют для удаления с жесткого диска временных файлов и очистки реестра. Также утилита позволяет удалить из автозагрузки ненужное.

Еще одна из способностей утилиты – это поиск и удаление дубликатов. Для этого следует перейти в закладку «Сервис» и выбрать «Поиск дублей». Затем указать разделы жесткого диска, где следует осуществить поиск. Программа просканирует винчестер и найдет дубликаты файлов, которые затем можно будет удалить.

Простенькая, при этом гибко настраиваемая и совершенно бесплатная программа, которая без труда обнаружит дубли и с вашего любезного разрешения их удалит.

После запуска CloneSpy производит поиск по контрольным суммам файлов, игнорируя дату и время их создания, размер и так далее. Такой метод поиска дубликатов позволяет сделать более точный и детальный поиск.

Программа небольшого размера, работает быстро и без глюков.

Несмотря на то, что программа бесплатна, умеет она немало: ищет, удаляет, копирует и перемещает дубликаты файлов, в том числе одинаковые аудиозаписи с разными тегами. Присутствует гибкая настройка поиска, а с помощью встроенного просмотрщика можно изучить файлы и выбрать, что именно удалять.

По умолчанию, сравнение файлов происходит только по их именам, что не совсем разумно: лучше сразу после начала использования включить поиск дубликатов только по содержимому (настройки меняются в закладке «Метод поиска»).

Программа не бесплатна, но тем не менее установлена почти на каждом ПК. Это универсальный файловый менеджер, который позволяет сделать с вашими файлами почти что угодно, в том числе и найти дубликаты. Эта опция включается на вкладке с параметрами поиска (в приложении нажмите Alt + F7), там же, где указываются другие атрибуты искомых файлов.

Мощная программа для поиска файлов-дублей. Как и предыдущие программы, производит детальный анализ жесткого диска на наличие одинаковых файлов, в конце которого выдает список со всеми найденными дубликатами. Программа бесплатна.

Еще одно неплохое решение, особенно для начинающих пользователей. У программы русский интерфейс, так что в ней все понятно, и работа с утилитой, скорее всего, будет очень простой для начинающих пользователей, которым потребовалось найти и удалить на компьютере одинаковые файлы.

Автор: Intex-press

Лучшие программы для поиска дубликатов (одинаковых) файлов

Доброго времени суток.

Статистика вещь неумолимая — у многих пользователей на жестких дисках лежат, порой, десятки копий одного и того же файла (например, картинки, или музыкального трека). Каждая из таких копий, разумеется, отнимает место на винчестере. А если диск ваш уже «забит» под завязку — то таких копий может быть достаточно много!

Чистить дубликаты файлов вручную — вещь не благодарная, именно поэтому, я хочу собрать в этой статье программы для поиска и удаления дубликатов файлов (причем, даже тех, которые отличаются и по формату файла, и по размеру друг от друга — а это довольно сложная задача!). Итак…

 Список программ для поиска дубликатов

1. Универсальные (для любых файлов)

Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).

Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике — показывают вам!

Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).

 

DupKiller

Сайт: dupkiller.com

Эту программу я поставил на первое место по ряду причин:

  • поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
  • высокая скорость работы;
  • бесплатная и с поддержкой русского языка;
  • очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).

В общем, рекомендую к использованию (особенно тем, кому постоянно не хватает места на жестком диске 🙂 ).

 

Duplicate Finder

Сайт: http://www.ashisoft.com/

Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).

Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).

 

Glary Utilites

Статья с кратким обзором: https://pcpro100.info/luchshie-programmyi-dlya-ochistki-kompyutera-ot-musora/#1_Glary_Utilites_-___Windows

Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных — что называется на все случаи жизни!) еще раз на страницах сайта.

 

2. Программы поиска дубликатов музыки

Данные утилиты пригодятся всем меломанам, у которых на диске скопилась порядочная коллекция музыки. Рисую довольно типичную ситуацию: скачиваете различные сборники музыки (100 лучших песен октября, ноября и пр.), часть композиций в них повторяется. Не удивительно, что, накопив музыки на 100 ГБ (к примеру), 10-20ГБ — могут быть копиями. Причем, если бы размер этих файлов в разных сборниках был одинаковый — то их бы можно было бы удалить первой категорией программ (см. выше в статье), но так как это не так — то эти дубли не находятся ничем, кроме вашего «слуха» и специальных утилит (которые представлены ниже).

Статья про поиски копий музыкальных треков: https://pcpro100.info/odinakovyie-muzyikalnyie-faylyi/

 

Music Duplicate Remover

Сайт: http://www.maniactools.com/ru/soft/music-duplicate-remover/

Результат работы утилиты.

Эта программа отличается от остальных, прежде всего, свои быстрым поиском. Она ищет повторные треки по их ID3 тегам и по звуку. Т.е. она как бы за вас прослушает композицию, запомнит ее, а затем сравнит ее с другими (таким образом, проделывает огромный объем работы!).

На скриншоте выше представлен ее результат работы. Свои найденные копии она представит перед вами в виде небольшой таблички, в которой к каждому треку будет приписана цифра в процентах схожести. В общем, достаточно удобно!

 

Audio Comparer

Полный обзор утилиты: https://pcpro100.info/odinakovyie-muzyikalnyie-faylyi/

Найденные повторные MP3 файлы…

Эта утилита схожа с вышеприведенной, но у нее есть один несомненный плюс: наличие удобнейшего мастера, который будет Вас вести по шагам! Т.е. человек, впервые запустивший эту программу, легко разберется куда нажимать и что делать.

Например, в своих 5000 треках за пару часов, мне удалось найти и удалить несколько сотен копий. Пример работы утилиты представлен на скрине выше.

 

3. Для поиска копий картинок, изображений

Если анализировать популярность тех или иных файлов, то картинки, пожалуй, не отстанут от музыки (а для некоторых пользователей и перегонят!). Без картинок вообще сложно представить работу за ПК (и другими устройствами)! Но поиск картинок с одинаковым изображением на них — дело довольно трудное (и долгое). И, должен признаться, программ этого рода сравнительно не много…

 

Image Comparer

Мое подробное описание: https://pcpro100.info/kak-nayti-odinakovyie-foto-na-pc/

Об этой программе я уже упоминал на страницах сайта. Представляет собой так же небольшую программу, но с довольно хорошими алгоритмами сканирования картинок. Есть пошаговый мастер, запускающийся при первом открытии утилиты, который проведет через все «тернии» первой настройки программы для поиска дублей.

Кстати, чуть ниже приведен скриншот работы утилиты: в отчетах вы можете просмотреть даже мелкие детали, где картинки несколько различаются. В общем-то, удобно!

 

4. Для поиска дублей фильмов, видео-роликов

Ну и последний популярный тип файлов, на котором хотелось бы остановиться — это видео (фильмы, ролики и пр.). Если когда-то раньше, обладая 30-50 ГБ диском, знал в какой папке где и какой фильм сколько отнимает (и они все были наперечет), то, например, сейчас (когда диски стали 2000-3000 и более ГБ) — часто встречаются одни и те же ролики и фильмы, но в разном качестве (что может отнять достаточно много места на жестком диске).

Большинству пользователей (да, в общем-то и мне 🙂 ), такое положение дел не нужно: просто отнимает место на винчестере. Благодаря парочке утилит ниже, вы сможете очистить диск от одинаковых видео…

 

Duplicate Video Search

Сайт: http://duplicatevideosearch.com/rus/

Функциональная утилита, которая легко и быстро находит похожее видео на вашем диске. Перечислю некоторые главные возможности:

  • выявление копии видео с разными битрейтами, разрешениями, характеристиками форматов;
  • авто-выбор копий видео с более худшим качеством;
  • выявлять измененные копии видео, в том числе с разным разрешением, битрейтом, обрезкой, характеристиками форматами;
  • результат поиска представляется в виде списка с миниатюрами (с показом характеристик файла) — так что вы легко сможете выбрать, что удалять, а что нет;
  • программа поддерживает практически любые форматы видео: AVI, MKV, 3GP, MPG, SWF, MP4 т.д.

Результат ее работы представлен на скриншоте ниже.

 

Video Comparer

Сайт: http://www.video-comparer.com/

Очень знаменитая программа для поиска дублей видео (правда, больше за рубежом). Позволяет легко и быстро находить похожие видео (для сравнения, например, берется первые 20-30 сек. видео и сравниваются видео между собой), а затем представлять их в результатах поиска, чтобы легко можно было удалить лишнее (пример показан на скриншоте ниже).

Из недостатков: программа платная и она на английском. Но в принципе, т.к. настройки не сложные, а кнопок не так много, пользоваться вполне комфортно и отсутствие знания английского — никак не должно сказаться на большинстве пользователей, которые выберут эту утилиту. В общем, рекомендую к знакомству!

На этом у меня все, за дополнения и уточнения по теме — благодарю заранее. Удачного поиска!

Найдите и выделите дубликаты — Easy Excel Tutorial

повторяющихся значений | В трех экземплярах | Повторяющиеся строки

Этот пример научит вас, как найти повторяющиеся значения (или трижды) и как найти повторяющиеся строки в Excel .

Повторяющиеся значения

Чтобы найти и выделить повторяющиеся значения в Excel, выполните следующие действия.

1. Выберите диапазон A1: C10.

2. На вкладке «Главная» в группе «Стили» щелкните «Условное форматирование».

3. Щелкните «Выделить правила ячеек, повторяющиеся значения».

4. Выберите стиль форматирования и нажмите OK.

Результат. Excel выделяет повторяющиеся имена.

Примечание: выберите Уникальный в первом раскрывающемся списке, чтобы выделить уникальные имена.

в трех экземплярах

По умолчанию Excel выделяет дубликаты (Джульетта, Дельта), тройные дубликаты (Сьерра) и т. Д. (См. Предыдущее изображение). Выполните следующие шаги, чтобы выделить только три экземпляра.

1. Сначала удалите предыдущее правило условного форматирования.

2. Выберите диапазон A1: C10.

3. На вкладке «Главная» в группе «Стили» щелкните «Условное форматирование».

4. Щелкните Новое правило.

5. Выберите «Использовать формулу для определения ячеек для форматирования».

6. Введите формулу = СЧЁТЕСЛИ ($ A $ 1: $ C $ 10, A1) = 3

7. Выберите стиль форматирования и нажмите OK.

Результат. Excel выделяет тройные имена.

Объяснение: = COUNTIF ($ A $ 1: $ C $ 10, A1) подсчитывает количество имен в диапазоне A1: C10, равных имени в ячейке A1. Если СЧЁТЕСЛИ ($ A $ 1: $ C $ 10, A1) = 3, Excel форматирует ячейку A1. Всегда записывайте формулу для верхней левой ячейки в выбранном диапазоне (A1: C10). Excel автоматически копирует формулу в другие ячейки. Таким образом, ячейка A2 содержит формулу = СЧЁТЕСЛИ ($ A $ 1: $ C $ 10, A2) = 3, ячейка A3 = СЧЁТЕСЛИ ($ A $ 1: $ C $ 10, A3) = 3 и т. Д. Обратите внимание, как мы создали абсолютную ссылку. ($ A $ 1: $ C $ 10), чтобы исправить эту ссылку.

Примечание: вы можете использовать любую формулу, которая вам нравится. Например, используйте эту формулу = СЧЁТЕСЛИ ($ A $ 1: $ C $ 10, A1)> 3, чтобы выделить имена, которые встречаются более 3 раз.

Повторяющиеся строки

Чтобы найти и выделить повторяющиеся строки в Excel, используйте СЧЁТЕСЛИ (с буквой S в конце) вместо СЧЁТЕСЛИ.

1. Выберите диапазон A1: C10.

2. На вкладке «Главная» в группе «Стили» щелкните «Условное форматирование».

3. Щелкните Новое правило.

4. Выберите «Использовать формулу для определения ячеек для форматирования».

5. Введите формулу = СЧЁТЕСЛИ (Животные, $ A1, континенты, $ B1, страны, $ C1)> 1

6. Выберите стиль форматирования и нажмите OK.

Примечание: именованный ареал Животные относится к диапазону A1: A10, именованный диапазон «Континенты» относится к диапазону B1: B10, а именованный диапазон «Страны» относится к диапазону C1: C10. = СЧЁТЕСЛИМН (Животные, $ A1, Континенты, $ B1, Страны, $ C1) подсчитывает количество строк на основе нескольких критериев (Леопард, Африка, Замбия).

Результат. Excel выделяет повторяющиеся строки.

Объяснение: если СЧЁТЕСЛИ (Животные, $ A1, Континенты, $ B1, Страны, $ C1)> 1, другими словами, если имеется несколько строк (Леопард, Африка, Замбия), Excel форматирует ячейку A1. Всегда записывайте формулу для верхней левой ячейки в выбранном диапазоне (A1: C10). Excel автоматически копирует формулу в другие ячейки. Мы зафиксировали ссылку на каждый столбец, поместив символ $ перед буквой столбца ($ A1, $ B1 и $ C1).В результате ячейки A1, B1 и C1 содержат одну и ту же формулу, ячейки A2, B2 и C2 содержат формулу = СЧЁТЕСЛИМН (Животные, $ A2, Континенты, $ B2, Страны, $ C2)> 1 и т. Д.

7. Наконец, вы можете использовать инструмент «Удалить дубликаты» в Excel, чтобы быстро удалить повторяющиеся строки. На вкладке «Данные» в группе «Работа с данными» щелкните «Удалить дубликаты».

В приведенном ниже примере Excel удаляет все идентичные строки (синие), за исключением первой найденной идентичной строки (желтая).

Примечание. Посетите нашу страницу об удалении дубликатов, чтобы узнать больше об этом замечательном инструменте Excel.

найти, выделить, подсчитать, отфильтровать и т. Д.

В руководстве объясняется, как искать дубликаты в Excel. Вы изучите несколько формул для определения повторяющихся значений или поиска повторяющихся строк с первыми вхождениями или без них. Вы также узнаете, как подсчитывать экземпляры каждой повторяющейся записи по отдельности и определять общее количество дубликатов в столбце, как отфильтровывать дубликаты и многое другое.

При работе с большим листом Excel или при объединении нескольких небольших электронных таблиц в более крупный вы можете найти в нем много повторяющихся строк.В одном из наших предыдущих руководств мы обсуждали различные способы сравнения двух таблиц или столбцов на наличие дубликатов.

И сегодня я хотел бы поделиться несколькими быстрыми и эффективными методами выявления дубликатов в едином списке. Эти решения работают во всех версиях Excel 365, Excel 2019, Excel 2016, Excel 2013 и ниже.

Как определить дубликаты в Excel

Самый простой способ обнаружить дубликаты в Excel — использовать функцию СЧЁТЕСЛИ. В зависимости от того, хотите ли вы найти повторяющиеся значения с первыми вхождениями или без них, в формуле будет небольшое изменение, как показано в следующих примерах.

Как найти повторяющиеся записи, включая 1

st вхождений

Предположим, у вас есть список элементов в столбце A, которые вы хотите проверить на наличие дубликатов. Это могут быть счета-фактуры, идентификаторы продуктов, имена или любые другие данные.

Вот формула для поиска дубликатов в Excel, включая первые вхождения (где A2 — самая верхняя ячейка):

= СЧЁТЕСЛИ (A: A, A2)> 1

Введите указанную выше формулу в B2, затем выберите B2 и перетащите маркер заполнения, чтобы скопировать формулу в другие ячейки:

Как видно на скриншоте выше, формула возвращает ИСТИНА для повторяющихся значений и ЛОЖЬ для уникальных значений.

Примечание. Если вам нужно найти дубликаты в диапазоне ячеек , а не во всем столбце, не забудьте заблокировать этот диапазон знаком $. Например, для поиска дубликатов в ячейках A2: A8 используйте эту формулу:
= COUNTIF ( $ A $ 2: $ A $ 8 , A2)> 1

Чтобы повторяющаяся формула возвращала что-то более значимое, чем логические значения ИСТИНА и ЛОЖЬ, заключите ее в функцию ЕСЛИ и введите любые метки, которые вы хотите для повторяющихся и уникальных значений:

= ЕСЛИ (СЧЁТЕСЛИ ($ A $ 2: $ A $ 8, $ A2)> 1, «Дублировать», «Уникальный»)

Если вы хотите, чтобы формула Excel находила только дубликаты, замените «Уникальный» пустой строкой («»), например:

= ЕСЛИ (СЧЁТЕСЛИ ($ A $ 2: $ A $ 8, $ A2)> 1, "Дублировать", "")

Формула вернет «Дубликаты» для повторяющихся записей и пустую ячейку для уникальных записей:

Как искать дубликаты в Excel без вхождений 1

st

В случае, если вы планируете фильтровать или удалять дубликаты после их обнаружения, использование приведенной выше формулы небезопасно, поскольку она помечает все идентичные записи как дубликаты.И если вы хотите сохранить уникальные значения в своем списке, вы не можете удалить все повторяющиеся записи, вам нужно только удалить 2 и и все последующие экземпляры.

Итак, давайте изменим нашу формулу дублирования Excel, используя абсолютные и относительные ссылки на ячейки, где это необходимо:

= ЕСЛИ (СЧЁТЕСЛИ ($ A $ 2: $ A2, $ A2)> 1, "Дублировать", "")

Как видно на следующем снимке экрана, эта формула не идентифицирует первое вхождение « Яблоки » как дубликат:

Как найти дубликаты с учетом регистра в Excel

В ситуациях, когда вам нужно идентифицировать точные дубликаты, включая текстовый регистр, используйте эту общую формулу массива (вводимую нажатием Ctrl + Shift + Enter):

IF (SUM ((—EXACT ( диапазон , верхний _cell ))) <= 1, "", "Duplicate")

В основе формулы вы используете функцию EXACT для точного сравнения целевой ячейки с каждой ячейкой в ​​указанном диапазоне.Результатом этой операции является массив ИСТИНА (совпадение) и ЛОЖЬ (не совпадение), который приводится к массиву из единиц и нулей унарным оператором (-). После этого функция СУММ складывает числа, и если сумма больше 1, функция ЕСЛИ сообщает «Дубликат».

Для нашего образца набора данных формула выглядит следующим образом:

= ЕСЛИ (СУММ ((- ТОЧНО ($ A $ 2: $ A $ 8, A2))) <= 1, "", "Дублировать")

Как показано на скриншоте ниже, строчные и прописные буквы рассматриваются как разные символы (ЯБЛОКИ не идентифицируются как дубликаты):

Как найти повторяющиеся строки в Excel

Если ваша цель состоит в том, чтобы вывести таблицу, состоящую из нескольких столбцов, вам нужна формула, которая может проверить каждый столбец и идентифицировать только абсолютно повторяющихся строк , т.е.е. строки, которые имеют полностью равные значения во всех столбцах.

Рассмотрим следующий пример. Предположим, у вас есть порядковые номера в столбце A, даты в столбце B и заказанные элементы в столбце C, и вы хотите найти повторяющиеся строки с тем же номером заказа, датой и элементом. Для этого мы собираемся создать повторяющуюся формулу на основе функции СЧЁТЕСЛИМН, которая позволяет проверять несколько критериев одновременно:

Для поиска повторяющихся строк с 1 st вхождений , используйте эту формулу:

= ЕСЛИ (СЧЁТЕСЛИ ($ A $ 2: $ A $ 8, $ A2, $ B $ 2: $ B $ 8, $ B2, $ C $ 2: $ C $ 8, $ C2)> 1, "Повторяющаяся строка", "" )

На следующем снимке экрана показано, что формула действительно находит только те строки, которые имеют одинаковые значения во всех 3 столбцах.Например, строка 8 имеет тот же порядковый номер и дату, что и строки 2 и 5, но другой элемент в столбце C, и поэтому она не помечена как повторяющаяся строка:

Чтобы показать повторяющихся строк без 1 st вхождений , внесите небольшую корректировку в приведенную выше формулу:

= ЕСЛИ (СЧЁТЕСЛИ ($ A $ 2: $ A2, $ A2, $ B $ 2: $ B2, $ B2, $ B $ 2: $ B2, $ B2, $ C $ 2: $ C2, $ C2,)> 1 , "Повторяющаяся строка", "")

Как подсчитать дубликаты в Excel

Если вы хотите узнать точное количество идентичных записей на листе Excel, используйте одну из следующих формул для подсчета дубликатов.

Подсчитать экземпляры каждой повторяющейся записи индивидуально

Когда у вас есть столбец с повторяющимися значениями, вам часто может потребоваться знать, сколько дубликатов существует для каждого из этих значений.

Чтобы узнать, сколько раз та или иная запись встречается в вашем листе Excel, используйте простую формулу СЧЁТЕСЛИ, где A2 - это первый, а A8 - последний элемент списка:

= СЧЁТЕСЛИ (2 $ A $: 8 $ A $, A2)

Как показано на следующем снимке экрана, формула подсчитывает количество вхождений каждого элемента: « Яблоки » встречается 3 раза, « Зеленые бананы » - 2 раза, « Бананы » и « Апельсины » только один раз.

Если вы хотите идентифицировать 1 st , 2 nd , 3 rd и т. Д. Вхождения каждого элемента, используйте следующую формулу:

= СЧЁТЕСЛИ ($ A $ 2: $ A2, $ A2)

Аналогичным образом можно подсчитать повторений повторяющихся строк . Единственная разница в том, что вам нужно будет использовать функцию СЧЁТЕСЛИ вместо СЧЁТЕСЛИ. Например:

= СЧЁТЕСЛИ ($ A $ 2: $ A $ 8, $ A2, $ B $ 2: $ B $ 8, $ B2)

После подсчета повторяющихся значений вы можете скрыть уникальные значения и просматривать только дубликаты, или наоборот.Для этого примените автоматический фильтр Excel, как показано в следующем примере: Как отфильтровать дубликаты в Excel.

Подсчитать общее количество дубликатов в столбце (ах)

Самый простой способ подсчитать дубликаты в столбце - использовать любую из формул, которые мы использовали для определения дубликатов в Excel (с первыми вхождениями или без них). А затем вы можете подсчитать повторяющиеся значения, используя следующую формулу СЧЁТЕСЛИ:

= СЧЁТЕСЛИ (диапазон; "дубликат")

Где « дубликат » - это метка, которую вы использовали в формуле для поиска дубликатов.

В этом примере повторяющаяся формула принимает следующую форму:

= СЧЁТЕСЛИ (B2: B8, «дубликат»)

Другой способ подсчета повторяющихся значений в Excel с помощью более сложной формулы массива. Преимущество этого подхода в том, что он не требует вспомогательного столбца:

= СТРОКИ ($ A $ 2: $ A $ 8) -SUM (IF (COUNTIF ($ A $ 2: $ A $ 8, $ A $ 2: $ A $ 8) = 1,1,0))

Поскольку это формула массива, не забудьте нажать Ctrl + Shift + Enter, чтобы завершить ее.Также имейте в виду, что эта формула учитывает все повторяющиеся записи, , включая первые вхождения :

Чтобы найти общее количество повторяющихся строк , вставьте функцию СЧЁТЕСЛИ вместо СЧЁТЕСЛИ в приведенную выше формулу и укажите все столбцы, которые вы хотите проверить на наличие дубликатов. Например, чтобы подсчитать повторяющиеся строки на основе столбцов A и B, введите в лист Excel следующую формулу:

= СТРОКИ ($ A $ 2: $ A $ 8) -SUM (IF (COUNTIFS ($ A $ 2: $ A $ 8, $ A $ 2: $ A $ 8, $ B $ 2: $ B $ 8, $ B $ 2: $ B 8 $) = 1,1,0))

Как отфильтровать дубликаты в Excel

Для упрощения анализа данных вы можете отфильтровать данные, чтобы отображались только дубликаты.В других ситуациях может понадобиться обратное - скрыть дубликаты и просмотреть уникальные записи. Ниже вы найдете решения для обоих сценариев.

Как показать и скрыть дубликаты в Excel

Если вы хотите сразу увидеть все дубликаты, воспользуйтесь одной из формул, чтобы найти дубликаты в Excel, которые лучше подходят для ваших нужд. Затем выберите свою таблицу, перейдите на вкладку Data и нажмите кнопку Filter . Также можно щелкнуть Сортировка и фильтр > Фильтр на вкладке Домашняя страница в группе Редактирование .

Наконечник. Чтобы включить автоматическую фильтрацию, преобразуйте данные в полнофункциональную таблицу Excel. Просто выделите все данные и нажмите сочетание клавиш Ctrl + T.

После этого щелкните стрелку в заголовке столбца Дублировать и установите флажок « Дублировать строку », чтобы отображал дубликаты . Если вы хотите отфильтровать, например, скрыть дубликаты , выберите « Уникальных », чтобы просмотреть только уникальные записи:

А теперь вы можете отсортировать дубликаты по ключевому столбцу, чтобы сгруппировать их для облегчения анализа.В этом примере мы можем отсортировать повторяющиеся строки по столбцу Порядковый номер :

Как отфильтровать дубликаты по их вхождению

Если вы хотите показать 2 nd , 3 rd или N-е вхождения повторяющихся значений, используйте формулу для подсчета повторяющихся экземпляров, которые мы обсуждали ранее:

= СЧЁТЕСЛИ ($ A $ 2: $ A2, $ A2)

Затем примените фильтрацию к вашей таблице и выберите только вхождения, которые вы хотите просмотреть. Например, вы можете отфильтровать 2 вхождения и , как на следующем снимке экрана:

Чтобы отобразить все повторяющиеся записи, i.е. вхождений больше 1 , щелкните стрелку фильтра в заголовке столбца вхождений (столбец с формулой), а затем щелкните Number Filters > Greater Than .

Выберите « больше, чем » в первом поле, введите 1 в поле рядом с ним и нажмите кнопку OK :

Аналогичным образом вы можете показать 2 nd , 3 rd и все последующие повторяющиеся вхождения.Просто введите необходимое число в поле рядом с « больше ».

Выделение, выбор, очистка, удаление, копирование или перемещение дубликатов

После того, как вы отфильтровали дубликаты, как показано выше, у вас есть множество вариантов для работы с ними.

Как выбрать дубликаты в Excel

Чтобы выбрать дубликаты, включая заголовки столбцов , отфильтруйте их, щелкните любую отфильтрованную ячейку, чтобы выбрать ее, а затем нажмите Ctrl + A.

Чтобы выбрать повторяющиеся записи без заголовков столбцов , выберите первую (верхнюю левую) ячейку и нажмите Ctrl + Shift + End, чтобы расширить выделение до последней ячейки.

Наконечник. В большинстве случаев указанные выше ярлыки работают нормально и выбирают только отфильтрованные (видимые) строки. В некоторых редких случаях, в основном в очень больших книгах, могут быть выбраны как видимые, так и невидимые ячейки. Чтобы исправить это, сначала используйте один из указанных выше сочетаний клавиш, а затем нажмите Alt +; до выберите только видимые ячейки , игнорируя скрытые строки.

Как очистить или удалить дубликаты в Excel

Чтобы очистить дубликаты в Excel, выберите их, щелкните правой кнопкой мыши и затем нажмите Очистить содержимое (или нажмите кнопку Очистить > Очистить содержимое на вкладке Home в группе Редактирование ).Это удалит только содержимое ячейки, и в результате у вас будут пустые ячейки. Выбор отфильтрованных повторяющихся ячеек и нажатие клавиши Delete будет иметь тот же эффект.

От

до удалить все повторяющиеся строки , отфильтровать дубликаты, выбрать строки, перетаскивая указатель мыши по заголовкам строк, щелкнуть выделение правой кнопкой мыши и затем выбрать Удалить строку из контекстного меню.

Как выделить дубликаты в Excel

Чтобы выделить повторяющиеся значения, выберите отфильтрованные дубли, нажмите кнопку Цвет заливки на вкладке Home в группе Font , а затем выберите цвет по своему выбору.

Еще один способ выделить дубликаты в Excel - использовать встроенное правило условного форматирования для дубликатов или создать настраиваемое правило, специально предназначенное для вашего листа. У опытных пользователей Excel не возникнет проблем с созданием такого правила на основе формул, которые мы использовали для проверки дубликатов в Excel. Если вы еще не очень хорошо знакомы с формулами или правилами Excel, вы найдете подробные инструкции в этом руководстве: Как выделить дубликаты в Excel.

Как скопировать или переместить дубликаты на другой лист

Чтобы скопировать дубликатов, выберите их, нажмите Ctrl + C, затем откройте другой лист (новый или существующий), выберите верхнюю левую ячейку диапазона, в который вы хотите скопировать дубликаты, и нажмите Ctrl + V, чтобы наклеить их.

Чтобы переместить дубликатов на другой лист, выполните те же действия с той лишь разницей, что вы нажимаете Ctrl + X (вырезать) вместо Ctrl + C (копировать).

Вот как вы можете идентифицировать дубликаты в Excel с помощью функций и встроенных возможностей. Чтобы лучше понять формулы, обсуждаемые в этом руководстве, загрузите образец книги определения дубликатов.

Duplicate Remover - быстрый и эффективный способ найти дубликаты в Excel

Теперь, когда вы знаете, как использовать повторяющиеся формулы в Excel, позвольте мне продемонстрировать вам еще один быстрый, эффективный и свободный от формул способ - Duplicate Remover для Excel.

Этот универсальный инструмент может искать повторяющиеся или уникальные значения в одном столбце или сравнивать два столбца. Он может находить, выбирать и выделять повторяющиеся записи или целые повторяющиеся строки, удалять найденные дубли, копировать или перемещать их на другой лист. Я думаю, что пример практического использования стоит много слов, так что давайте перейдем к нему.

Как найти повторяющиеся строки в Excel за 2 быстрых шага

Чтобы проверить возможности нашей надстройки Duplicate Remover, я создал таблицу с несколькими сотнями строк, которая выглядит следующим образом:

Как видите, в таблице несколько столбцов.Первые 3 столбца содержат наиболее релевантную информацию, поэтому мы собираемся искать повторяющиеся строки исключительно на основе данных в столбцах A - C. Чтобы найти повторяющиеся записи в этих столбцах, просто выполните следующие действия:

  1. Выберите любую ячейку в таблице и нажмите кнопку Dedupe Table на ленте Excel. После установки Ultimate Suite for Excel вы найдете его на вкладке Ablebits Data в группе Dedupe .
  2. Интеллектуальная надстройка возьмет всю таблицу и попросит вас указать следующие две вещи:
    • Выберите столбцы для проверки дубликатов (в данном примере это номер заказа ., Дата заказа и поз. графы).
    • Выберите действие для выполнения с дубликатами . Поскольку наша цель - выявить повторяющиеся строки, я выбрал Добавить столбец статуса

    Помимо добавления столбца состояния, вам доступен ряд других опций:

    • Удалить дубликаты
    • Цвет (выделение) дубликатов
    • Выбрать дубликаты
    • Копировать дубликаты на новый лист
    • Перенести дубликаты на новый лист

    Щелкните кнопку OK и подождите несколько секунд.Готово!

Как вы можете видеть на снимке экрана ниже, все строки с одинаковыми значениями в первых 3 столбцах были обнаружены (первые вхождения не идентифицируются как дубликаты).

Если вам нужны дополнительные параметры для вывода ваших листов, используйте мастер Duplicate Remover , который может найти дубликаты с первыми вхождениями или без них, а также уникальные значения. Подробные инструкции приведены ниже.

Мастер удаления дубликатов - больше возможностей для поиска дубликатов в Excel

В зависимости от конкретного листа, с которым вы работаете, вы можете или не захотите рассматривать первые экземпляры идентичных записей как дубликаты.Одно из возможных решений - использовать разные формулы для каждого сценария, как мы обсуждали в разделе «Как идентифицировать дубликаты в Excel». Если вы ищете быстрый, точный метод без формул, попробуйте мастер Duplicate Remover :

  1. Выберите любую ячейку в таблице и нажмите кнопку Duplicate Remover на вкладке Ablebits Data . Мастер запустится, и будет выделена вся таблица.
  2. На следующем шаге вам будут предложены 4 варианта проверки дубликатов в вашем листе Excel:
    • Дубликаты без первых вхождений
    • Дубликаты с 1-м вхождением
    • Уникальные значения
    • Уникальные значения и первые повторяющиеся вхождения

    Для этого примера давайте выберем второй вариант, т.е.е. Дубликаты + 1-е вхождение :

  3. Теперь выберите столбцы, в которых вы хотите проверить дубликаты. Как и в предыдущем примере, мы выбираем первые 3 столбца:
  4. Наконец, выберите действие, которое вы хотите выполнить с дубликатами. Как и в случае с инструментом Dedupe Table, мастер Duplicate Remover может идентифицировать , выбрать , выделить , удалить , скопировать или переместить дубликатов.

    Поскольку цель этого руководства - продемонстрировать различные способы выявления дубликатов в Excel, давайте отметим соответствующий параметр и нажмите Готово :

Мастеру Duplicate Remover требуется всего лишь доля секунды, чтобы проверить сотни строк и получить следующий результат:

Без формул, без стресса, без ошибок - всегда быстрые и безупречные результаты 🙂

Если вы хотите попробовать эти инструменты для поиска дубликатов в таблицах Excel, вы можете загрузить ознакомительную версию ниже.Будем очень признательны за ваши отзывы в комментариях!

Доступные загрузки

Identify Duplicates - примеры формул (файл .xlsx)
Ultimate Suite - пробная версия (файл .zip)

Вас также может заинтересовать

руководств, формул и функций Excel для начинающих и опытных пользователей

Ultimate Suite

Более 60 профессиональных инструментов для Microsoft Excel

Этот исчерпывающий набор инструментов для экономии времени охватывает более 300 вариантов использования, чтобы помочь вам выполнить любую задачу безупречно, без ошибок и задержек.

Работает для: Windows

Узнать больше об Ultimate Suite Общие шаблоны электронной почты

Пользовательские шаблоны писем для команд и отдельных лиц

Не тратьте время на ввод одних и тех же ответов на повторяющиеся электронные письма. Составьте свой ответ только один раз, сохраните его как шаблон и используйте повторно, когда захотите.

  • Быстро отвечать на электронные письма с помощью шаблонов
  • Персонализируйте свои ответы с помощью макросов
  • Автоматически прикреплять файлы и изображения
  • Использовать черновики Outlook в качестве шаблонов
  • Создавайте красивый дизайн писем
  • Защитите свою конфиденциальность с помощью шифрования
  • Использование на устройствах с сенсорным экраном
  • Запуск на ПК, Mac, планшете с Windows

Работает для: Windows • macOS • Outlook Online

Узнать больше об общих шаблонах электронной почты Проверка ссылок для Microsoft Word

С легкостью управляйте ссылками в документе

Найдите все ссылки в вашем документе, проверьте их, исправьте недействительные и удалите ненужные записи одним щелчком мыши, чтобы документ оставался аккуратным и актуальным.

  • Искать все типы ссылок
  • Определить состояния ссылок
  • Редактировать несколько гиперссылок одновременно
  • Сортировка и фильтрация ссылок по разным критериям

Работает для: Windows

Узнать больше о Link Checker Text Toolkit для Excel

Более 35 удобных опций для идеального оформления текстовых ячеек

Вместо того, чтобы строить формулы или выполнять сложные многоступенчатые операции, запустите надстройку и выполняйте любые манипуляции с текстом одним щелчком мыши.

  • Обрезать лишнее
  • Преобразование текста в числа
  • Подсчет символов и слов
  • Изменить регистр букв
  • Извлечь текст или числа
  • Удалить текст на его месте
  • Добавить тот же текст в выделенные ячейки
  • Разделить ячейки по символу, строке или маске
  • Заменить ненужные символы
  • Исключить ведущие нули
  • Чистые непечатаемые символы
  • Поменять местами текст в ячейках

Работает для: macOS • Excel Online

Узнать больше о Text Toolkit

Дополнения для Google Таблиц

руководств, формул и функций Excel для начинающих и опытных пользователей

Ultimate Suite

Более 60 профессиональных инструментов для Microsoft Excel

Этот исчерпывающий набор инструментов для экономии времени охватывает более 300 вариантов использования, чтобы помочь вам выполнить любую задачу безупречно, без ошибок и задержек.

Работает для: Windows

Узнать больше об Ultimate Suite Общие шаблоны электронной почты

Пользовательские шаблоны писем для команд и отдельных лиц

Не тратьте время на ввод одних и тех же ответов на повторяющиеся электронные письма. Составьте свой ответ только один раз, сохраните его как шаблон и используйте повторно, когда захотите.

  • Быстро отвечать на электронные письма с помощью шаблонов
  • Персонализируйте свои ответы с помощью макросов
  • Автоматически прикреплять файлы и изображения
  • Использовать черновики Outlook в качестве шаблонов
  • Создавайте красивый дизайн писем
  • Защитите свою конфиденциальность с помощью шифрования
  • Использование на устройствах с сенсорным экраном
  • Запуск на ПК, Mac, планшете с Windows

Работает для: Windows • macOS • Outlook Online

Узнать больше об общих шаблонах электронной почты Проверка ссылок для Microsoft Word

С легкостью управляйте ссылками в документе

Найдите все ссылки в вашем документе, проверьте их, исправьте недействительные и удалите ненужные записи одним щелчком мыши, чтобы документ оставался аккуратным и актуальным.

  • Искать все типы ссылок
  • Определить состояния ссылок
  • Редактировать несколько гиперссылок одновременно
  • Сортировка и фильтрация ссылок по разным критериям

Работает для: Windows

Узнать больше о Link Checker Text Toolkit для Excel

Более 35 удобных опций для идеального оформления текстовых ячеек

Вместо того, чтобы строить формулы или выполнять сложные многоступенчатые операции, запустите надстройку и выполняйте любые манипуляции с текстом одним щелчком мыши.

  • Обрезать лишнее
  • Преобразование текста в числа
  • Подсчет символов и слов
  • Изменить регистр букв
  • Извлечь текст или числа
  • Удалить текст на его месте
  • Добавить тот же текст в выделенные ячейки
  • Разделить ячейки по символу, строке или маске
  • Заменить ненужные символы
  • Исключить ведущие нули
  • Чистые непечатаемые символы
  • Поменять местами текст в ячейках

Работает для: macOS • Excel Online

Узнать больше о Text Toolkit

Дополнения для Google Таблиц

Как найти повторяющиеся записи в Excel

В этом руководстве вы увидите, как быстро найти повторяющиеся записи в таблице Excel.

Не будем терять время зря - вот как это сделать!

См. Видеоурок и расшифровку ниже:

См. Это видео на YouTube:
https://www.youtube.com/watch?v=eAeFRAAwBe0

Первый важный шаг в поиске повторяющихся данных в таблице заключается в определении области, в которой мы хотим искать дубликаты.

Здесь мы выберем эти два столбца - столбцы B и C.

Как выделить уникальные значения в таблице

Вы также можете выделить весь лист, щелкнув в верхнем левом углу, если хотите.

Перейдите в раздел «Стили» и выберите опцию «Условное форматирование». Нажмите на Highlight Cells Rules и выберите Duplicate Values.

Excel немедленно найдет и выделит все дубликаты в таблице любого размера. Неважно, содержит ли таблица сотни или тысячи записей.

В нашей таблице мы видим, что дублированные данные расположены в строках 4 и 5.

С другой стороны, если мы хотим выделить уникальные значения в таблице, нам нужно будет переключиться на «Уникальный» в раскрывающемся списке. -ниже меню.

Как изменить форматирование цвета выделенных данных

Теперь, если мы вернемся к опции «Дублировать», мы можем изменить форматирование цвета выделенных данных.

Подтверждаем выбор, нажимая ОК, и дубликаты выделяются в таблице.

Как отключить выделенные данные

Это выделение дубликатов можно отключить, вернувшись в раздел «Стили», снова нажав «Условное форматирование» и выбрав «Очистить правила».

Здесь вы можете решить, очистить ли правила только от «Выбранных ячеек» или от «Всего листа». Давайте воспользуемся опцией «Очистить правила со всего листа», потому что мы хотим удалить форматирование со всей таблицы.

Готово! Убрано выделение дубликатов!

Не упустите прекрасную возможность узнать:

Если вы нашли этот учебник полезным, поставьте лайк и подпишитесь, чтобы получать больше видео от EasyClick Academy. Посмотрите другие руководства, которые помогут вам быстро и легко использовать Excel!

Увидимся в следующем уроке!

Найдите дубликаты в Excel - как определить / показать дубликаты?

Как найти дубликаты в Excel?

В MS Excel повторяющиеся значения можно найти и удалить из набора данных.В зависимости от ваших данных и требований наиболее часто используемыми методами являются функция условного форматирования или формула СЧЁТЕСЛИ, чтобы найти и выделить дубликаты для определенного количества вхождений. Затем столбцы набора данных можно отфильтровать для просмотра повторяющихся значений.

В этой статье мы рассмотрим 5 различных методов проверки, выявления и удаления дубликатов в Excel.

5 методов проверки и выявления дубликатов в Excel

# 1 -
Условное форматирование

Функция условного форматирования доступна в Excel 2007 и последующих версиях.

В следующей таблице представлены расходы, понесенные при использовании определенных офисных помещений. Также указаны соответствующие даты приобретения такого объекта.

Мы хотим идентифицировать дубликаты в excel с помощью условного форматирования.

Шаги по поиску дубликатов в Excel с помощью условного форматирования перечислены ниже:

  1. Выберите диапазон данных (A1: C13), в котором должны быть найдены дубликаты.
  2. На вкладке «Главная» выберите «условное форматирование» в разделе «стили».В раскрывающемся меню выберите «выделить правила ячеек» и нажмите «повторяющиеся значения».

  3. Появится всплывающее окно с названием «повторяющиеся значения». В первом поле слева выберите «дублировать». В раскрывающемся списке «значения с» выберите нужный цвет, чтобы выделить повторяющиеся ячейки. Нажмите «ОК».

  4. Повторяющиеся ячейки выделены в таблице данных, как показано на следующем изображении.

  5. Столбцы можно отфильтровать для выявления повторяющихся значений.Для этого щелкните правой кнопкой мыши нужный столбец и выберите «фильтровать по цвету выбранной ячейки». Данные фильтруются на наличие дубликатов.

  6. Результат после применения фильтра к первому столбцу (канцелярские товары) показан на следующем изображении.

# 2 -
Условное форматирование (конкретное вхождение)

Рассмотрим пример для определения конкретного количества дубликатов. В следующей таблице мы хотим проверить и показать повторяющиеся значения с тремя вхождениями.

Шаги по поиску повторяющихся значений для определенного количества вхождений перечислены ниже:

Шаг 1: Выберите диапазон A2: C8 в данной таблице данных.

Шаг 2: На вкладке «Главная» выберите «условное форматирование» в разделе «стили». Нажмите «Новое правило».

Примечание: Параметр «новое правило» помогает выделить определенное количество дубликатов с помощью формулы СЧЁТЕСЛИ.

Шаг 3: Появится всплывающее окно с названием «новое правило форматирования».Введите следующие данные, как показано на следующем изображении.

  • В разделе «выберите тип правила» выберите «использовать формулу, чтобы определить, какие ячейки следует форматировать».
  • В разделе «изменить описание правила» введите формулу СЧЁТЕСЛИ.

Формула СЧЁТЕСЛИ «= СЧЁТЕСЛИ (диапазон ячеек таблицы данных, критерии ячеек)» находит и выделяет ячейки для нужного количества вхождений.

В этом случае формула СЧЁТЕСЛИ выделяет повторяющиеся ячейки, имеющие тройное количество.Это количество можно изменить на большее число. Условия также могут быть изменены в зависимости от требований пользователя.

Шаг 4: После ввода формулы СЧЁТЕСЛИ нажмите «форматировать». Откроется всплывающее окно с названием «Форматирование ячеек». Выберите стиль шрифта «обычный».

Шаг 5: На вкладке «заливка» выберите синий цвет. Вкладка «Заливка» помогает выделить повторяющиеся ячейки Правило выделения ячеек, которое доступно в разделе «Условное форматирование» на вкладке главного меню, можно использовать для выделения повторяющихся значений в выбранном наборе данных, будь то столбец или строка таблицы.прочитайте больше.

Шаг 6: После завершения выбора в окне «Форматирование ячеек» нажмите «ОК». Снова нажмите «ОК» в окне «Новое правило форматирования».

Шаг 7: Результат показан на следующем изображении. Выделены повторяющиеся ячейки с тремя вхождениями.

# 3 -
Изменить правила (формулы)

Работая на данных примера №2, разберемся с процедурой изменения формулы. Для применения новых формул необходимо очистить существующие правила (формулы) таблицы данных.

Шаги по очистке существующих правил (показаны на следующем изображении) перечислены ниже:

Шаг 1: На вкладке «Главная» выберите «условное форматирование» в разделе «стили».

Шаг 2: В опции «Очистить правила» выберите один из следующих вариантов:

  • Очистить правила из выбранных ячеек - сбрасывает правила для выбранного диапазона таблицы. Итак, перед очисткой правил необходимо выбрать данные.
  • Очистить правила со всего листа - удаляет правила для всего листа.

Ячейки, выделенные синим цветом, исчезнут, и отобразится исходная таблица.

# 4 - Удалить дубликаты

Давайте проверим и удалим повторяющиеся значения из выбранного диапазона. Перед удалением рекомендуется сохранить копию таблицы, поскольку дубликаты будут удалены без возможности восстановления.

В следующей таблице показан ряд элементов с соответствующими идентификаторами.

Действия по поиску и удалению повторяющихся значений перечислены ниже:

Шаг 1: Выберите диапазон таблицы, дубликаты которой необходимо удалить.

Шаг 2: На вкладке «Данные» выберите «удалить дубликаты» в разделе «инструменты для работы с данными».

Примечание: Параметр «удалить дубликаты» помогает устранить дубликаты и сохранить уникальные значения ячеек.

Шаг 3: Появится всплывающее окно с названием «удалить дубликаты», как показано на следующем изображении. По умолчанию уже выбраны следующие параметры:

  • Флажки для обоих заголовков («идентификатор заказа» и «элементы»)
  • Поле «выбрать все»

Поскольку таблица состоит из заголовков столбцов, установите флажок «у ​​моих данных есть заголовки.»Щелкните« ОК », чтобы выполнить.

Примечание: Чтобы изменить количество выбранных столбцов, нажмите «отменить выбор всех». После этого можно выбрать нужные столбцы, из которых нужно удалить дубликаты.

Шаг 4: Результат показан на следующем изображении. Отображается запрос, в котором указываются следующие сведения:

  • Количество повторяющихся значений, удаленных из таблицы
  • Количество уникальных значений, которые остаются в таблице после удаления

Нажмите «ОК».«Следовательно, повторяющиеся значения вместе с соответствующими им строками удаляются.

# 5 - Формула СЧЁТЕСЛИ

В следующей таблице показаны названия нескольких стран. Мы хотим идентифицировать повторяющиеся значения с помощью функции СЧЁТЕСЛИ.

Для функции СЧЁТЕСЛИ требуется диапазон (столбец, содержащий повторяющиеся записи) и критерии ячейки. Он возвращает количество соответствующих дубликатов для каждой ячейки.

Действия по поиску повторяющихся значений в Excel с помощью функции СЧЁТЕСЛИ перечислены ниже:

Шаг 1: Введите формулу, показанную на следующем изображении.Нажмите клавишу «Enter».

Примечание: Диапазон должен быть зафиксирован знаком доллара ($). В противном случае ссылка на ячейку изменится при перетаскивании формулы.

Шаг 2: Перетащите формулу до конца таблицы с помощью маркера заполнения. Либо поместите курсор в ячейку B2 и дважды щелкните маркер заполнения. Маркер заполнения появится в правом нижнем углу ячейки B2.

Шаг 3: Результат формулы показан на следующем изображении.Он возвращает количество дубликатов для всего набора данных.

Примечание: Фильтр можно применить к заголовку столбца для просмотра вхождений больше единицы.

Часто задаваемые вопросы 1. Что значит найти дубликаты в Excel?

При объединении разных рабочих листов в наборе данных может быть обнаружено несколько дубликатов. MS Excel помогает найти и выделить такие дубликаты. Также можно отфильтровать столбец на наличие повторяющихся значений.

Простой способ поиска дубликатов - использование формулы СЧЁТЕСЛИ. Эта формула может подсчитать общее количество дубликатов в столбце. Он также может подсчитывать количество отдельных экземпляров конкретной повторяющейся записи. Он принимает два аргумента - диапазон и критерий.

2. Как найти дубликаты в столбце Excel?

Для проверки столбца на наличие дубликатов формула имеет следующий вид:

«= СЧЁТЕСЛИ (A: A, A2)> 1»

Формула проверяет наличие дубликатов в столбце A.Самая верхняя ячейка - это A2. Для каждого повторяющегося значения формула возвращает «истина». Для каждого уникального значения формула возвращает «ложь».

Примечание: Для вывода, отличного от «истина» и «ложь», формула СЧЁТЕСЛИ может быть заключена в функцию ЕСЛИ.

3. Какова формула поиска дубликатов в Excel?

Общая формула для поиска точных повторяющихся значений с учетом регистра указывается следующим образом:
«ЕСЛИ (СУММ ((- EXACT (диапазон, верхний _cell))) <= 1,” ”,“ Дублировать ”)”

Функция ТОЧНЫЙ сравнивает диапазон ячеек с целевой ячейкой.Функция СУММ складывает количество экземпляров. Если вхождение больше 1, функция ЕСЛИ возвращает «дубликат».
Примечание 1: Поскольку это формула массива, ее следует вводить с помощью «Ctrl + Shift + Enter».

Примечание 2: Если одно и то же слово встречается дважды в нижнем регистре и один раз в верхнем регистре, формула не будет считать слово в верхнем регистре повторяющимся.

Рекомендуемые статьи

Это руководство по поиску дубликатов в Excel.Здесь мы обсуждаем, как идентифицировать, проверять и показывать дубликаты в Excel с примерами. Вы также можете посмотреть эти полезные функции в Excel -

. Пакет All in One Excel VBA (35 курсов с проектами)