Supprimer les doublons d'une liste (e-mails, mots-clés, références)

Pour supprimer les doublons d'une liste, mettez un élément par ligne et passez-la dans un dédoublonneur : la première occurrence de chaque ligne reste à sa place, et chaque répétition suivante disparaît. Ce qui coince n'est pas la suppression mais la comparaison — Anna@Exemple.fr, anna@exemple.fr et anna@exemple.fr sont la même adresse pour vous et trois chaînes différentes pour une machine.

La méthode rapide ici : collez la liste dans Supprimer les lignes en double. L'outil conserve l'ordre d'origine, indique combien de répétitions il a retirées et propose trois interrupteurs : Sensible à la casse, Ignorer les espaces en début/fin et Conserver les lignes vides. Tout s'exécute dans votre navigateur : un fichier clients ne quitte pas votre appareil.

Choisir une méthode

Méthode	Utile pour	À surveiller
Un dédoublonneur comme celui-ci	Toute liste collable ; garder l'ordre d'origine ; connaître le nombre retiré	Vous travaillez sur du texte, pas sur les autres colonnes d'un tableur
Supprimer les doublons d'Excel	Une colonne insérée dans un tableau avec d'autres colonnes	Supprime les lignes sur place, et la comparaison ignore la casse
La fonction UNIQUE	Une liste vivante qui continue d'évoluer	Demande Microsoft 365, Excel 2021 ou Google Sheets
sort -u ou awk '!seen[$0]++'	Des fichiers trop gros pour être collés	sort -u trie aussi ; la version awk garde l'ordre

Excel. Sélectionnez la plage, puis Données > Supprimer les doublons dans le groupe Outils de données, cochez les colonnes qui définissent un doublon et validez. Excel indique combien de valeurs en double ont été retirées et combien de valeurs uniques restent, et il supprime les lignes de la feuille — faites une copie avant. Sa comparaison ignore la casse : Pomme et pomme comptent pour une seule valeur, l'inverse du réglage par défaut de notre outil. =UNIQUE(A2:A500) laisse la source intacte et déverse la liste dédoublonnée dans une nouvelle colonne.

Google Sheets. Données > Nettoyage des données > Supprimer les doublons, ou =UNIQUE(A2:A500) pour une copie qui se met à jour.

Étape par étape

1. Un élément par ligne. Si la liste vient d'un tableur, copiez la colonne : chaque cellule devient une ligne. Si les éléments sont noyés dans du texte suivi — des adresses e-mail dans un fil de discussion, par exemple — extrayez-les d'abord avec Extraire des adresses e-mail, qui sait dédoublonner, mettre en minuscules et trier au passage. Une cellule contenant un saut de ligne devient deux lignes : vérifiez la fin d'une colonne collée avant de faire confiance au total.

2. Réglez les deux interrupteurs qui comptent. Désactivez Sensible à la casse pour les adresses e-mail, les domaines et les mots-clés, où Anna@Exemple.fr et anna@exemple.fr désignent la même chose. Laissez Ignorer les espaces en début/fin activé : les espaces parasites sont la première raison pour laquelle deux lignes d'apparence identique ne sont pas reconnues comme des doublons. Avec cette option, le résultat est aussi renvoyé sans ces espaces.

3. Triez si besoin. Trier des lignes met le résultat en ordre. A → Z (naturel : 2 avant 10) place élément 2 avant élément 10, et les mots accentués se rangent près de leur lettre de base, la comparaison utilisant le classement linguistique de votre navigateur plutôt que les codes de caractères bruts.

4. Traitez les lignes vides. Par défaut, une ligne vide est une valeur comme une autre : la première survit, les suivantes sont retirées. Cochez Conserver les lignes vides pour n'y pas toucher, ou supprimez-les toutes avec Supprimer les lignes vides, qui peut aussi considérer une ligne d'espaces comme vide.

Ce que l'opération fait, et ce qu'elle ne fait pas

• L'ordre est préservé. La première occurrence reste à sa position d'origine ; seules les répétitions suivantes disparaissent. Cela compte quand l'ordre porte un sens : une liste de priorités, une suite d'événements, des mots-clés classés.
• Vous perdez le compte de chaque élément. Le dédoublonnage indique combien de répétitions ont été retirées au total, pas que paris apparaissait 14 fois. Si c'est la fréquence qui vous intéresse, passez par un tableau croisé dynamique ou NB.SI.
• La comparaison est ligne à ligne. Deux lignes correspondent exactement, selon les options choisies, ou pas du tout. Rien n'est approximatif : Acme SARL et Acme S.A.R.L. resteront deux entrées différentes.
• Rien n'est envoyé. La liste est traitée dans votre navigateur et disparaît à la fermeture de la page.
• La taille n'est pas la limite. Les lignes sont comparées via un ensemble de hachage : des centaines de milliers de lignes passent d'un coup. C'est le collage dans le navigateur qui est lent, pas la comparaison.

Quand des doublons survivent au dédoublonnage

Caractères invisibles. Espaces insécables, espaces et liaisons de largeur nulle accompagnent le texte copié depuis des pages web et des PDF, et rendent différentes deux lignes d'apparence identique. Nettoyer un texte supprime les caractères invisibles, redresse les guillemets typographiques et réduit les suites d'espaces : passez-le d'abord, dédoublonnez ensuite.

Normalisation Unicode. é peut être stocké sur un point de code, ou sous forme de e suivi d'un accent aigu combinant. Les deux s'affichent à l'identique et ni l'outil ni l'œil ne voient la différence, mais ce sont des chaînes distinctes : Méline et Méline peuvent donc survivre tous les deux.

Ponctuation différente. Une apostrophe courbe contre une apostrophe droite, un tiret demi-cadratin contre un trait d'union, un point final en trop. Les options Guillemets typographiques → droits et Tirets et points de suspension → ASCII du nettoyeur normalisent tout cela avant la comparaison.

Adresses e-mail avec étiquette. anna+infos@exemple.fr et anna@exemple.fr arrivent dans la même boîte mais sont deux adresses différentes, et aucun dédoublonneur ne les fusionnera. Décidez sciemment si vous voulez les fusionner, et faites-le par un rechercher-remplacer avant de dédoublonner.

Séparateurs traînants venus d'un CSV. Une colonne exportée avec un point-virgule ou une tabulation en fin de valeur donne paris; et paris. Retirez le séparateur avant de comparer — voir Ouvrir un CSV dans Excel pour comprendre pourquoi les exports arrivent ainsi.

Comparer deux listes entre elles

Dédoublonner une liste n'est pas la même chose que trouver ce qui a changé entre deux. Pour cela, triez les deux listes de la même façon et comparez-les avec Comparer deux textes : les entrées présentes seulement à gauche apparaissent comme des suppressions, celles présentes seulement à droite comme des ajouts. C'est le tri préalable qui rend le résultat lisible : deux listes contenant les mêmes entrées dans un ordre différent se signalent sinon comme entièrement différentes. Comparer deux versions d'un texte détaille les options.

Questions fréquentes

Quelle occurrence est conservée ? La première. Les lignes identiques suivantes sont supprimées et l'ordre des lignes restantes ne change pas.

Puis-je coller une colonne directement depuis Excel ou Google Sheets ? Oui. Copier une colonne place une cellule par ligne, exactement le format attendu. Recollez le résultat dans une seule colonne.

Cela marche-t-il sur une liste séparée par des virgules ? Pas directement : la comparaison porte sur des lignes. Remplacez d'abord les virgules par des sauts de ligne, dédoublonnez, puis recollez la liste si vous la voulez de nouveau séparée par des virgules.

Combien de lignes l'outil accepte-t-il ? Des centaines de milliers. Au-delà, ou pour un fichier que vous préférez ne pas ouvrir, sort -u fichier.txt ou awk '!seen[$0]++' fichier.txt fait le même travail depuis un terminal.

Pourquoi Excel trouve-t-il moins de doublons que cet outil ? C'est en général l'inverse : Excel ignore la casse, alors que cet outil la respecte par défaut. Désactivez Sensible à la casse et les deux devraient s'accorder.

Pour aller plus loin

• Mettre le résultat en ordre : Trier des lignes
• Retirer les lignes vides : Supprimer les lignes vides
• Normaliser le texte avant de comparer : Nettoyer un texte
• Trouver ce qui a changé entre deux listes : Comparer deux versions d'un texte