CyberTek - the future at the present!

Rimuovere linee duplicate con uniq

La potenza della shell linux è indiscussa, rende elementari e rapide operazioni che su altri sistemi risultano impossibili o quasi. In questo articoletto ti spiegherò comerimuovere le linee duplicate in un file di testo col comando uniq, in aggiunta il comando sort odrina anche le linee, operate sui parametri a vostro piacere:

sort myfile.txt | uniq

 

Per elencare solamente le linee univoche:

sort myfile.txt | uniq -u

 

Per elencare solamente le linee duplicate:

sort myfile.txt | uniq -d

 

Per aggiungere il conteggio delle linee aggiungi il parametro -c.

sort myfile.txt | uniq -uc

sort myfile.txt | uniq -dc

 

Per saltari campi (questo è utile per saltare in un log files ad esempio il campo data):

uniq -f 3 my.lo

 

Per saltare caratteri (salta i primi 30 caratteri):

uniq -s 30 myfile.txt

Compara un certo numero di caratteri (compara i primi 30 caratteri):

uniq -w 30 myfile.txt

 

 

Published in: console, linux, shell, tips

Add A Comment

Powered by pmar s.r.o.