Удалить дубликаты в списке с помощью linq

У меня есть класс Itemsс properties (Id, Name, Code, Price).

Список Itemsзаполнен дублирующимися элементами.

Например:

1         Item1       IT00001        $100
2         Item2       IT00002        $200
3         Item3       IT00003        $150
1         Item1       IT00001        $100
3         Item3       IT00003        $150

Как удалить дубликаты в списке с помощью linq?

var distinctItems = items.Distinct();

Чтобы сопоставить только некоторые свойства, создайте пользовательский компаратор равенства, например:

class DistinctItemComparer : IEqualityComparer<Item> {

    public bool Equals(Item x, Item y) {
        return x.Id == y.Id &&
            x.Name == y.Name &&
            x.Code == y.Code &&
            x.Price == y.Price;
    }

    public int GetHashCode(Item obj) {
        return obj.Id.GetHashCode() ^
            obj.Name.GetHashCode() ^
            obj.Code.GetHashCode() ^
            obj.Price.GetHashCode();
    }
}

Тогда используйте это так:

var distinctItems = items.Distinct(new DistinctItemComparer());

var distinctItems = items.GroupBy(x => x.Id).Select(y => y.First());

Если есть что-то, что отбрасывает ваш запрос Distinct, вы можете взглянуть на MoreLinq, использовать оператор DistinctBy и выбрать отдельные объекты по id.

var distinct = items.DistinctBy( i => i.Id );

Так я смог сгруппироваться с Linq. Надеюсь, поможет.

var query = collection.GroupBy(x => x.title).Select(y => y.FirstOrDefault());

Используйте, Distinct()но имейте в виду, что он использует компаратор по умолчанию для сравнения значений, поэтому, если вы хотите чего-то большего, вам нужно реализовать свой собственный компаратор.

Пожалуйста, посмотрите http://msdn.microsoft.com/en-us/library/bb348436.aspx для примера.

У вас есть три варианта удаления дубликата из списка:

1. Используйте пользовательский компаратор равенства, а затем используйте Distinct(new DistinctItemComparer())как упомянутое @Christian Hayter .

2. Используйте GroupBy, но, пожалуйста, обратите внимание, что GroupByвы должны группировать по всем столбцам, потому что если вы просто группируете по Idним, не всегда удаляйте дублирующиеся элементы. Например, рассмотрим следующий пример:

   List<Item> a = new List<Item>
   {
       new Item {Id = 1, Name = "Item1", Code = "IT00001", Price = 100},
       new Item {Id = 2, Name = "Item2", Code = "IT00002", Price = 200},
       new Item {Id = 3, Name = "Item3", Code = "IT00003", Price = 150},
       new Item {Id = 1, Name = "Item1", Code = "IT00001", Price = 100},
       new Item {Id = 3, Name = "Item3", Code = "IT00003", Price = 150},
       new Item {Id = 3, Name = "Item3", Code = "IT00004", Price = 250}
   };
   var distinctItems = a.GroupBy(x => x.Id).Select(y => y.First());

   Результат для этой группировки будет:

   {Id = 1, Name = "Item1", Code = "IT00001", Price = 100}
   {Id = 2, Name = "Item2", Code = "IT00002", Price = 200}
   {Id = 3, Name = "Item3", Code = "IT00003", Price = 150}

   Что неверно, потому что он считает {Id = 3, Name = "Item3", Code = "IT00004", Price = 250}дубликатом. Таким образом, правильный запрос будет:

   var distinctItems = a.GroupBy(c => new { c.Id , c.Name , c.Code , c.Price})
                        .Select(c => c.First()).ToList();

   3. Переопределить Equalи GetHashCodeв классе элемента:

   public class Item
   {
       public int Id { get; set; }
       public string Name { get; set; }
       public string Code { get; set; }
       public int Price { get; set; }
   
       public override bool Equals(object obj)
       {
           if (!(obj is Item))
               return false;
           Item p = (Item)obj;
           return (p.Id == Id && p.Name == Name && p.Code == Code && p.Price == Price);
       }
       public override int GetHashCode()
       {
           return String.Format("{0}|{1}|{2}|{3}", Id, Name, Code, Price).GetHashCode();
       }
   }

   Тогда вы можете использовать это так:

   var distinctItems = a.Distinct();

Универсальный метод расширения:

public static class EnumerableExtensions
{
    public static IEnumerable<T> DistinctBy<T, TKey>(this IEnumerable<T> enumerable, Func<T, TKey> keySelector)
    {
        return enumerable.GroupBy(keySelector).Select(grp => grp.First());
    }
}

Пример использования:

var lstDst = lst.DistinctBy(item => item.Key);

Попробуйте этот метод расширения. Надеюсь, это может помочь.

public static class DistinctHelper
{
    public static IEnumerable<TSource> DistinctBy<TSource, TKey>(this IEnumerable<TSource> source, Func<TSource, TKey> keySelector)
    {
        var identifiedKeys = new HashSet<TKey>();
        return source.Where(element => identifiedKeys.Add(keySelector(element)));
    }
}

Использование:

var outputList = sourceList.DistinctBy(x => x.TargetProperty);

List<Employee> employees = new List<Employee>()
{
    new Employee{Id =1,Name="AAAAA"}
    , new Employee{Id =2,Name="BBBBB"}
    , new Employee{Id =3,Name="AAAAA"}
    , new Employee{Id =4,Name="CCCCC"}
    , new Employee{Id =5,Name="AAAAA"}
};

List<Employee> duplicateEmployees = employees.Except(employees.GroupBy(i => i.Name)
                                             .Select(ss => ss.FirstOrDefault()))
                                            .ToList();

Еще один обходной путь, не красивый купить работоспособным.

У меня есть XML-файл с элементом «MEMDES» с двумя атрибутами «GRADE» и «SPD» для записи информации модуля RAM. В СДПГ много дублирующих предметов.

Итак, вот код, который я использую для удаления дублированных элементов:

        IEnumerable<XElement> MList =
            from RAMList in PREF.Descendants("MEMDES")
            where (string)RAMList.Attribute("GRADE") == "DDR4"
            select RAMList;

        List<string> sellist = new List<string>();

        foreach (var MEMList in MList)
        {
            sellist.Add((string)MEMList.Attribute("SPD").Value);
        }

        foreach (string slist in sellist.Distinct())
        {
            comboBox1.Items.Add(slist);
        }

Если вы не хотите писать IEqualityComparer, вы можете попробовать что-то вроде следующего.

 class Program
{

    private static void Main(string[] args)
    {

        var items = new List<Item>();
        items.Add(new Item {Id = 1, Name = "Item1"});
        items.Add(new Item {Id = 2, Name = "Item2"});
        items.Add(new Item {Id = 3, Name = "Item3"});

        //Duplicate item
        items.Add(new Item {Id = 4, Name = "Item4"});
        //Duplicate item
        items.Add(new Item {Id = 2, Name = "Item2"});

        items.Add(new Item {Id = 3, Name = "Item3"});

        var res = items.Select(i => new {i.Id, i.Name})
            .Distinct().Select(x => new Item {Id = x.Id, Name = x.Name}).ToList();

        // now res contains distinct records
    }



}


public class Item
{
    public int Id { get; set; }

    public string Name { get; set; }
}