Как обрабатывать JSON объекты из файла с одинаковыми элементами

Что проверяют

Умеете ли вы превратить массив однотипных объектов из файла в типизированную коллекцию и работать с ней: группировать, убирать дубли, считать. Формулировка размытая, поэтому хороший ход сначала уточнить, что значит «одинаковые»: объекты одной структуры, полные дубли или повтор по ключу. Следом часто спрашивают, что делать с файлом на несколько гигабайт.

Как отвечать

Каркас на современном .NET, где стандартом стал встроенный System.Text.Json:

• модель: record Item(string Sku, string Name, int Quantity), массив однотипных объектов ложится в List<Item> одним вызовом JsonSerializer.Deserialize<List<Item>>(json, options);
• регистр имён: System.Text.Json по умолчанию чувствителен к регистру, в отличие от Newtonsoft.Json. Для JSON в camelCase нужен PropertyNameCaseInsensitive = true или new JsonSerializerOptions(JsonSerializerDefaults.Web);
• чтение файла: маленький файл читают через File.ReadAllText, но лучше открыть поток File.OpenRead и вызвать DeserializeAsync;
• большой файл: JsonSerializer.DeserializeAsyncEnumerable<Item>(stream) отдаёт элементы массива по одному через await foreach, не держа весь список в памяти;
• дубли: полные дубли убирает Distinct(), у record равенство по значению уже есть; дубли по ключу DistinctBy(x => x.Sku); сумму по одинаковым позициям даёт GroupBy(x => x.Sku) с Sum, быстрый поиск ToDictionary или ToLookup, если ключ повторяется;
• ошибки: битый файл бросает JsonException с номером строки и позицией, его ловят отдельно от IOException.

Где спотыкаются

Делают ToDictionary по полю, которое повторяется, и получают ArgumentException на первом же дубле. Для неуникального ключа нужен ToLookup или GroupBy.

Переносят привычки Newtonsoft на System.Text.Json и удивляются, что свойства остались пустыми: в файле camelCase, а сравнение имён по умолчанию строгое.

Забывают, что повтор ключа внутри одного объекта сериализатор по умолчанию не отвергает: в свойство молча попадает последнее значение. Если это важно, проверяйте файл до десериализации.