Какой был датасет для обучения модели Мистраль семь миллиардов

Что проверяют

Прежде всего честность и понимание разницы между предобучением и дообучением. Если вы брали Mistral 7B в проект, интервьюер хочет услышать про ваш датасет для дообучения. Если спрашивают про исходный корпус, проверяют, не начнёте ли вы выдумывать. Следом обычно идёт вопрос, как вы готовили данные и как проверяли, что модель стала лучше.

Как отвечать

Сначала факты о базовой модели. «7B» это около 7 миллиардов параметров, а не объём данных. Веса открыты под лицензией Apache 2.0, архитектура описана в статье (grouped-query attention, sliding window attention в первой версии), а состав и объём обучающего корпуса авторы не раскрыли. Правильный ответ так и звучит: точный датасет не опубликован. Для контекста можно рассказать, как собирают такие корпуса в целом: веб-краулинг, фильтрация по языку и качеству, дедупликация через MinHash, удаление персональных данных, подбор пропорций источников.

Дальше про свой проект, это главная часть:

• задача и формат: пары «инструкция и ответ» или диалоги. Для Instruct-версии чат-шаблон с [INST] накладывайте через tokenizer.apply_chat_template, а не склеивайте руками;
• объём и источник: сколько примеров, откуда (логи, ручная разметка, синтетика), как чистили дубли и мусор;
• метод: LoRA или QLoRA через peft и trl, ключевые гиперпараметры, число эпох;
• оценка: отложенная выборка, которую модель не видела, проверка на пересечение обучающих данных с тестом, метрики задачи и ручная оценка ответов.

Если с этой моделью вы не работали, так и скажите и расскажите про похожий опыт с другой открытой LLM.

Где спотыкаются

Говорят про «датасет из 7 миллиардов токенов», путая параметры с данными. Для сравнения, корпуса для предобучения таких моделей измеряются триллионами токенов.

Выдумывают состав корпуса и перечисляют конкретные источники как установленный факт. Для закрытого набора данных уверенный рассказ хуже честного «не раскрыто».

Переносят приёмы классического NLP: лемматизацию и удаление стоп-слов. Для LLM так текст не нормализуют, токенизатор работает с исходной строкой, и такая «очистка» только портит данные.