Какие основные вехи развития NLP в хронологическом порядке
NLPвехи развитиядата-инженерияискусственный интеллектмашинное обучение
Что проверяют
Не память на даты, а понимание, почему один подход сменял другой и какое ограничение снимал каждый переход. Следом почти всегда просят объяснить, чем трансформер лучше LSTM или чем BERT отличается от GPT.
Как отвечать
Выстройте историю как цепочку смен парадигмы:
- 1950-е и 1960-е, правила: статья Тьюринга с его тестом (1950), Джорджтаунский эксперимент по машинному переводу (1954), формальные грамматики Хомского (1957), ELIZA (1966) на шаблонах. Отчёт ALPAC 1966 года показал, что перевод на правилах не масштабируется, и финансирование резко урезали;
- конец 1980-х и 1990-е, статистика: скрытые марковские модели в распознавании речи, n-граммные языковые модели, статистический машинный перевод, размеченные корпуса вроде Penn Treebank. Модель учится на данных вместо ручных правил;
- 2000-е, классическое ML на признаках: CRF и SVM для разметки и классификации, TF-IDF в поиске. В 2003 году Бенджио предложил нейросетевую языковую модель;
- с 2013 года, эмбеддинги и рекуррентные сети: word2vec, GloVe, seq2seq на LSTM (сама LSTM придумана ещё в 1997), механизм внимания для перевода (2014);
- 2017, трансформер: статья «Attention Is All You Need». Внимание заменило рекуррентность, обучение стало параллельным, длинные зависимости перестали теряться;
- с 2018 года, предобучение: ELMo, BERT (энкодер, маскированная языковая модель), GPT (декодер, авторегрессия), T5, затем GPT-3 с обучением по примерам прямо в промпте;
- с 2022 года, LLM: инструктивное дообучение и RLHF, ChatGPT, открытые модели, RAG, мультимодальность и модели с рассуждением.
Где спотыкаются
Сваливают RNN, LSTM и трансформеры в одну «эпоху глубокого обучения». Интервьюер ждёт, что вы назовёте причину перехода: последовательная обработка не параллелится, а градиент затухает на длинных текстах.
Путают BERT и GPT. BERT видит контекст с обеих сторон и хорош для классификации и поиска, GPT генерирует текст слева направо.
Рассказывают историю в отрыве от практики. Ответ сильнее, если вы заметите, что TF-IDF и BM25 до сих пор служат бейзлайном и частью гибридного поиска.