Краткая история NLP: от T9 до ChatGPT
Доклад принят в программу конференции
Целевая аудитория
Тезисы
В рамках доклада хочется осветить историческую хронологию того, как человечество пришло к текущему состоянию NLP-индустрии (появление ChatGPT и других LLM), какие челленджи, сложности и препятствия стояли перед сообществом и что нас может ждать дальше.
Обсудим следующее:
1. Состояние NLP до появления модели трансформера в 2017 году.
2. Что такое языковые модели.
3. Появление GPT-1, BERT, и как transfer learning изменил индустрию.
4. Появление GPT-2 и zero-shot.
5. Появление GPT-3, больших языковых моделей и few-shot.
6. Появление инструктивных моделей Flan-T5, Instruct-GPT, ChatGPT.
7. Их возможности, ограничения и перспективы.
AI-энтузиаст с 5+ годами в Data Science и машинном обучении. Занимается обучением больших языковых моделей в SberDevices, а именно GigaChat. В свободное время делает Open Source-проекты.
SberDevices
Занимается машинным обучением 7 лет. Главный эксперт по технологиям ИИ. Руководитель команды «нейронные сети» в SberDevices, участник команды разработчиков GigaChat, AI-евангелист, автор ruSBERT, kaggle, competition master.
SberDevices
Видео
Другие доклады секции
Нейронные сети, искусственный интеллект
