|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ЦЭМИ РАН |
||
Большие языковые модели, трансформеры, ChatGPTучебный курс
- Авторы: Лукашевич Наталья Валентиновна, Тихомиров Михаил Михайлович, Чернышев Даниил Иванович
- Год создания: 2023
- Организация: МГУ имени М.В. Ломоносова
- Описание: В текущем году большое обсуждение вызвало появление модели ChatGPT и ее возможностей по ведению диалогов, ответов на различные вопросы. ChatGPT — это представитель разнообразной группы так называемых больших языковых моделей, которые обучаются на больших объемах текстов. Большие языковые модели основаны на одной и той же нейросетевой архитектуре трансформер. Различия между моделями связаны с различными подходами к обучению на неразмеченных текстах, например, предсказание маскированных слов или предсказание следующих предложений. В курсе будут рассмотрены основы языкового моделирования, подходы к формированию векторных представлений слов (эмбеддингов), компоненты архитектуры трансформер, различные способы обучения больших языковых моделей, применение больших языковых моделей в различных задачах автоматической обработки текстов, этапы обучения модели ChatGPT.
- Добавил в систему: Тихомиров Михаил Михайлович
Преподавание курса
- 24 сентября 2023 - 29 сентября 2023 Тихомиров Михаил Михайлович
- МГУ имени М.В. Ломоносова, Научно-исследовательский вычислительный центр
- обязательная, по выбору (спецкурс), семинары, 36 часов
- Авторы: Лукашевич Наталья Валентиновна, Тихомиров Михаил Михайлович, Чернышев Даниил Иванович