Аннотация:Работа Акишина Кирилла посвящена актуальному направлению прикладной математики – построению математических моделей и методов анализа естественно-языковых текстов. Автор исследует концепцию трансформера для обработки естественно-языковых текстов, и исследует возможности реализации на трансформерах вероятностно-статистических и формально-логических методов обработки естественно-языковых текстов. В работе рассматриваются авторегрессионные модели, реализующие статистические языковые модели, доказываются утверждения о возможностях обучении трансформеров. Приводится сравнительный анализ возможностей трансформеров по сравнению с авторегрессионными моделями, автор доказывает что скорость обучения у трансформеров выше чем у авторегрессионных моделей.