ИСТИНА

В нашем исследовании мы представляем подход к обучению базовых трансформерных моделей, способных обрабатывать данные с различными кинематическими сигнатурами. Разрабатываемая модель обучается на объединённых наборах смоделированных событий, что позволяет учитывать разнообразие физики взаимодействий и извлекать общие закономерности уже на этапе предобучения. Такой подход обеспечивает возможность анализа различных конечных состояний в рамках единой архитектуры. Физика процессов с тремя и четырьмя топ-кварками имеет схожую природу, однако кинематические различия событий требуют отдельных подходов к их анализу. В рамках работы представлена стратегия предобучения трансформерных моделей, позволяющая унифицировать анализ и выделить общие физические закономерности взаимодействий. Исследуются различные техники предобучения трансформеров и их архитектурные модификации (формирование пространства входных переменных, численные эмбеддинги). Способность предобученных моделей к выделению полезных зависимостей в данных будет проверяться файн-тюнингом в задачах регрессии и классификации. Методология базовых трансформерных моделей обеспечивает универсальность и гибкость в обработке данных и потенциально может повысить качество решения узкоспециализированных задач, как это произошло в областях компьютерного зрения и обработки естественного языка.