Аннотация:Нейронные широко распространены сегодня во многих задачах распознавания и синтеза. Большой прогресс в этой области обусловлен появлением новых типов архитектур, таких как сверточные НС и рекуррентные НС. Но чем сложнее архитектура НС, тем сложнее происходит обучение сети, тем больше необходимо ресурсов тратить на обучение. Таким образом, возникает вопрос о распределенном обучении НС.