Когда Вы крутите по удалёнке сборку, простые софтины для коннекта начинают лить видеопоток по сети целиком, не роняя кадры и качество картинки. В настройках софта надо ограничить качество картинки и битрейт, что уменьшит видеопоток, разгрузит канал и процесс пойдёт без лагания. Ну или поменять тулзу. Если выходите на сервер через виндовый RDP - можно сменить на что-то другое. AnyDesk, TeamViewer, линуксячьи проги и т.д... TeamViewer хуже AnyDesk т.к. требует более быстрый канал передачи.
Как вариант, можно проверить загрузку процессора арендованного сервера, в т.ч. в процессе работы с