Скорее всего, точка приложения зажима и жёсткость детали. Соотнисите элипс с жесткостью. И посмотрите: он всегда будет в одном и том же месте? Если да, то играйте на этом. Возможно лишний прижим поставить там, где он не нужен из условий обеспечения надёжного зажима, только для деформации, чтобы при отжиме отыграло как надо.
Помню корпуса алюминиевые под двигатели расстачивали, была похожая проблема.
Если силы резания небольшие, то может закрепить вон за ту фигнюшку что торчит, подальше от отверстия.
Скорее всего прижимы на уши опирают, а они