Так он и не будет выходить, эта процедура для фиксации референции в том положении, в котором оси стоят. Сначала выводите оси в нужное для ноля положение, потом кнопочки нажимаете. Еще есть процедура для согласия (забыл, как называется) она применяется, если двигали оси при выключенном станке, но это не ваш случай.
Чпу то какое - Powerline, или Solution line? Талмуд надо читать, ну или бывает производитель станка (DMG особенно, не к ночи будет сказано) эту процедуру засунул в свои окошки, тут надо доки от производителя, или знающего человечка.
Абсолютно правильный подход
По поводу конструкции. А вы не можете заменить винты на штифты (или дополнить конструкцию штифтами)? Так куда проще позиционировать обычно.
Есть ощущение, что это связано с точностью вычислений. Если задана не абсолютная точность, а относительная. И довольно грубая. Если в Компасе есть такие понятия.