Вам надо составить уравнение плоскости через координаты 3-х точек, получите 3 угла Эйлера. Далее у Вас на станке 2 поворотных оси , составляйте матричное уравнение в левой части которого - произведение 3х матриц углов поворота Эйлера, а в правой произведение угла поворота матрицы 5 оси на матрицу поворота 4 оси. Далее получаете систему уравнений - решаете ее и находите формулы расчета.
Вот эти формулы расчета - вы можете использовать как на самом станке написав подпрограмму, а можете в NX - например в модуле симуляции ISV, можете хоть в Exel ввести готовые формулы и подставить в них значе