Не совсем ясно, о каких уравнениях идет речь. Обычно трудности возникают при преобразовании уравнений второго порядка.
Ax^2 + By^2 + Cxy + Dx + Ey + F = 0
Из этого уравнения нужно получить одно из уравнений кривых второго порядка:
1) A'(x + a)^2 + B'(y + b)^2 = C' - эллипс
2) A'(x + a)^2 - B'(y + b)^2 = C' - гипербола
3) A'(x + a)^2 + A'(y + b)^2 = C' - окружность
4) A'(x + a)^2 + B'(y + b) = C' - парабола
Чтобы это получить, нужно избавиться от члена Cxy. Для этого делаем такое преобразование:
x = x'*cos a - y'*sin a
y = x'*sin a + y'*cos a
Это преобразование есть поворот системы координат на угол а. Получаем
A(x'*cos a - y'*sin a)^2 + B(x'*sin a + y'*cos a)^2 + C(x'*cos a - y'*sin a)(x'*sin a + y'*cos a) +
+D(x'*cos a - y'*sin a) + E(x'*sin a + y'*cos a) + F = 0
Раскрываем скобки, потом приводим подобные и коэффициент при члене x'*y' приравниваем к 0.
Отсюда находим sin a и cos a. Подставляем их в начальное уравнение и избавляемся от x'*y'