Давайте попробуем ввести новые переменные, Х=√х и Y=√y. Приведём исходные уравнения к общему знаменателю, заменяя х на Х^2 и y=Y^2. Получим:
{4X^5-100X^3Y^2+125Y4X=3
{4X^4Y-20X^2Y^3+5Y^5=1
Умножим второе уравнения на 3, и приравняем левые части.
4X^5-100X^3Y^2+125Y4X=12X^4Y-60X^2Y^3+15Y^5.
Получим однородное уравнение 5 степени. Перенесём все члены в левую сторону их в порядке убывания степеней X и возрастания степеней Y.
4X^5-12X^4Y-100X^3Y^2+60X^2Y^3+125Y4X-15Y^5=0.
По ОДЗ ни X, ни Y не равны нулю. Поэтому можно всё уравнение поделить на Y^5, и обозначить отношение X/Y через k. Получим:
4k^5-12k^4-100k^3+60k^2+125k-15=0
Я решил это уравнение методом подбора (в Excel)
Получилось 3 корня k(1)=-4,20400885, k(2)=-0,11276525 и k(3)=6,56991875.
Поскольку в исходном уравнении и х и у положительны, то и k=√(x/y) должно иметь положительные значения. То ли я где-то ошибся (обсчитался), то ли в задании есть опечатки.