{x^2-2xy+y^2=4 {xy=3

Выразим из второго уравнения х и подставим в первое уравнение:

х = 3/у;

(3/у)^2 - 2 * 3/у * y + y^2 = 4;

9/у^2 - 6 + y^2 = 4;

9 - 10 * у^2  + y^4 = 0;

Обозначим у^2 через k и решаем квадратное уравнение:

9 - 10 * k  + k^2 = 0;

D = 100 - 36 = 64;

k1 = (10 - 8)/2 = 1; у^2 = 1; у1 = 1; у2 = -1;

k2 = (10 + 8)/2 = 9; у^2 = 9; у3 = 3; у4 = -3;

х1 = 3/1 = 3;

х2 = 3/3 = 1;

х3 = 3/(-1) = -3;

х4 = 3/(-3) = -1.