Система х+у=5 х^2-ху+у^2=13

Надобно использовать метод подстановки: у = 5 - х.
Тогда второе уравнение воспримет вид:
х-х(5-х)+25-10х+х=13
3х-15х+12 = 0   можно сократить на 3:
х-5х+4 = 0.
Квадратное уравнение, решаем условно x: 
Ищем дискриминант:D=(-5)^2-4*1*4=25-4*4=25-16=9;
Дискриминант больше 0, уравнение имеет 2 корня:
x=(9-(-5))/(2*1)=(3-(-5))/2=(3+5)/2=8/2=4;
x=(-9-(-5))/(2*1)=(-3-(-5))/2=(-3+5)/2=2/2=1.

Раскладываем 2-ое уравнение как сумму квадратов: (x+y)-3xy=13  и вставляем 1-ое уравнение во 2-ое, получаем:
5-3xy=13
3xy=12
xy=4

получаем более ординарную систему:

выражаем их первого уравнение x=5-y
подставляем во второе:
(5-y)y=4
y-5y+4=0
(y-1)(y-4)=0
y=1
y=4
x=5-y=5-1=4
x=5-y=5-4=1
Ответ: (1;4) и (4;1)