х1 и х2 корешки уравнения[tex] x^2 +3x+1=0( x_1/( x_2+1 ) )^2

Преобразуем при поддержки тождества
a^2+b^2 = (a+b)^2- 2ab

Тогда выражение запишется как
S = (x1/(x2+1)+x2/(x1+1))^2 - 2x1*x2/((x1+1)(x2+1)) = ((x1^2+x2^2+x1+x2)/(x1x2+x1+x2+1)) ^ 2 - 2x1x2/(x1+x2+x1x2+1) = ((x1+x2)^2-2x1x2+x1+x2)/(x1x2+x1+x2+1)) ^ 2 - 2x1x2/(x1+x2+x1x2+1)

По теореме Виета
x1+x2=-3
x1x2=1

Подставим S=(((-3)^2-2*1+(-3))/ (-3+1+1))^2 - 2*1/(-3+1+1) = 18