(x^2-5x)(x+3)(x-8)+108=0

(x - 5x)(x + 3)(x - 8) + 108 = 0.

Выполним умножение вторых двух скобок. Чтобы помножить многочлен на многочлен, надо каждый член первого многочлена помножить на каждый член второго многочлена.

(x - 5x)(x - 8x + 3x - 24) + 108 = 0;

(x - 5x)(x - 5x - 24) + 108 = 0.

Введем новую переменную x - 5x = y.

y(y - 24) + 108 = 0;

y - 24y + 108 = 0;

D = b - 4ac;

D = (-24) - 4 * 1 * 108 = 576 - 432 = 144; D = 12;

x = (-b D)/(2a);

y1 = (24 + 12)/2 = 36/2 = 18;

y2 = (24 - 12)/2 = 12/2 = 6.

Выполним оборотную подстановку. 

1) x - 5x = 18;

x - 5x - 18 = 0;

D = (-5) - 4 * 1 * 18 = 25 + 72 = 97;

x = (5 97)/2.

2) x - 5x = 6;

x - 5x - 6 = 0;

D = (-5) - 4 * 1 * (-6) = 25 + 24 = 49;

x = (5 49)/2;

x1 = (5 + 7)/2 = 12/2 = 6;

x2 = (5 - 7)/2 = -2/2 = -1.

Ответ. (5 + 97)/2; (5 - 97)/2; 6; -1.