(3x+x^2)^2-x^2*(x-5)*(x+5)+2x*(8-3x^2)

Для того чтобы упростить выражение используем формулу квадрата суммы (a + b)^2 = a^2 + 2ab + b^2 и формулу разности квадратов a^2- b^2 = (a - b) * (a + b):

(3x + x^2)^2 - x^2 * (x - 5) * (x + 5) + 2x * (8 - 3x^2) = 9x^2 + 6x^3 + x^4 - x^2 * (x^2 - 25) + 16x - 6x^3 = 9x^2 + 6x^3 + x^4 - x^4 - 25x^2 + 16x - 6x^3 = -16x^2 + 16x = 16x * (-x + 1);

x^4 - x^4 = 0;

6x^3 - 6x^3 = 0;

9x^2 - 25x^2 = -16x^2.