10sin^2 x- 17 cos x-16=0

cos^x + sin^x = 1 либо sin^x = 1 - cos^x. Подставим это выражение в уравнение.

-10cos^x - 17cos x - 6 = 0
Пусть y = cos x
-10y^ - 17y - 6 = 0
D = 17 * 17 - 4 * 10 * 6 = 289 - 240 = 49
Корень(D) = 7
y(1) = (17 + 7) / (-20) = - 24 / 20 = -1,2
y(2) = (17 - 7) / (-20) = - 10 / 20 = -0,5
Так как значение функции cos лежит в интервале [-1; 1], то решение y(1) некорректно.
y(2) = cos x
cos x = -0,5
x = arccos (-0,5)