Cos^2x -3sinx*cosx-2sinx^2x=0

Это однородное уравнение, решается дробленьем на cos x, получим в итоге:

1 - 3 * tg x - 2 * tg x = 0.

Т.е. получили квадратное уравнение относительно tg x, которое решается так же, как и хоть какое стандартное квадратное уравнение.

Вычислим дискриминант:

D = 9 + 8 = 17.

tg x = (-3 - 17) / 4, откуда х = arctg ((-3 - 17) / 4) + pi * k;

tg x = (17 - 3) / 4, откуда получим х = arctg ((17 - 3) / 4) + pi * k.