Cos6x+sin^2 3x+2cos3x=0

Используем формулу двойного довода для косинуса к первому члену уравнения:

cos^2(3x) - sin^2(3x) + sin^2(3x) + 2cos(3x) = 0;

cos^2(3x) + 2cos(3x) = 0.

Выносим cos(3x)  за скобку:

cos(3x) * (cos(3x) + 2) = 0.

Получаем два уравнения cos(3x) = 0 и  (cos(3x) + 2) = 0, последнее из которых не имеет корней.

Корни уравнения вида cos(x) = a определяет формула:
x = arccos(a) +- 2 * * n, где n естественное число. 

3x = arccos(0) +- 2 * * n;

3x = /2 +- 2 * * n;

x = /6 +- 2/3 * * n.