3sin^2 (2x)+sin2x=(sinx-cosx)^2

3sin^2(2x) + sin (2x) = (sinx - cosx)^2;

3sin^2(2x) + sin (2x) = sin^2(x) - 2sinxcosx + cos^2(x);

3sin^2(2x) + sin (2x) = 1 - sin(2x);

3sin^2(2x) + sin (2x) + sin(2x) - 1 = 0,

3sin^2(2x) +2 sin (2x) - 1 = 0.

Введем подстановку t = sin(2x), t 1. 

3t^2 + 2t - 1 = 0,

D = 4 + 4 * 3 *1 = 4 + 12 = 16, D gt; 0, уравнение имеет два корня.

t1 = (2 - 4)/6 = -1/3;

t2 = (2 + 4)/6 = 1.

Вернемся к подстановке t = sin(2x).

1) t1 = -1/3; sin(2x) = -1/3;

2x = (- 1)^k * arcsin(-1/3) + pi * k, k - целое число;

(- 1)^k * arcsin(-1/3) + pi * k, k - целое число;

2) t2 = 1, sin(2x) = 1; 2x = pi/2 + 2 * pi * n, n - целое число;

x2 = pi/4 + pi * n, n - целое число.

Ответ: (- 1)^k * arcsin(-1/3) + pi * k, k - целое число; x2 = pi/4 + pi * n, n - целое число.