1-3 sin x * cos x + cos^2x=0

1 - 3 sinx * cosx + cos^2x = 0

(Sin^2x + cos^2x) - 3 sin x * cos x + cos^2x = 0

Sin^2x - 3 sin x * cos x + 2 cos^2x = 0   / cos^2

tg^2x - 3tgx + 2 = 0

Пусть tgx = t, t = R(любое число)

t^2 - 3t + 2 = 0

По теореме Виета:

t1 = 1                  t2 = 2

tgx1 = 1              tgx2 = 2 

x1 = П / 4              x2 = arctg2 + Пn, n ∈ z

Ответ:  x1 = П / 4, x2 = arctg2 + Пn, n ∈ z.