2*cos^2x-sinx*cosx+5*cos^2x=3                    ( ^-квадрат)

2*cos^2x-sinx*cosx+5*cos^2x=3

7cos^2x-sinxcosx=3sin^2x+3cos^2x

4cos^2x-3sin^2x-sinxcosx=0

Делим каждое слагаемое на cos^2x, чтобы перейти к тангенсу:

-3tg^2x-tgx+4=0;

Замена tgx=y;

-3y^2-y+4=0;

D=1+48=49;

y1=-4/3;

y2=1;

Возвращаемся в замену:

tgx=1;

x=pi/4+pik;

tgx=-4/3;

x=-arctg(4/3)+pik;

Ответ: x=pi/4+pik; x=-arctg(4/3)+pik.