3cos²x + sinx * cosx - 4cos²x - 3 = 0

Но ведь 3sin^2x + sinx*cosx- 4cos^2x - 3sin^2x - 3cos^2x = 0, sinx*cosx = 7cos^2x

Верно, но Вы не даете поправить, у меня барахлит форматирование и я поправляю после ввода. А плсле Вашего нарушения не могу. Ну и делайте сами.

Если 3 переписать как (синус квадрат + косинус квадрат)*3,то получится:   sin(x)*cos(x)=7cos^2(x)                                                                                             Одно решение cos(x)=0 х = pi/2+pi*k, где  k -любое целое                         Другое tg(x)=7   x=a+pi*k , где   k -любое целое, а= arctg(7)