решите выполнив подходящую замену переменной

(х в квадрате -2х-1)квадрат +3х в квадрате -6х-13=0

Запишем в таком виде: (х^2-2х-1)^2+3(х^2-2х)-13=0

уравнение не узменилось, но мы видим кое-что интересное!

есил представим х^2-2х-1=t

То получим: t^2+3(t+1)-13=0

Решим этот "квадрат"

t=-5;2

Раз х^2-2х-1=t 

То смело пишем что 

х^2-2х-1=-5 - не имеет решений

х^2-2х-1=2

по виета найдем корни этих уравнений : х= 3;-1!