(5x-12)^2 -5*(5x-12)+6=0

Нет

а откуда тут появилось 120х?

Из формулы, первая скобка раскрывается как 5х^2+12^2-(2*5x*12)

точно нечего не упустил

Первую скобку раскрываем по одной из формул сокращенного умножения (а именно квадрат разности): (5х-12)^2=25x^2+144-120x
25x^2-120x+144-25x+60+6=0
25x^2-145x+210=0
Разделим всё на 5, чтобы было удобнее считать и решим квадратное уравнение:
5x^2-29x+42=0
D=841-840=1
По Виету находим корни:
x1=3
x2=2,8