при каком значении а уровнение не имеет решений (6x-1)^2+(8x+a)^2=(10x+1)^2

Раскроем скобки, упростим: a^2+16ax-32x=0. Уравнение не имеет решения для неизвестной переменной х, если заведомо  положительно a^2=16(2x-ax). При положительных х а должно быть строго меньше 2. При отрицательных х, соответственно, а больше 2. При а=2 уравнение теряет смысл (4=0).