Как раскрыть скобки у a(b-3a)² ?

Скобки в выражении a * (b-3a)² можно открыть, только возведя выражение в скобках в квадрат, а затем уже умножить на множитель. При возведении в квадрат надо воспользоваться формулой квадрата разницы (напомню: (a - b)² = a² - 2 * a * b + b² ):

a * (b-3a)² = а * (b² – 2 * 3 * a * b + 3² * a²) = а * (b² – 6 * a * b + 9 * a²) = a * b² – 6a² * b + 9 a³.