Как раскрыть скобки у a(b-3a) ?

Скобки в выражении a * (b-3a)² можно открыть, только возведя выражение в скобках в квадрат, а потом теснее помножить на множитель. При возведении в квадрат надо пользоваться формулой квадрата различия (напомню: (a - b)² = a² - 2 * a * b + b² ):

a * (b-3a)² = а * (b² 2 * 3 * a * b + 3² * a²) = а * (b² 6 * a * b + 9 * a²) = a * b² 6a² * b + 9 a³.