(a-4)2(квадрат)-2a(5a-4)

Для того, чтоб верно раскрыть скобки, нам нужно использовать алгебраическое правило раскрытия скобок:  
Осмотрим несколько вариантов:  
1) Если перед скобкой стоит математический символ (-), то:  
Плюс меняется на минус;  
Минус меняется на плюс;  
2) Если перед скобками стоит математический знак плюс, то зыки в скобках не изменяются; Так как мы вынуждены, для грамотного раскрытия скобок в данном примере использовать формулу сокращенного умножения, запишем как ее вычислить. Ее можно распознать по формуле: 
Формула разности квадрата:  
x^2 - y^2 = (x - y) * (x + y); 

(a - 4)^2 - 2a * (5a - 4) = a^2 - 8a + 16 - 10 * a^2 + 8a = -9 * a^2 + 16 = (4 - 3a) * (4 + 3a);