12a^2b^3+3a^3b^2+16b^2-a^2

Разложим на множители.

12 * a^2 * b^3 + 3 * a^3 * b^2 + 16 * b^2 - a^2;

Сгруппируем  одночлены.

(12 * a^2 * b^3 + 3 * a^3 * b^2) + (16 * b^2 - a^2); 

3 * a^2 * b^2 * (4 * b + a) + (4 * b)^2 a^2;

3 * a^2 * b^2 * (4 * b + a) + (4 * b + a) * (4 * b a);

Вынесем общий многочлен за скобки.

(4 * b + a) * (3 * a^2 * b^2 + 4 * b a).