2a+3ab-5b+a^2-b^2+ab-4a^2ab-3b^2

Упростим выражение 2 * a + 3 * a * b - 5 * b + a^2 - b^2 + a * b - 4 * a^2 * a * b - 3 * b^2; 

Приведем подобные значения:  

2 * a + (3 * a * b + a * b) - 5 * b + a^2 - (b^2 + 3 * b^2)  - 4 * a^2 * a * b; 

2 * a + 4 * a * b - 5 * b + a^2 - 4 * b^2 - 4 * a^3 * b.