(10ab + 8b^2) - (4b^2 + 4ab + a^2) = 4b^2 + 6ab - a^2
ну и подставлять
а можно посмотреть что a=b=-3 значит 4b^2 + 6b^2 - b^2 = 9b^2 (или 9a^2)
9*(-3)^2 = 9*9 = 81