Возводим скобку в квадрат
10ab-(a+5b)^2=10ab-a^2-10ab-25b^2=-a^2-25b^2=-(a^2+25b^2)=-(9+25*14)=-(9+350)=-359
(2в+3а)(3а-2в)= 6ав - 4в^2 + 9a^2 - 6aв = 9a^2 - 4в^2