У меня вот это получилось
Х1+Х2=4
Х1 умножить Х2 = -12
Х1=6, Х2= -2
_____________
т.к. в приведенном квадратном уравнении сумма корней = -b, а произведение = с
С 5
3*2+11*0-2×(-12) = 30
С 6
4*3+12-2(-17) = 58
Решение задания приложено
(5x+3)^2-36x^2=(5x+3-6x)(5x+3+6x)=(3-x)(11x+3)