Максимум корня там же, где и максимум подкоренного выражения (если последнее неотрицательно)
Под корнем - квадратный трехчлен, максимум в вершине x = 12 / 2 = 6
На всякий случай можно проверить, что y определён в окрестности точки 6.
x = 6
(a+b)(a-2b)²-(a-b)³-2b³=(a+b)(a²-4ab-4b²)-(a³-3a²b+3ab²+b³)-2b³=a³-4a²b-4ab²+a²b-4ab²-4b³-a³+3a²b-3ab²-b³-2b³=-11ab²-7b³=-b²(11a-7b)
А) 30, 28, 120, 112
б) 30, 75, 120, 117
в) 30, 75, 120