См. вложение
\\\\\\\\\\\\\\\\\\\\\\
По формуле разности квадратов:
с²-8с+16=с²-2*с*4+4²=(с-4)²
Максимум корня там же, где и максимум подкоренного выражения (если последнее неотрицательно)
Под корнем - квадратный трехчлен, максимум в вершине x = 12 / 2 = 6
На всякий случай можно проверить, что y определён в окрестности точки 6.
x = 6
2cos²x+4sinxcosx=-(sin²x+cos²x)
2cos²x+4sinxcosx=-sin²x-cos²x
sin²x+4sinxcosx+3cos²x=0|:cos²x
tg²x+4tgx+3=0
tgx=t
t²+4t+3=0
D=16-12=4
t1=(-4+2)/2=-1
t2=-3
замена
tgx=-1
x=-π/4+πn, n € Z
tgx=-3
x=-arctg3+πn, n € Z