Если решать в действительных числах, то подкоренное выражение x-1 не может быть меньше 0
Одз: X >= 1;
Рассмотрим 2 варианта:
1) x^2 - x - 6 >= 0 и sqrt(x-1) >=0
2)x^2 - x - 6 >= 0 и sqrt(x-1) >=0. Но так как корень не может быть отрицательным, этот вариант отпадает.
x^2 - x - 6 >=0 sqrt(x-1) >=0
x1 >= 3; x2 <= -2; по т.в. x>=1
x∈{-2;3] x∈[1;∞)
Откладываем на числовой прямой. (рисунок 1)
С учетом одз получаем X∈[3;∞)
Y ' = 3cos3x cos2x - 2sin2x sin3x