X^2-2x=11(x-3)+3x-6
x^2-2x-11x+33-3x+6=0
x^2-16x+39=0
D=256-156=100
x1= (16+10):2=13
x2=(16-10):2=3 - меньший корень
Ответ: К Маше придет 3 гостя
...................,.............
Загугли, как находить область значений обратных тригонометрических функции, там всё подробно расписано