при вычислении у закралась ошибка в вычислениях
а это sin AOM
cos AOM=-0,2
значит tgAOM=
Решение задачи смотри на фото.
Чертеж конечно кривой, но думаю подойдет.
Рассмотри угол АОС. Он центральный, а центральный угол измеряется соответствующей ему дугой. значит он равен 90 градусов (так как дуга АС равна 90 градусов по условию). Теперь рассмотрим треугольник АОС. Он равнобедренный , так как Ос=ОА (радиусы окружности). Проведем биссектрису угла АоС. Назовем ее Он. В равнобедренном треугольнике биссектриса угла является медианой и высотой. Высота Он разделила треугольник АОС на два равнобедренный треугольника ОНС и ОНА. Он=НС= 8/2=4
По теореме косинусов AC^2=AB^2+BC^2-2*AB*BC*cosB
cosB=(AB^2+BC^2-AC^2)/2*AB*BC=(25+49-81)/2*5*7=-1/10