Косинус - функция периодическая, поэтому достаточно решить эту систему на одном периоде, а затем к решению прибавить период функции.
sin a = корень(1-(2/3)^2)=корень(5/9)=корень(5)/3
ctg a = cos a/ sin a= (2/3) / (3/ корень(5)) = 2/корень(5)