Выражение, связанное с безумием и кукушкой, существует и в русском языке: "Ты что, совсем ку-ку?" В английском языке слово "coocoo" (или "cuckoo") означает "сумасшедший", "чокнутый". Этимология у них одинаковая - подкладывать яйца в чужие гнезда, а потом радостно и громко об этом куковать, наверное, не совсем нормально.
Что касается выражения "cuckoo's nest" в значении "сумасшедший дом", то оно не является широко распространённым и чаще всего употребляется в контексте обсуждения той самой книги (или фильма). Специально узнавала у носителей языка. Хотя, возможно, просто не угадала с социальной группой опрашиваемых - в моём случае это солидные люди средних лет. Но ведь и они когда-то были бунтующими подростками, а фильм как раз на их молодость и пришёлся. Так что должны были знать.
Своим происхождением это выражение обязано старому детскому стишку, ставшему эпиграфом книги. Кстати, его сейчас и помнят-то по большей части благодаря ей, детям его уже почти никогда не рассказывают:
Если дословно - "один полетел на запад, другой на восток, а третий над гнездом кукушки". Кукушка, как известно, гнёзд не вьёт (а вот этого мои носители, кстати, многие не знали), поэтому получается что-то типу "один сюда, другой туда, а третий сам не знал куда".
Кукушкино гнездо - место несуществующее, то есть ненормальное. Очень тонко значение этого образа передали переводчики. В русском варианте книги слова эпиграфа такие: "Кто из дому, кто в дом, кто над кукушкиным гнездом". Дома, настоящего дома, у героев повествования нет. Вместо него - "гнездо кукушки".