Ну не то чтоб обязательно...
Но вообще смысл отпуска в том, чтобы снять накопившееся напряжение, "перезагрузиться".
А этого проще всего сделать, полностью сменив обстановку.
И психика, и физиология перестраиваются на совершенно другой, отличный от повседневного, режим.
Как правило, расслабленно-приятный (даже если вы не лежите на пляже, а, допустим, рысачите по горам).
Это помогает получить кучу новых ощущений и впечатлений - то есть, в психологическом смысле, "хорошо отдохнуть".
Причем, лёжа весь отпуск дома на диване, так ни за что не отдохнёшь.
Поэтому что люди знают, что говорят...