Выходной - выход.
Выход откуда-то или куда-то?
Чаще все-таки выход от куда-то, то есть выходной день, это день, когда можно выйти с работы, уйти, это - выход с рабочего места.
Вот и получился у нас выходной день - нерабочим в смысле.
Был человек у станка, работал-работал, трудился-трудился, а потом взял - и вышел из помещения, где стоял станок, вышел из здания, где работал, "вышел из работы", "покинул рабочее место". Потому что у него сегодня "выходной день". Когда можно выйти из работы, выпасть из рабочего графика на заслуженный отдых-перемену.
Сравните: "А где продавец?" - "Он вышел, сейчас придет".
Нерабочий день - то же самое. День, когда не работают. А на производстве все именно работают, трудятся, там некогда мечтать и пить кофе.
Отгул - выходные, это дни, когда гуляют, а не работают, если так взять. Поработал в день, когда должен был гулять, потом возьмешь себе законный неотгулянный отгул. Отгуляешь, отдохнешь потом.