Бывало и мне приходилось и слышать и говорит эту фразу. Любому человеку это нельзя сказать, да и любому позволить это тоже нельзя.
Обычно этим словом показывают, что нет настроения поддерживать шутку, или обстоятельства не позволяют поддерживать тот тон и/или взаимоотношение которое навязывается тем кому эти сказаны. (Типа, "не до шуток").
Говорят обычно это людям которым достаточно доверяют. В смысле что они поймут состояние того человека который это сказал.
Если я в свой адрес услышу такое слово, это значит человек чем то расстроен (рассеян) и скорее всего ждет от меня какой то помощи о которой сам еще не хорошо представляет.
Конечно, есть наверно и такие, которые эту фразу используют, для того, что бы показать свое пренебрежение к кому то, но я с таким случаем не встречался.
Есть вариант, когда эта фраза используется когда человек торопится, но в таком случае все же правильно будет добавить, что то типа извинения, например "Без обиды, отвали, тороплюсь".