Это слово-фразеологизм содержит эмоционально-оценочный характер.
Слово звучит несколько грубовато, но оно и понятно, так как заимствовано из сленга, но став общеупотребительным, так и не вошло в "изысканное общество", а именно, не стало литературным.
Однако, слово "по-барабану" - это выказывание равнодушия, что по своей смысловой хаарктеристике, не ограничивается только лишь нравственной категорией. Так например, человек может равнодушно воспринять пасмурную погоду, как говорится, ничего личного, просто не впечатлился, не удивился, не разозлился, отношение ровное, есть дела поважнее. Здесь ничего аморального или морального, не вежливого или вежливого, не наблюдается.
То есть слово "по-барабану" следует рассматривать в контексте предложения, и тогда, можно будет определить степень нравственного оттенка.