Смотря кто называет. Если обратившийся старше того, у кого возраст "50+", то вполне можно называть. Хотя если у вас в таком возрасте молодой голос, то и по телефону могут назвать "молодым человеком". Мне, например, за пятьдесят, но если ко мне кто-то так обащается, то всегда благодарю. Спрашивают: "За что?", отвечаю: "За молодого человека".
Хотя в мире полно разговоров о том, что дескать, возраст - это не состояние тела, а души, тут всё-таки не надо лукавить. Хорохорится и подпрыгивать в 60, конечно, можно, но лучше всё-таки соответствовать общественным представлениям о возрасте и вести себя соответственно.
Хотя и тут могут быть исключения. Например, знаю людей, которым за 60 лет, а выглядят на 45, не больше. А если ещё и с головой всё в порядке, то внешность вообще воспринимается первые пять минут. А потом уже постольку поскольку.