Из вопроса не совсем понятно, что значит "не твой". В смысле, он "занят", кому-то "принадлежит"? Или этот человек не в твоем вкусе, не подходит тебе? Я думаю, что все же второй вариант.
Отказать, опять же, в чем? Что он предлагает? Встречаться, стать любовниками или пожениться? Думаю, какие-то отношения уже есть, раз понятно, что он неподходящий. Или он новый знакомый, который не вызывает симпатии, не тянет к нему? Тогда что значит "он нормальный"? Нормальный на вид, т.е. симпатичный? Или нормальный в том смысле, что умный, порядочный, надежный и т.д.?
Слишком многое непонятно из вопроса без пояснений - я думаю, потому на него и не отвечают. А суть вопроса, видимо, в том, как отказать хорошему человеку, не обидев его? Какие найти аргументы, почему не хочешь с ним быть?
Я предлагаю такие варианты отказа мужчине:
Скажите, что он очень хороший, но у вас уже есть мужчина и вы не хотите ему изменять.
Скажите, что вы слишком плоха для него, не хотите портить ему жизнь. Что вам до его уровня еще расти и расти, и в ближайшую пару лет вы с людьми, подобными ему, сближаться не планируете.
Покажите себя с неприглядной стороны, чтобы он сам от вас отвернулся. Жалуйтесь на нищету, придите неряшливо одетой, просите взаймы крупную сумму денег.
Ведите себя, как дурочка, рассказывайте о себе неприятные вещи, жалуйтесь на здоровье с подробностями. Задавайте ему бестактные вопросы о его личной жизни тоном сплетницы, рассказывайте ему сплетни о других.
Общаясь с ним, заводите нудные разговоры на темы, которые ему заведомо неинтересны.
Если же вы хотите сделать так, чтобы и он не обиделся, и вам себя не принизить, то это, по-моему, невозможно. Мне кажется, отказ ранит всегда. Каким бы ни был человек мудрым и уравновешенным, но когда он предлагает себя, а его отвергают - это как пощечина.
Так что тут (это мое сугубо личное мнение) только два варианта: либо пожертвовать своим позитивным имиджем в его глазах, либо нанести ему более или менее сильное оскорбление.