Вообще-то слово "хрен" не столько литературное, сколько биологическое. Конкретно - ботаническое.
Вот это(на снимке) и есть ОН - тот самый хрен.
То, что названием этого растения заменяют (известнейшее если не всем, то большинству) не столь литературное слово, не переводит слово "хрен" в разряд ругательств или нецензурщины.
Другое дело, если Вы пытаетесь оскорбить оппонента или другого участника, вывести его их себя, то есть "затроллить".
Как образное выражение, не несущее в себе негативного , агрессивного или хамского отношения к оппоненту,лично я считаю, это слово ( в разумных рамках, естественно) вполне допустимым.
В контексте Вашей фразы, подразумевающей, что Вы не считаете кого-то трусом (что в этом оскорбительного, скажите?), "минусование" Вас из-за использования слова "хрен" - это, скорее всего, типичное проявление снобизма и пустопорожнего чистоплюйства. Или же простой глупости от поверхностного суждения, не вдаваясь в смысл, то есть "стойка" на слово, сходное с оскорбительным.
К слову сказать, в одной из Интернет-газет модератором одно время удалялось даже название такого города как Херсон, причем, с комментарием-пояснением о недопустимости использования...и т.д.:)