Толкинисты могут верить или не верить в кого угодно, благо, конституция им это позволяет, а творчество Толкина - не пропаганда, чтобы чего-то требовать от своих почитателей.
Эльфам, если говорить о толкиноских эльфах, в данном вопросе было проще. Во-первых, потому что перед ними не стоял многовариантный выбор, во-вторых, потому что не верить в объективную реальность - сумасшествие. Всё равно что нам с вами не верить во "всякие сатурны" (осторожно, по ссылке есть маты). Потому что это вовсе не вопрос веры. Это вопрос знания. Или незнания.
А реальность в мире Арды такова, что боги, на языке эльфов "валар" (это множественное число) реально существуют и многие эльфы их не только видели, но и общались с ними, учились непосредственно у них, а с одним даже воевали долго и упорно, опять же вплоть до непосредственного соприкосновения и взаимного членовредительства. Эльфы не "верят" в валар, эльфы эмпирически знают, что валар существуют и действительно обладают, если применить наши представления, силой уровня "бог".
Собственно, как было дело. Был Эру, которого в Арде стали называть Илюватар ("всеотец"). Пребывал он в пустоте, а потом для компании создал духов под названием "айнур". Они ему пели то поодиночке, то малыми ансамблями. И вот как-то раз Эру собрал их много и хором они спели пред ним такое, что оно воплотилось в Арду (немного не ясно, само так получилось или Эру посодействовал). В песне им нафантазировался целый мир, и эльфы в нём, и люди, и ещё всякое. Несколько айнур решили переместиться в Арду, чтобы хранить её и содействовать полной и точной реализации того, что подразумевалось песней. Формовать мир, командовать стихиями и т.п. Их и стали называть "валар". Во всяких мифологиях подобных существ называют богами. Разница лишь в том, что эльфы с ними знакомы лично. Притом не какие-то легендарные (и на самом деле не существовавшие) предки, а сами эльфы, конкретно эти. Ну и плюс имеется бог-создатель уровнем повыше - хотя о нём эльфам рассказали валар, а как оно было на самом деле и есть ли вообще Эру - неизвестно. Вот в него эльфам как раз и остаётся только верить.
Что творится у эльфов в других мирах других авторов - с маху и не опишешь. Но в большинстве случаев встречи с богами тоже имели место, так что опять же это не вера, а знание, не оставляющее альтернатив в каждом конкретном случае. Как у нас Путин - у него действительно есть могущество, не доступное рядовому гражданину, и он действительно сидит в Кремле. Вы верите, что Путин существует? Или знаете это? Притом можно выдумать альтернативу: ни с того ни с сего поверить в какого-нибудь Пупкина, который как раз и сидит в Кремле и обладает не меньшей властью. Его никто никогда не видел, но не важно, Пупкин-то есть, а Путина никакого нет. Согласитесь, бредовая выдумка. Вот так и эльфы. Раз боги непосредственно являются и являют своё могущество, эльфы знают, что они существуют, и не пускаются в спекуляции.