Очевидно, что для такого посещения нужно получить разрешение священника. И дело вовсе не в том, что вас "вычислят" и с позором выгонят. Напротив, не крещенному в храм прийти можно и спрашивать человека, почему это он, например - не крестится, будет неправильным для верующего человека. Кто знает, каким путем Господь приводит к себе именно этого конкретного человека?
Вы сами можете делать то, что и окружающие - свечи ставить, к иконам и прикладываться, как к ним, так и к мощам святых. Но, будьте честны перед собой - делайте так только, если у вас есть соответствующее предрасположение к этому, благоговение. Послушайте проповедь, Евангелие, присмотритесь и прочувствуйте, отбросив всякие предубеждения и стереотипы.
Вести себя нужно скромно и тихо, оденьтесь в неяркую одежду, постарайтесь не привлечь к себе внимание, изредка, не надоедая, можно тихо спросить у соседа о том, что сейчас происходит и что нужно бы делать. Постарайтесь стать где-нибудь не на виду, чтобы не искушать стоящих рядом на осуждение, ведь в определенные моменты принято креститься или поклониться.
Не нужно находиться в храме, когда начинается вторая часть литургии, она проводится только для крещенных. "Изыдите (выйдите) оглашенные!": после этого возгласа диакона, храм нужно покинуть. Никто не станет проверять вас, но проявите уважение и покиньте помещение. Нельзя не крещенному подходить к исповеди и, само собой, участвовать в причащении (это если вы все же не вышли и остались на вторую часть литургии).