Креститься можно где угодно и когда угодно по велению сердца. И совершенно не важно где стоит икона, хоть в музее, хоть в офисе, хоть дома, хоть на фонарном столбе в переходе.
Другой вопрос в том что в музее могут быть заведены свои правила, но запрет креститься или молиться - такого мне кажется не бывает.
Но ваш вопрос намекает на еще один не всем очевидный нюанс. Не всегда имеет смысл просто тупо креститься при виде иконы, не превращайте это действие в рутину для галочки, т.к. даже это элементарное действие ручками - это все таки определенный ритуал к которому нужно подходить с определенной долей осознания, ответственности, собранности. Располагает ли к этому музей и место где висит икона? Если да - надо! Если нет - не надо, просто пройдите мимо.
У многих есть такая проблема. Что вот там-то надо обязательно перекрестится, а где-то в другом месте обязательно два (три) раза перекрестится. Чисто для галочки, потому что так заведено. Но при этом человек вообще не соображает зачем это он делает, а проявляет тупо инстинкты просто потому что так положено (или потому что так все делают). Это в корне неправильный подход.
Если уж крестится - то надо четко осознавать что ты делаешь, что это означает для тебя и для твоей религии. Тогда вопрос можно ли крестится где-то отпадает сам собой, потому что ты знаешь что делаешь, зачем и для чего, знаешь в каких ситуациях это можно делать. Ошибок делать не нужно боятся, это последнее о чем вообще можно думать в данной ситуации. В первую очередь стоит слушать сердце, оно подскажет как правильно.