Думаю это слово больше применимо к небольшой сельской местности, где люди в основной своей массе коренные, рожденные в этой местности и все друг друга знают, вроде как все свои.
Приезжий, т.е. чужак - чужой человек со стороны; человек, приехавший издалека.
У меня сестра в восьмидесятые годы, закончив педучилище, попала по распределению в маленькую сибирскую деревеньку, так вот, первые годы за ней все тянулся хвост "приезжей училки".
Что касается больших городов, там более сильная миграция населения, и уже сложно определить кто "свой", кто "чужой", кто "приезжий", если только рассовая принадлежность не на лицо и явно не подходит этой местности.
Что касается мегаполисов, таких как Москва, так там все приезжие и скорее коренной москвич вызовет удивление у "приезжего".