В первую очередь, наверное, это выражение стало ругательным, так как замена некоторых букв на другие приведёт нас к другому нецензурному фразеологизму:), типа "япона мать".
А если смотреть исторические данные, то данное выражение вошло в употребление после того, как один настоящий японский городовой в 1891 году стукнул саблей (в ножнах) по голове Николая 2 (в ту пору цесаревича). Николай с друзьями совершал развлекательные путешествия по странам Востока. На Востоке другая культура и манера поведения, выходки цесаревича и его друзей вывели из себя японского городового из города Оцу.
И видимо с тех пор выражение "японский городовой" стало эвфемизмом. Дело в произношении, если тянуть первую букву, и делать паузу перед второй, то это выражение всё-таки очень похоже на матерное.
После случая с цесаревичем и распространением эвфемизма, фразеологизм неоднократно использовался писателями и сценаристами в разных произведениях.
Есть и такой художественный фильм (1994г, фильм про террористов и заложников, но я не смотрела).
И в интернете можно найти образцы творчества по этому поводу.