Выражение возникает,когда говорят о каком-то либо неприятном событии,связанном с каким -то определенным человеком,вроде бы вины его в этом нет,но как-то не хочется с ним общаться.
Самый распространенный пример ,где используется это выражение вот такой анекдот.
Хозяева пригласили гостей,после того как гости ушли,пропали серебряные ложки.
Через неделю звонит один из гостей:
-Ну что ,в это воскресенье праздновать будем?
- Знаешь,ты лучше не приходи...У нас серебряные ложечки пропали.
-Да как Вы могли подумать,что это я?Не брал я Ваших ложек.
-Знаем,что не брал.Нашлись они.
-Тогда в чем дело?
-Ложечки- то нашлись,но вот осадок остался.
То есть, когда ложки пропали,хозяева обсуждали гостей,и подумали,что вероятнее всего их мог украсть звонивший.