А вот я понимаю наоборот. Слышать мы можем именно пассивно.
Идем по улице и слышим музыку из чьего-то окна, но мы ее не слушаем специально, как слушаем любимую мелодию, включив свой плеер.
Мы слышим чей-то разговор даже не вникая в его суть, но внимательно слушаем своего собеседника, желая понять его слова и ответить на них. Мы внимательно слушаем важные новости и слышим, как в соседней комнате шумно играются дети.
То есть, слУшать мы будем то, что нам действительно важно и интересно. Прислушиваясь к каждому слову или звуку. То есть это активное действие.
А слЫшать можно все попутно. Не прислушиваясь. Это пассивное действие.
Иногда мы бы рады были не слышать много из окружающих нас звуков.
Например, скрип тормозов или завывающую сирену.
Кстати, примерно такая же разница между словами "смотреть" и "видеть".