А где на самом деле зимуют раки? Живут они в пресноводных водоёмах, которые зимой промерзают. Чтобы спастись, раки забиваются в норы, зарываются глубоко в песок под камни, в ил под корягам, испытывая голод и большие неудобства.
Так что это выражение буквально означает предостережение или угрозу - показать тому, к кому оно обращено, настоящие лишения и трудности, а в худшем случае - проучить, жестоко наказать его («Ну, погоди, вот приедет отец, он покажет тебе, где раки зимуют!»). И наоборот: тот, кто «знает, где раки зимуют» - человек опытный, умный и даже (учитывая экспрессию этого фразеологизма) хитроумный, который знает, как поступить наилучшим образом в трудной ситуации («Не бойся, наш адмирал долго служил капитаном, уж он-то знает, где раки зимуют - найдёт выход!»).