Вода расширяется при нагревании, как и остальные вещества, просто у неё есть небольшой диапазон аномального поведения плотности - от 0 до примерно +4 градусов Цельсия. Именно в этом диапазоне вода при нагревании увеличивает плотность, максимум которой как раз и приходится на 4 градуса. Если бы не эта уникальная особенность, водоемы зимой промерзали бы до дна, в действительности же более теплая и более тяжёлая вода с температурой +4 градуса опускается на дно, а более легкая с температурой около 0 поднимается вверх, образуя ледяную корку, препятствующую дальнейшему остыванию водоема.
Что касается сути того, почему так происходит, то дело в водородных связях между атомами Н одной молекулы и атомами О других молекул. Благодаря им выстраивается ажурная кристаллическая решётка льда.
В момент таяния связи ослабевают из-за теплового движения, освободившиеся молекулы воды заполняют внутренние полости в кристаллической решетке льда, что и приводит к росту плотности. Параллельно идёт и обратный процесс - из-за увеличения скорости тепловых колебаний молекул средние расстояния между ними растут, что снижает плотность. Оба процесса уравновешивают друг друга как раз в окрестности +4 градусов Цельсия, где вода достигает максимума своей плотности. С дальнейшим ростом температуры преобладает тепловое расширение, и вода начинает вести себя как все прочие жидкости.