История знает трех женщин в его жизни, однако народная молва приписывает ему бессчетное множество романов.
Первой женщиной Фиделя стала очаровательная блондинка (что является для Кубы огромной редкостью) студентка философско-литературного факультета Мирта Диас Баларт, дочь министра правительства диктатора Батисты. И несмотря на все преграды, свадьбу сыграли 12 октября 1948 года по всем канонам тогдашнего кубинского высшего света. Родители молодоженов сложились и оплатили им медовый месяц в Соединенных Штатах, куда по обыкновению отправлялись все преуспевающие молодые пары.
Несколько лет пара прожила в мире и согласии. Однако в начале пятидесятых, когда Кастро уже вплотную вынашивал свои революционные проекты, ему на жизненном пути повстречалась Нати Ревуэльта, одна из самых красивых женщин гаванской богемы того времени. Нати была замужем за почтенным кубинским доктором, но это ее не остановило. Начались многочисленные тайные встречи любовников на фоне подготовки революционеров-патриотов к общенациональному восстанию.
Третьей официальной его подругой была Селия Санчес, преданная секретарша и помощница в течение многих лет. Она покончила самоубийством в середине восьмидесятых, но по острову ходили упорные слухи, что ее убил брат Кастро Рауль, которого она всегда люто ненавидела.
По свидетельству многих кубинцев, бородач за свою долгую жизнь пользовался услугами сотен женщин. Иногда, как Лаврентий Берия, он разъезжал по улицам Гаваны и указывал помощникам на понравившуюся ему девушку. У него была целая армия поставщиков женщин. Среди них особую роль играл прекрасно образованный, с утонченными манерами Альфредо Гевара, директор Кубинского института кинематографии. Альфредо, известный на острове гомосексуалист, отлично разбирался в оттенках французских духов и яств. Именно он приводил к Кастро наиболее изысканных женщин, которые специально для такого случая импортировались из Европы.