Наоборот, жена и муж в народе всегда ассоциируются, как иголка и нитка, где муж выполняет роль иголки, а жена нитки. Даже пословица такая есть:
Муж и жена должны быть вместе, их для этого судьба свела. И, если нет никаких других причин, препятствующих Вашей поездке вместе с мужем ( дети, здоровье и т.д.), то нужно ехать не задумываясь, а то эта жизнь по одиночке может войти в привычку, причём запросто! Мысль же о том, что жена, как Вы пишете "таскается" за своим мужем,
может прийти в голову только, простите меня, далеко не от большого ума. Моя мама мне всегда говорила: "Что бы не было в вашей жизни, как бы не было тяжело, вы всегда должны всё переносить вместе!" И я, прожив уже немало, точно знаю, что она на все 100% права!