Сказать, что там вас ждет ваша судьба и вы не хотели бы оставлять её одиночестве, занимаясь только своими делами.
Можно сказать, что привыкли проводить отдых в одиночестве, чтобы отдохнуть от всех и вся, не быть ни к кому привязанной и т.д.
Еще можно сказать, что вы едете туда отдыхать, а не развлекаться и все,ч то может помешать отдыху, вы всегда оставляете здесь.
P.S.
Если честно, я не понимаю, как может человек набиваться в поездку, если его туда не звали. Возможно, вы так расписывали свой отдых и так советовали, что сами напросились на попутчика :) Получилось, как если бы вы хвастали своим богатством, у вас попросили бы в займы, а вы бы пытались придумать благовидный предлог, чтобы не обидеть, для отказа. Не простое дело :)