Мне кажется, что по-хорошему никак, ведь коллега или не понимает, где тут неудобно, или прекрасно понимает, но продолжает вами пользоваться. Так что, при мягком отказе или с полным заявлением в лицо, почему так делать нельзя, он обитися в первом случае, и серьезно обидится во втором, потому что вы его "просекли" и вообще такой план ему сорвали.
Но как бы там ни было, соседа отвадить пора, пока не началось - а завезите МЕНЯ в мебельный и проедьте со мной, а подождите МЕНЯ, пока я затарюсь, а вот я еще девушку с собой возьму, или надо встретить на вокзале родню, так давайте заедем и тд.
Поговорить должен муж, к которому сосед садится, пока Вы еще дома. Типа что-то "уважаемый, сколько можно Вас здесь лицезреть? Это такси? Вы считаете, что это по соседски, по коллежски, по дружески? Но даже друзья не переходят границу, даже родственники, поэтому давайте сделаем так: сейчас Вы покидаете мою машину, сами, и появитесь здесь, когда получится Вас пригласить, а я хочу с женой на своей территории доезжать туда и обратно, и чтобы мне никто не мешал".
Если сосед начнет потом жаловаться Вам, что муж его "выкинул из машины", то подержите мужа - да, но просто устали ездить втроем, поймите нас, если еще не женаты, то женитесь и поймете. А если он женат - скзать, что у вас еще страсть не остыла и хочется еще быть вдвоем даже в машине.