Однозначно - родственники настраивают его (или её) против вас. Скорее всего вполне осознанно. Расспрашивают его о вашей жизни, и исходя из его ответов, выносят свои оценки, суждения, приводят примеры из жизни, доказывающие вашу несостоятельность как супруга или как человека в целом.
Возможно также, что они делают это носознанно. Возможно они даже не обсуждают вас. Просто находясь у них дома, в их семье, ваш супруг видит их отношения, сравнивает со своими (вашими), и находит, что их отношения - намного лучше в том-то и том-то. Например, у них супруга готовит потрясающие блюда, а вы кормите его макаронами с сосисками и пельменями. Или наоборот (из вопроса непонятно, кто спрашивает - супруг или супруга), жена у родственника хвалится, что муж подарил золотые серёжки, просто так, без повода, из любви к прекрасному, а ваша жена даже на годовщину вадьбы от вас такого не видывала. Даже просто свежий букет в вазе у родственников может вызвать у вашей супруги негативную реакцию. Она вспомнит, что вы ей и на 8 марта не всегда цветы дарите, и всё. Почва для скандала полита и удобрена, по дороге домой поднимаются всходы, а когда она возвращается домой - там уже дерево с плодами, которые и падают на вашу голову. В любом случае нужно в первую очередь покопаться в себе и своём отношении к своему супругу - не провоцируете ли вы вольно или невольно эти скандалы, не слишком ли равнодушны к своему супругу, давно ли вы сами радовали его хорошим отношением, вниманием, теплом и лаской? Корень всех бед всегда ищите сначала в себе. Безупречных людей не бывает, и вы - не исключение.