Советовать - дело не благодарное, да и в любом случае - решение принимать Вам самим.
Потому не в качестве совета, а просто размышления по поводу.
Сначала, несколько моментов.
Вы описали ситуацию таким вот образом. Но это не значит, что все остальные участники ситуации (Ваш муж, его брат...) оценивают ситуацию так же. В конфликтах не бывает кто-то исключительно "белый и пушистый", а остальные - мерзкие и гадкие. В любом конфликте - как в чем-то виноваты, так в чем-то и правы все стороны. Возможно, считая, всех вокруг виноватыми, Вы не можете оценить своей неправоты в каких-то моментах, и правоты в каких-то моментах всех Ваших обидчиков.
Вы живете в квартире мамы мужа. Ваша семья и семья брата мужа. Но ведь - это Вы пришли жить в "чужой" монастырь, где годами и десятилетиями складывались свои определенные порядки и устои, правила и традиции. И раз Ваш муж не возражает, против того, как "они ставят свои порядки", видимо - это те порядки в которых он и его брат росли, и которые, в какой-то мере являются их жизненными устоями. Вы сами выросли в других "порядках" и эти, вполне возможно, Вас могут не устраивать. Но может быть стоит здраво подумать, может и в этих "порядках" есть здравый смысл, рациональное зерно, что-то хорошее и правильное. Далеко не всегда бывает, что "по моему" - самый правильный и обоюдоудобный вариант. Возможно, если бы Вы с мужем жили в квартире своей мамы совместно с семьей своего брата, и Ваш муж выражал недовольство вашими порядками (порядками, заведенными в семье, где Вы росли и воспитывались) Вы бы тоже его не поддерживали. Если Вы можете предложить в установленных "порядках" (семьей брата мужа) что-то более качественное для всех проживающих в квартире, что-то более оптимальное, удобное, выгодное для всех - предлагайте, только спокойно, доброжелательно, попробуйте доказать и продемонстрировать очевидные преимущества для всех проживающих, и возможно Вас услышат, поймут и поддержат. Просто, нужно помнить, что при коммунальном проживании должны учитываться интересы всех проживающих, а не только свои собственные. А при доброжелательном отношении всегда можно найти консенсус.
Далее. Брат мужа - это его самый близкий родственник, которого он знает намного дольше, лучше и ближе, чем Вас, и даже своих детей. И если вы конфликтуете с братом своего мужа, тем самым Вы ставите своего мужа в очень трудное положение, ваш муж вынужденно находиться "между двух огней", "молотом и наковальней". Возможно не желая портить отношения ни с братом, ни с Вами он и выбрал тактику самоустранения (и собственно - почему он должен конфликтовать с братом, если они воспитывались в одних и тех же "порядках", правилах, и Ваш муж понимает его позицию). С другой стороны - он и с Вами не конфликтует, а просто сбегает от создавшейся ситуации. И если Вы (именно Вы) не найдете возможности мирного сосуществования с его братом, ваша семейная ситуация может оказаться патовой (Вы бы в подобной ситуации стали враждовать со своим братом?). Тем более, что, вряд ли Ваш муж негодяй и подлец - ведь Вы же его выбрали, прожили с ним 8 лет, родили 2 детей, значит и хорошего и достойного в нем не мало.
То есть, я хочу сказать, что "если хочешь изменить мир/что-то - начни с себя". Хочешь, чтобы тебя слышали - научись слышать других, хочешь чтобы тебя понимали - научись сам понимать других, хочешь доброжелательного к себе отношения - научись быть доброжелательным с другими и пр...
Что касается вопроса "как быть". Вы прожили с мужем 8 лет в браке, у вас двое детей - следовательно рассуждать и поступать надо "по-взрослому", ответственно (в любом случае - за себя и своих детей). Потому, как я считаю, вопрос "терпели бы все это или ушли жить к родителям?" поставлен не по взрослому. Если уж, вилы как "очень обидно не хочу с таким человеком жить который не понимает и ещё пытается гонять как будто я лошадь какая то", то следует действовать серьезно и ответстыенно (исходя из интересов детей и собственных, а не из чувства обиды и раздражения). Самый очевидный вариант - собственное жилье. И возможности для этого есть. Во-первых, раз есть двое детей, значит есть право на материнский капитал, который можно использовать для улучшения жилищных условий (в разных вариантах - от покупки до погашения ипотеки). Понятно, что одного маткапитала недостаточно. Но кроме того - ведь Вы сами, возможно являетесь собственником жилья (при приватизации жилья вашей семьей) - в таком случае Вы можете продать свою долю (в первую очередь предложить выкупить Вашу долю вашим родственникам, и конечно, в Ваших интересах - по рыночной стоимости). Если Вы не являетесь собственником (что маловероятно, но все же) - Вы с вашим братом являетесь наследниками имущества вашей мамы, и вы можете договориться, чтобы Вам выплатили Вашу долю сейчас, а потом Вы обязуетесь не претендовать на наследство. Кроме того, ваши дети так же имеют права на жилье (долю собственности или по месту прописки). Так что, вполне возможно набрать деньги на покупку жилья, хоть и маленького и во вторичном фонде. Ну и, конечно - работать, оформив детей в дет. учреждения. Да это за один день не сделается, потребуется и время и усилия, но это всяко правильнее, чем жалеть себя и ничего при этом не делать. Если же данную проблему решать сообща с мужем - все будет значительно легче и быстрее, потому что - вместе. А бегать от мужа к маме, от мамы к мужу и обратно - не решение вопроса..
имхо.