Раздражает некоторых... - это тех, кого мягкость характера этого человека непосредственным образом касается и не лучшим образом отражается на их/совместной с ним жизни и репутации семьи.
Например, мягкий по характеру муж, который не может отказать ни в чем своим родственникам, со временем начнёт раздражать жену, которая ни его самого, ни его участия в жизни семьи не видит; а чуть позже и выросших детей, который для кучи ещё и родственников, "отобравших" у них отца, возненавидят.
Ещё, например, мягкий по характеру человек, безотказный по отношению к друзьям и приятелям, может начать раздражать своих же ближайших родственников (мать, отца, братьев, сестер). Потому как они устали уже переживать за него и за то, что над ними уже "вся деревня в открытую смеётся", видя как его "пользуют в хвост и в гриву", а потом ещё и прикалываются над ним же. А он в силу слабохарактерности ни ответить тем же, ни послать не может.
Если отбросить родственные связи и взять просто нейтральное сообщество, то такой человек будет раздражать, что называется "чётких и конкретных"... типа: "да что с ним с "тряпкой" разговаривать, сидит только на всё согласный и улыбается..." А ещё хуже, если подозрительным покажется (например, в рабочем коллективе): "...и с нами сидит улыбается и от тех выходит - улыбка до ушей...не стукач ли?"