Фразеологическим выражением вытягивать (выматывать) всю душу обычно описывается чувство раздражения,
досады на что-либо неприятное. Такое состояние у человека обычно вызывают приставания кого-нибудь к нему с бесконечными тупыми вопросами или просьбами неуместными, буквально изводящими, терзающими своей надоедливостью и нудностью.
Тогда человек, которого вывели из состояния равновесия, и произносит в сердах: "Да он своими слезами мне вымотал всю душу".
О том, что доставляет какие-то неприятности, вызывает огорчение, человек может сказать: "Это уже вот где сидит у меня!"
Да еще и подтвердит этот фразеологический оборот жестом, указывающим на голову или шею.
Или другой фразеологизм с тем же значением -- сидит в печенках.
Когда "мучают" нытьем, жалобами и стенаниями бесконечными, человек чувствует раздражение и не может больше терпеть этого, он скажет: " Хватит играть на нервах" или действовать на нервы, надоело слышать одно и то же".