Иван Иваныч и Буркин идут по полю. Вдали виднеется село Мироносицкое. Начинается дождь, и они решают зайти к приятелю-помещику Павлу Константинычу Алехину, усадьба которого располагается неподалёку в деревне Софьино. Алехин, «мужчина лет сорока, высокий, полный с длинными волосами, похожий больше на профессора или художника, чем на помещика», встречает гостей на пороге амбара, в котором шумит веялка. Одежда его грязна, а лицо черно от пыли. Он рад гостям и предлагает им пройти в купальню. Помывшись и переодевшись, Иван Иваныч, Буркин и Алехин идут в дом, где за чашкой чая с вареньем Иван Иваныч рассказывает историю своего брата Николая Иваныча.
Детство братья провели на воле, в имении отца, который сам был из кантонистов, но выслужил офицерский чин и оставил детям потомственное дворянство. После смерти отца именье у них отсудили за долги. Николай с девятнадцати лет сидел в казённой палате, но тосковал там страшно и все мечтал купить себе маленькую усадебку. Сам Иван Иваныч никогда не сочувствовал желанию брата «запереть себя на всю жизнь в собственную усадьбу». Николай же ни о чем другом просто не мог думать. Он все время представлял себе будущую усадьбу, где непременно должен был расти крыжовник. Николай копил деньги, недоедал, женился без любви на некрасивой, но богатой вдове. Он держал жену впроголодь, а деньги ее положил на своё имя в банк. Жена не вынесла такой жизни и вскоре умерла, а Николай, нимало не раскаиваясь, купил себе именье, выписал двадцать кустов крыжовника, посадил их и зажил помещиком.
Когда Иван Иваныч приехал навестить брата, то был неприятно поражён тем, как тот опустился, постарел и обрюзг. Он стал настоящим барином, много ел, судился с соседними заводами и говорил тоном министра фразы вроде: «образование необходимо, но для народа оно преждевременно». Николай потчевал брата крыжовником, и по нему было видно, что он доволен своей судьбой и самим собой.
При виде этого счастливого человека Иван Иванычем «овладело чувство, близкое к отчаянию». Всю ночь, проведённую им в усадьбе, он думал о том, как много людей в мире страдает, сходит с ума, пьёт, сколько детей умирает от недоедания. И сколько других людей живёт «счастливо», «днём ест, ночью спит, говорит свою чепуху, женится, старится, благодушно тащит на кладбище своих покойников». Ему подумалось, что за дверью каждого счастливого человека должен стоять «кто-нибудь с молоточком» и напоминать ему стуком, что есть несчастные, что рано или поздно с ним стрясётся беда, и «его никто не увидит и не услышит, как он сейчас не видит и не слышит других». Иван Иваныч, заканчивая свой рассказ, говорит, что счастья нет, а если в жизни есть смысл, то он не в счастье, а в том, чтобы «делать добро».
Ни Буркин, ни Алехин не удовлетворены рассказом Ивана Иваныча. Алехин не вникает, справедливы ли его слова. Речь шла не о крупе, не о сене, а о чём-то, что не имеет к его жизни прямого отношения. Но он рад и хочет, чтобы гости продолжали беседу. Однако время позднее, хозяин и гости отправляются спать.