Прошло время. В доме жилось всё хуже. Алёшину душу спасали только бабушкины сказки. Бабушка не боялась никого, кроме тараканов. Однажды вечером загорелась мастерская. Рискуя жизнью, бабушка вывела из горящей конюшни жеребца и очень сильно обожгла руки.
«К весне дядьки разделились», а дед купил большой дом, на первом этаже которого был кабак. Остальные комнаты дед сдавал. Вокруг дома рос густой запущенный сад, спускавшийся в овраг. Бабушка с внуком поселилась в уютной комнате на чердаке.
Все любили бабушку и обращались к ней за советом — Акулина Ивановна знала множество рецептов лекарств из трав. Родом она была с Волги. Её мать «обидел» барин, девушка выбросилась из окна и осталась калекой.
С детства Акулина ходила «по людям», просила милостыню. Потом её мать, бывшая искусной кружевницей, выучила дочь своему мастерству, а когда о ней слава пошла, и дед появился. Дед, пребывая в хорошем настроении, тоже рассказывал Алёше о своём детстве, которое он помнил «от француза», и о своей матери — злой бабе калашнице.
Некоторое время спустя, дед взялся учить Алёшу грамоте по церковным книгам. Он оказался способным к этому, и вскоре бегло разбирал церковный устав. Дед был верующим человеком, но бог, которому он молился, вызывал у Алёши «страх и неприязнь».
Он не любил никого, следил за всем строгим оком, он, прежде всего, искал и видел в человеке дурное, злое, грешное. Было ясно, что он не верит человеку, всегда ждёт покаяния и любит наказывать
На улицу мальчика отпускали редко — всякий раз местные мальчишки избивали его до синяков.
Вскоре Алёшина спокойная жизнь кончилась. Однажды вечером прибежал дядька Яков и сообщил, что дядька Михайло идёт убивать деда. С того вечера дядька Михайло являлся ежедневно и учинял скандалы, на радость всей улицы. Так он пытался выманить у деда Варварино приданое, но старик не сдавался.