Дед Каширин занимался торговлей. У него была довольно большая семья – два сына и дочь – мать Леньки. Сыновья дрались из-за отцовского наследства и очень боялись, что что-то достанется их сестре. Дед даже боялся, что они пойдут на самое страшное – «изведут Варвару».
Ленька попадает в семью деда тогда, когда дела у Каширина еще идут неплохо. Семья живет в достатке, и дед пока всем доволен. Вот как Ленька описывает его в то время: «Весь он был складный, точёный, острый. Его атласный, шитый шелками глухой жилет был стар, вытерт, ситцевая рубаха измята, на коленях штанов красовались большие заплаты, а всё-таки он казался одетым и чище и красивей сыновей…»
Дед очень переживает из-за поведения сыновей, он видит, что они ни перед чем не остановятся в погоне за деньгами.
Каширин выделял Леньку из всех своих внуков, чем-то он нравился ему больше, чем все остальные. Но спуску мальчику не давал, также сек его за провинности. Причем иногда дед был очень жесток с Ленькой.

Этот человек был запальчив и гневен. Разойдясь, он мог запороть внука до потери сознания. И такое было, когда за мальчика вступались бабушка и мама. Каширин не терпел, когда ему перечили, особенно в его доме.
Именно Леньке рассказывает дед историю своей жизни. В молодости Каширин был бурлаком: «своей силой супротив Волги баржи тянул». Он рассказывает внуку, какое это трудное занятие. Человек выбивается из последних сил, буквально истекает потом и кровью. Но деваться некуда – надо тянуть: «Вот как жили у бога на глазах, у милостивого господа Исуса Христа!..»
Каширин говорит, что он Волгу вымерял три раза туда и обратно – многие тысячи верст. Но были в этой жизни и приятные моменты, когда на отдыхе вся артель запевала бурлацкую песню. Каширин говорит, что у него «аж мороз по коже дернет, и будто Волга вся быстрей пойдет, – так бы, чай, конем и встала на дыбы, до самых облаков».
Постепенно семья Кашириных разоряется. Дед стареет. В конце повести мы уже видим, что это больной и дряхлый человек. Материальное положение деда значительно ухудшилось. Доходило до того, что бабушка ходила просить милостыню. Дед, так боявшийся потерять деньги, под конец жизни превратился в почти нищего человека.
Мы видим, как он изменился: «дед ещё более ссохся, сморщился, его рыжие волосы посерели, спокойная важность движений сменилась горячей суетливостью, зелёные глаза смотрят подозрительно».
Нехватка денег очень угнетает Каширина. Он даже отделяется от своей жены, чтобы не содержать лишнего рта: «Даже масло для лампадки пред образом каждый покупал своё,- это после полусотни лет совместного труда!» Он попрекает бабушку и Леньку: « - Опиваете вы меня, объедаете до костей, эх вы-и...» И это несмотря на то, что внук и так практически жил на улице.
В конце повести дед выгоняет Леньку на улицу. У мальчика умирает мать, и дед говорит ему: « - Ну, Лексей, ты - не медаль, на шее у меня - не место тебе, а иди-ка ты в люди...
И пошёл я в люди».
Судьба деда Каширина трудна и неоднозначна. Из преуспевающего купца он превратился в нищего и одинокого старика. Важно, что своих родных он «разогнал» сам: поссорился с сыновьями, разошелся с женой, выгнал внука, обрекая его на самостоятельное выживание.