Картина происходит в Кромском уезде (Орловская губерния). Главный  герой — Селиван, которого оклеветали, назвали его  разбойником, колдуном и  превратили в «пугало» для окружающих людей. Позже происходит случай, который  раскрыл всем его доброту. 

Семья одного мальчика переезжает из Орла в деревню. Старый мельник(дед Илья) рассказывает  про  "ужасного"  Селивана. Сирота Селиван раньше  продавал калачи. Однажды он  исчез, оставив всю выручку. С ним исчезла дочь палача.Потом он появляется через три года. Селиван спас купца  и купец   разрешает ему жить на пустом постоялом дворе за аренду. Селиван привозит туда свою больную жену.(дочь палача) Прошло много лет, они жили и  платили уже наследникам купца  плату. Зная, что дохода небыло крестьяне решили, что он продал душу дьяволу. 

Однажды  тетя рассказчика  остановиться у Селивана, так как была метель. Но ночью  и тетя (с племянником)  уезжает. Когда они приехали до дома родителей (племянника), пропадают деньги. Они думают что деньги украл Селиван. Селивана хотят арестовать, но он пришел и отдал шкатулку.

 Отношение  к Селивану меняется.