Иванов уже чуть не согрешил сам, потому что в дали от дома забыл женскую близость и едва ли не остался вместе с Машей. Самым смешным тут является вставленная фраза про семью: " Он хотел остаться, но вспомнил, что у него ещё есть жена и дети". В данном случае они приводятся нам, если не как груз, то как нежеланная обязанность. Иванов просто отвык от их существования. Поэтому, приехав домой, ему просто нужен был повод для ухода в мир без забот. И этим поводом так кстати стало знакомство его жены с соседом. В повести не было приведено ничего серьёзного между ними: сосед, как одинокий мужчина нуждался в простом банальном общении, он скучал по жене и детям, и поэтому просто видеться с, пусть и чужими детьми было для него радостью. А для Иванова это было прекрасным поводом для ухода. Даже не понятно его основной причины возвращения домой. Единственным фактором были - дети. И возможно, именно из-за их поступка он, не то чтобы "прозрел", но решил остаться с ними.