Отец, Андрей Прохорович Крылов (1736—1778), умел читать и писать, но «наукам не учился», служил в драгунском полку, в 1772 году отличился при защите Яицкого городка от пугачёвцев, затем был председателем магистрата в Твери. Умер в капитанском звании в бедности. Мать, Мария Алексеевна (1750—1788) после смерти мужа осталась вдовой.

Иван Крылов первые годы детства провёл в разъездах с семьёй. Грамоте выучился дома (отец его был большой любитель чтения, после него к сыну перешёл целый сундук книг); французским языком занимался в семействе состоятельных соседей. В 1777 г. он был записан в гражданскую службу подканцеляристом Калязинского нижнего земского суда, а затем Тверского магистрата. Эта служба была, по-видимому, только номинальной и Крылов считался, вероятно, в отпуске до окончания ученья.

Учился Крылов мало, но читал довольно много. По словам современника, он «посещал с особенным удовольствием народные сборища, торговые площади, качели и кулачные бои, где толкался между пестрой толпой, с жадностью прислушиваясь к речам простолюдинов». С 1780 года начал служить подканцеляристом за копейки. В 1782 г. Крылов ещё числился подканцеляристом, но «у оного Крылова на руках никаких дел не имелось».

В это время он увлёкся уличными боями, стенка на стенку. А так как он был физически очень крепким, то выходил зачастую победителем над взрослыми мужиками.

В конце 1782 г. Крылов поехал в Санкт-Петербург с матерью, намеревавшейся хлопотать о пенсии и о лучшем устройстве судьбы сына. Крыловы остались в Санкт-Петербурге до августа 1783 г. По возвращении, несмотря долговременное незаконное отсутствие, Крылов уволился из магистрата с награждением чином канцеляриста и поступил на службу в петербургскую казённую палату.

В это время большой славой пользовался «Мельник» Аблесимова, под влиянием которого Крылов написал, в 1784 г., оперное либретто «Кофейница»; сюжет он взял из «Живописца» Новикова, но значительно изменил его и закончил счастливой развязкой. Крылов отнёс свою книгу Брейткопфу, который дал за неё автору книги на 60 рублей (Расина, Мольера и Буало), но не напечатал. «Кофейница» увидела свет только в 1868 г. (в юбилейном издании) и считается произведением крайне юным и несовершенным.