В 1811 году князь Иван Иванович Барятинский стал одним из состоятельнейших людей России, унаследовав многочисленные имения и около 35 тысяч крепостных душ. Тайный советник, камергер и церемониймейстер двора Его Императорского Величества Павла I почти сразу после этого события принял решение оставить государственную службу с тем, чтобы целиком погрузиться в семейную жизнь, которая ему, надо сказать, удалась, и предаться, наконец, любимым своим занятиям, ведь на это никогда не хватало времени. А интересов, пристрастий и душевных склонностей у него была масса. Воспоминания и архивные документы рисуют Ивана Ивановича по-европейски образованным вельможей, любителем наук, искусств, талантливым музыкантом и даже ученым-агрономом.
Так что, воодушевленный полной свободой, он затеял выстроить себе новую усадьбу в имении Ивановское, в двадцати пяти верстах от города Рыльска, что в Курской губернии. Огромные средства и отменный вкус помогли Ивану Ивановичу в короткий срок создать в глухой провинции величественный дворцово-парковый ансамбль.