Фёдор Толстой родился в семье графа Петра Андреевича Толстого. С рождения был записан сержантом в Преображенском полку. Учился в Полоцком иезуитском коллегиуме, в Беларуси, затем в Морском кадетском корпусе. Рано проявил талант к изобразительному искусству. Ещё учась в Морском корпусе, Толстой начал посещать Петербургскую Академию художеств в качестве вольнослушателя. В 1804 году подал в отставку и начал карьеру художника.
В Академии художеств Толстой обучался скульптуре у И. П. Прокофьева. В 1809 году создал свою первую медаль «В память просветительной деятельности Чацкого». В том же году он был избран почётным членом Академии художеств. В 1810 году получил назначение в Петербургский Монетный двор.
В 1838 году граф сочинил балет «Эолова арфа», написал к нему либретто и даже был постановщиком некоторых танцев.
Последние годы жизни нередко отдыхал в усадьбе Марковиль в окрестностях Выборга, принадлежавшей Толстым в 1850-70-х гг.
Умер Фёдор Петрович Толстой 13 (25) апреля 1873 года; похоронен на Лазаревском кладбище Александро-Невской лавры.