Вначале сооружение было построено как форт для обороны Марселя от атак с моря. Строительство шло в 1524—1531 гг по приказу короля Франциска I.

С конца XVI века замок стал использоваться для изоляции и охраны особо опасных преступников. Именно с тех пор форт и получил название замка Иф. В темницах содержались гугеноты, политики, руководители Парижской коммуны, а также персоны, представлявшие опасность для Франции.

В 1830-х годах замок Иф официально перестал быть тюрьмой, но в 1871 году здесь содержались руководители Парижской коммуны, а её руководитель Гастон Кремье расстрелян на острове Иф.

Замок Иф, считавшийся оплотом пыток и политзаключения более 200 лет, в 19 столетии превратили в музей, а в 1926 году ему был присвоен статус архитектурного памятника.