Работы над фундаментом были окончены в 1848 году, а к концу 1852 года завершено строительство цокольного этажа. В нем были размещены склады пороха и провизии, цистерны для воды, кухни, столовые, гауптвахта и отхожее место. В конце 1854 года завершено строительство первого этажа, а в 1857 году оканчиваются работы над верхней платформой форта и сторожевой башней. Полностью строительные работы прекращаются в 1866 году. Таким образом, строительство форта длилось в общей сложности больше шестидесяти лет! И лишь на меньшую часть этого срока приходятся непосредственно строительные работы.

Готовый форт составляет 68 метров в длину и 31 метр в ширину при высоте 20 метров. 66 казематов форта могут разместить в себе 74 артиллерийских орудия. Гарнизон форта состоит из 260 человек, в распоряжении которых находятся маркитантка, прачка и даже два сапожника (и это при том, что обувь солдат форта в принципе не должна быстро изнашиваться). В случае осады гарнизон форта может продержаться в течение двух месяцев, используя запасы воды и продовольствия.

Казалось бы, чего ещё желать? После грандиозных усилий форт наконец-то построен и готов по полной оправдать вложенные в его постройку средства. Но, вот она, ирония судьбы! К моменту завершения стройки оказывается, что форт уже не нужен.

Дело в том, что раньше низкая дальнобойность артиллерийских оружий не позволяла держать под контролем акваторию между двух островов, что и позволяло вражеским судам безнаказанно плавать практически под носом у французских артиллеристов. Но, технический прогресс, тот самый, что упростил постройку форта, затронул и военную технику. Новые артиллерийские орудия обладали утроенной дальнобойностью; этого было достаточно для того, чтобы избавиться от непрошенных гостей при помощи одних лишь батарей островов. Вместо первоначально планируемых 74 артиллерийских орудий в форт было доставлено всего лишь 30

Однако тюрьмой форту было суждено пробыть недолго — в 1872 году узников переселили в специальную колонию на острове Новая Каледония, а крепость занял Военно-Морской Флот. Таким образом форт Байяр всё-таки получил статус военного объекта, и являлся таковым вплоть до 1913 года, когда военные окончательно оставили крепость.

Опустевший форт Байяр стал прекрасной добычей для воров. Всё, что представляло собой хоть какую-то ценность, было вывезено. Артиллерийские орудия были проданы двум скупщикам железного лома. Те, недолго думая, отсоединили закреплённые пушки динамитом. Уже одно это говорит о том, насколько «нуждались» теперь в форте…
Впрочем, властями департамента была предпринята робкая попытка заработать на форте — в 1931 году крепость сдавалась внаём всем желающим, за 300 франков в год. Желающих арендовать форт было всего двое.
Во время Второй Мировой войны форт, как и вся Франция, был оккупирован немецкими войсками.
Захватчики использовали крепость в качестве мишени для тренировочных стрельб, в результате чего практически полностью были уничтожены пристани и волнорезы, а внутренний двор форта оказался в буквальном смысле погребённым под каменными обломками.

Масштабные реставрационные работы, проведённые на территории послевоенной Франции, совершенно не затронули форт Байяр — он так и остался израненным и лишь густые поросли диких трав слегка прикрывали шрамы, оставленные войной. Причисление форта к историческим памятникам, состоявшееся в 1950 году, также ничего не изменило.

А в 1961 году было принято решение выставить форт Байяр в качестве лота на аукцион. Минимальная цена составляла 7,5 тысяч франков. Потенциальных покупателей было около пятидесяти, однако в конце концов, по мере повышения суммы их осталось всего двое — бельгийский дантист из Аворья Эрик Аэрт и представитель ассоциации друзей форта Байяр (да, существовала и такая). К сожалению, ассоциация не смогла выделить на покупку более 25 тысяч франков, и Аэрт, предложивший 28 тысяч, стал владельцем форта.