L’église Saint Martin était à l’origine une simple chapelle attestée par une charte royale du Xème siècle, confirmant son appartenance aux chanoines de la cathédrale d’Orléans. Il s’agit d’une reconnaissance de propriété, que l’usage du temps faisait renouveler fréquemment, prouvant ainsi que la chapelle Saint-Martin-du-Loiret (l’ancien nom d’Olivet) existait déjà avant le Xème siècle. Les origines de cette chapelle sont donc incertaines, mais la première église qui l’a remplacée peut sûrement être datée du XIème siècle : en 1089, une charte authentique du roi Philippe Ier cite une église avec des dépendances importantes sous le patronage du chapitre de la cathédrale d’Orléans. Il s’agit encore d’une confirmation de propriété, preuve d’une présence plus ancienne. C’est donc entre ces deux dates de 990 et 1089 qu’il faut placer la construction de la première église d’Olivet. C’est précisément l’époque où, selon la remarque du moine Raoul Glaber, « la France se couvre d’un manteau blanc d’églises ».
Cette église primitive, certainement romane, a cédé la place, fin XIIème – début XIIIème siècle, à un édifice gothique qui subit aux siècles suivants les vicissitudes de la Guerre de Cent Ans, puis les dévastations des Guerres de Religion. A chaque fois pourtant, l’église fut restaurée et même agrandie, sans doute pour suivre l’augmentation démographique de la paroisse.