Олеський замок стоїть на стрімкому пагорбі, що здіймається над довколишньою місцевістю — Бродівською рівниною. Протягом свої історії замок служив твердинею, палацом, резиденцією.

Уперше згаданий в історичних джерелах 1327 року: замок перейшов у володіння Юрія — сина мазовецького князя Тройдена і руської княжни Марії (дочки Юрія І), запрошеного боярами на галицько-волинський князівський престол після згасання роду Романовичів. Ця дата дозволяє припустити, що замок побудований одним із синів галицько-волинського князя Юрія Львовича — Андрієм або Левом.

Той період історії — ХІІІ ст. — позначений грізними подіями:Київська Русь розпалась на окремі удільні князівства і, знесилена внутрішніми чварами, втратила свою могутність та стала здобиччю зовнішніх ворогів. У 1223 р. військо Чингізхана розгромило дружини руських князів та їхніх союзників на річці Калці. Спалюючи городища, руйнуючи поселення, монголо-татарські орди докотились до західних рубежів Київської Русі. У 1241 р. загони Батия знищили давньоруське місто Пліснеськ, яке розташоване за 10 кілометрів від Олеська. Замок постав у час тяжких випробувань для всіх руських земель: їх поневолювали монголо-татари, на них зазіхали також угорські, польські й литовські феодали. У середині XIV ст. під владою феодальної Литви опинилися чернігово-сіверські землі, Київщина, частково Поділля та Волинь. Польща захопила Галичину й Західну Волинь; Буковина відійшла до складу Молдавського князівства, Закарпаття завоювали угорські феодали.

Олеський замок, який стояв на межі Волині й Галичини, опинився на кордоні Литви й Польщі — і за нього точилася постійна боротьба між цими державами. Відомо, що з 1340 р. замком володів литовський князь Любарт. У 1366 р. його відвоював польський король Каазимир Великий. Коли на трон зійшов його племінник Людовик — король польський і угорський, замок переходить до Владислава, князя Опольського. Останній, проводячи політику загарбання й окатоличення галицьких земель і добиваючись від Риму права на створення окремої галицької митрополії, передає в 1375 р. Олеську фортецю разом із Рогатином і Тустанню передано галицькому єпископу. Це викликало протест руського населення — і замок захоплено повстанцями. Проте ненадовго: в 1377 р. король розмістив тут угорські війська, які через п'ять років, зразу ж після смерті Людовика, за викуп залишають замок Любарту.

Для зміцнення свого становища на руських землях Польща й Литва в 1385 р. укладають договір — так звану Кревську унію — і об'єднуються в одну державу.Великий князь литовський Ягайло одружується з польською королевою Ядвігою, стає королем об'єднаної держави; його намісником на руських землях залишається брат короля — великий князь Свидригайло. Згодом між братами почалися суперечки: руські бояри, які вороже ставилися до феодально-католицького засилля Польщі, підтримали Свидригайла.

Олеська фортеця залишалася півстоліття неприступною для польських магнатів. У 1431 р., коли Ягайло тримав в облозі Луцьк, князь Казимир Мазовецький рушив на Олесько. Але фортеця не піддалась: оборону її очолив Івашко Преслужич з Рогатина. До селянських загонів приєдналися і місцеві бояри.

Після укладення перемир'я між Ягайлом та Свидригайлом (2 вересня 1431 р.) замки в таких містах, як Кам'янець-Подільський, Смотрич, Скала-Подільська, Ратно, Ветли, Городно,Лопатин, перейшли в руки поляків, а Олеський лишився Свидригайлові. Король пробачив олеським боярам їхній виступ, і 18 жовтня того ж року видав їм документи на володіння землями. Але 26 жовтня Олеська фортеця порушила перемир'я, напавши на володіння польського судді Давидовського.

Визвольна боротьба олеських загонів проти феодально-католицького засилля відбувалася паралельно з антифеодальним, національно-визвольним і антикатолицьким гуситським рухом, що був могутнім прологом до європейської реформації XVI ст.

У 1432 р. Олеський замок після тривалої облоги здобуто військами польського короля і передано разом із навколишніми землями у вічне користування Янові з Сєнни, синові Добєслава, нащадки якого по Петру Сенінському почали називатися Олеськими. Остання руська фортеця на галицьких землях упала — і почалося жорстоке пригнічення руського народу, що тривало майже шість століть. Як символ окатоличення руського населення в кінці XV ст. у Олеську постав костьол.