В XII веке здесь находилось укреплённое поселение древнего Брянска, которое являлось крупной оборонной крепостью России вплоть до начала XVIII века. Центральным сооружением горы является Покровский собор (Церковь Покрова Пресвятой Богородицы) — самый древний из сохранившихся в Брянске храмов. В начале XVIII века у подножия Покровской горы был основан Брянский Арсенал, выпускавший пушки, мортиры и другие орудия. На Покровской горе находится памятник архитектуры XVIII века — дом генерал-директора Брянского Арсенала. Рядом с домом генерал-директора Арсенала находятся казармы бывшего Дорогобужского полка. Здесь расположен мемориальный комплекс, построенный в 1985 году в честь 1000-летия Брянска.