就在该防御工事的原址之上,诺曼第人修建了一座新的城堡,而这座城堡也正是如今我们看到的这座巴姆伯格城堡的核心。在遭到城堡的拥有者——诺森伯兰郡伯爵(earl of northumberland)罗伯特·德·莫布瑞(robert de mowbray)的抗议,1095年,威廉二世(william ii)对城堡实行包围,但是并没有获得成功。不过在罗伯特被俘之后,他的妻子继续抵抗,由于国王以要挖去她丈夫的双眼为威胁,致使罗伯特的妻子最终缴械投降。
巴姆伯格城堡最后成为了在位的英国国王的财产。亨利二世(henry ii)还对其进行修复。作为一处重要的英格兰前哨,城堡时不时地就会成为苏格兰的攻击目标。1464年,正值玫瑰战争(wars of the roses)期间,在由第16世沃里克伯爵(16th earl of warwick)理查德·内维尔(richard neville)率军包围城堡9个月后,巴姆伯格城堡成为了英格兰第一座被炮兵攻下的城堡。