Nos appareils audio commentent en effet sa construction, au XIe siècle. Suite à l’invasion normande, Guillaume le Conquérant s’empare des terres, appartenant alors au roi Edouard le Confesseur, et les confie à Walter de Flandre, son beau-frère. Ce dernier érige le château, qui sera détenu par sa famille durant quatre siècles.
Tombé en désuétude, le monument est vendu au XVIIe siècle. En 1962, les pierres du château en ruine servent à la reconstruction d’un manoir, aujourd’hui entretenu, selon la plus pure tradition britannique, par un lord.