Harresi horiek ondo iraun zuten mendeen joan-etorria, eta XIX. mendera arte ia oso-osorik mantendu ziren. Garai horretan, ordea, Uribarren-Abaroa familiak bultzaturiko berriztatze lan handiak burutu ziren, eta harresia ia erabat eraitsi zen, herriaren hazkunderako oztopoa baitzen.
Aurretik, 1828 eta 1832. urteetan, portaleak suntsitu ziren, jada ez baitzuten inongo funtziorik eta kaleetan argia sartzea oztopatzen baitzuten. Lehendabizi Ateako portalearen arkua, eta geroago Apalloa, Elizatea, Trinitate eta San Nikolas Tolentinoko harresiak eta arkuak eraitsi ziren. Hala ere, Zumatzetako ateak 1884. urtera arte iraun zuen eta San Pedrokoak 1888ra arte. Ate hori eraistean santuaren irudia gaur egun dagoen lekura aldatu zen: kofradia zaharrera (argazkia).
Ordutik, Dominiken komentua eta inguruko orubeak inguratzen dituzten hormak (155 metro), eta berrerabili izan diren harresi zatiak baino ez dira zutik mantendu. Esaterako, Apalloako atea zegoen inguruan, Gallo tabernan (argazkia) eta Trinitate kaletik sarrera duten etxeetan (argazkia I / argazkia II), Intxaurrondo kalean –suhesiaren zatia-, edo Narea kaleko karkaban ikus ditzakegu gaur egun harresi zatiak.