Si tratta di un imponente edificio sito in via Melzi a 100 m dalla Chiesa prepositurale di S.Stefano, le cui prime pietre vennero posate nel XIV secolo d.C.
Prende il nome dalle due famiglie aristocratiche che nel corso dei secoli ne furono proprietarie: i Pusterla e i Melzi.
Il castello ha subito nel corso dei secoli numerose trasformazioni. Del periodo iniziale, quando il complesso svolgeva principalmente ancora funzioni di difesa, restano soltanto le mura esterne (oggi visibili da via Melzi).
Nel XVI secolo, per volontà della famiglia Pusterla vennero riorganizzati gli interni e costruiti nuovi edifici residenziali, i quali gli conferirono più l´aspetto di un palazzo rinascimentale che quello di una fortezza difensiva.
Parte del palazzo rinascimentale, tra cui un´alta torre d´osservazione e gli edifici posti a sud della Chiesa di S. Maria in Castello, vennero purtroppo abbattuti negli Anni ´60 del secolo scorso in quanto divenuti pericolanti; al loro posto é stato costruito un edificio che ha poi anche ospitato un istituto scolastico.
Il complesso conservato fino ad oggi consiste nella parte principale dell´antico palazzo che, a testimonianza del fatto che il castello era ormai diventato una dimora nobiliare sede di feste e divertimenti, racchiude numerose sale riccamente decorate secondo diversi stili.
Il palazzo si affaccia, inoltre, su un giardino a cui fa da appendice un vasto parco.
Il castello rimase di proprietà della famiglia Pusterla fino al 1814 quando, in mancanza di eredi maschi, passò in eredità alla famiglia Melzi Malingegni.
Alla fine del XIX secolo, il castello e tutti i beni della famiglia Melzi passarono in eredità all´Ordine religioso delle Madri Canossiane. L´ultima ed unica erede della famiglia, Barbara Melzi, divenne suora e lasciò tutti i suoi beni al proprio ordine religioso.