Nonostante le informazioni sulla storia di questa costruzione siano molto scarse, la costruzione del castello di Bardolino si ritiene sia avvenuta verso la fine del IX secolo, quando re Berengario, re d’Italia ed imperatore dei romani, diede il permesso ai paesi che si affacciavano sul Lago di Garda, Bardolino compreso, di costruire mura e fortezze per proteggersi contro le continue invasioni degli Ungari che in quegli anni compivano incursioni nei villaggi senza fortificazioni con lo scopo di saccheggiarli dei loro beni.
Nel corso degli anni, per via delle varie esigenze di protezione, il castello venne più volte modificato rendendolo sempre più fortificato. Queste modifiche culminarono con l’arrivo della famiglia degli Scaligeri i quali costruirono nel 1300 una torretta di avvistamento ancora oggi visibile e resero il castello di Bardolino un’unica fortificazione di forma quadrata, come è riportato in alcune cartine topografiche del Lago di Garda datate 1439 conservate ancora oggi nell’archivio di Stato di Venezia. La nuova modifica comprendeva la fortificazione delle mura aggiungendo spalti, merlature e agli angoli della fortificazione vennero costruite quattro torri di protezione il tutto circondato da un ampio fossato. Il centro del paese era quindi raggiungibile solamente da due entrate: Porta San Giovanni a nord e Porta Verona a sud.
Di queste fortificazioni non rimane praticamente nulla. Con l’ampliarsi del paese le mura del castello di Bardolino vennero abbattute ed il fossato ricoperto. Oggi della costruzione originale è rimasto solo l’andamento delle strade, la torre sul lungolago (riconoscibile per la sua pendenza), l’antica torre Scaligera situata all’interno del paese e le due entrate ormai inglobate nel centro storico del paese.