La Chiesa viene chiamata anche Sedile, in quanto qui si riunivano i nobili a partire dal 1551, anno rilevante per la storia della città: i bitontini con l'aiuto del vescovo Cornelio Musso riuscirono a riscattare la città con il versamento al Duca di Sessa e alla corona di Spagna di ben 66.000 ducati. L’arco addossato al palazzo, chiamato arco di Sant’Anna, è voltato a botte con lunette laterali in cui sono raffigurati gli stemmi delle 18 famiglie nobili bitontine (Bove, Barone, Gentile, Giannone, Guardia, Ilderis, Labini, Padula, Paù, Verità, Sasso, Sylos, Scaraggi, Saluzzi, Rubeis, Regna, Rogadeo, Planelli).
All'interno del palazzo vi è una lastra commemorativa che ricorda Vincenzo Rogadeo (1834-1899), primo governatore della Terra di Bari durante il periodo garibaldino. Nel 1966 il palazzo è stato donato dal Conte Ammiraglio Franco Rogadeo alla Città di Bitonto per essere adibito a Biblioteca Civica e Museo-Pinacoteca. La biblioteca contiene circa 50.000 volumi, molti manoscritti e codici, tra cui un Evangelario miniato del XIII sec., ed è intitolata ad Eustachio Rogadeo, figlio di Vincenzo, cultore e studioso.
