Il prospetto dell'edificio a bugnato (pietre quadrangolari rustiche a leggero rilievo), seppur di gusto tardorinascimentale, presenta diversi elementi stilistici; infatti, il piano terra è caratterizzato da semplici finestre quadre e da un portale classico; il secondo e il terzo piano da eleganti balconi settecenteschi.
Una sporgente cornice (aggettante), abbellita da elementi scultorei di varia forma (acroteri), definisce la parte sommitale del palazzo.
Sulla sinistra della facciata principale, il portale rinascimentale costituiva l'ingresso dell'antica chiesa della Misericordia, demolita nel 1905; sulla parte sommitale del portale si legge un'iscrizione con dedica alla Vergine alla quale si chiede il dono dell'acqua. Nel piccolo frontone è visibile un rilievo rappresentante la Pietà; sulla trabeazione vi è il Volto Santo.
Sulla destra del palazzo, addossata alla Cattedrale, si scorgono due aperture ad arco (fornici) di impianto classicheggiante, appartenenti alla loggia delle benedizioni del vescovo Carafa, realizzata a cavallo tra il 1622 e il 1650.
Procedendo su via Michele Speranza, il palazzo De Lerma presenta un secondo prospetto, simile al principale, con semicolonne a bugnato e un portale, tompagnato, decorato da un fregio di stampo classico.
