Costruito verosimilmente negli anni intorno al 1100, il castello di Gorizia venne in seguito più volte ampliato e rimaneggiato, tanto da perdere, nel volgere di alcuni secoli, gran parte del suo aspetto medievale. Nel tempo il castello cambiò più volte padrone, passando dalle mani dei conti di Gorizia al dominio asburgico, con le brevi parentesi veneziana e napoleonica, e fu adibito a funzioni differenti (centro amministrativo, caserma, carcere).
Danneggiato dai bombardamenti durante la Grande Guerra, fu ricostruito (e modificato, senza troppo rispetto per l’originale) tra il 1934 e il 1937 a opera della Soprintendenza delle Belle Arti di Trieste e del Genio Militare, che intesero restituirlo al suo aspetto cinquecentesco. Attualmente ospita il Museo del Medioevo Goriziano.
All'interno del borgo sorge la quattrocentesca Chiesetta di Santo Spirito e, nelle vicinanze, il bell'edificio seicentesco dei conti Formentini, ora, assieme alle case Dornberg e Tasso, sede dei Musei Provinciali che presentano ricchissime collezioni artistiche (di particolare interesse quelle riguardanti il fertilissimo e creativo periodo del Novecento isontino) e il prestigioso Museo della Guerra, con le testimonianze del primo conflitto mondiale.