Si accede al Civico Museo del Castello-Armeria attraverso una porta sormontata da un affresco. Il primo ambiente che si incontra è la quattrocentesca Cappella dedicata a San Giorgio.
La zona presbiteriale mostra ancora l’originario aspetto tardo-gotico, stile che nelle zone di influenza germanica permase fino a tutto il Cinquecento.

L’abside è delimitato da un arcone a sesto ribassato ed è coperto da una volta a crociera, suddivisa in quattro vele ogivali da costoloni che poggiano su mensole a forma di testa (un uomo con turbante, una donna e due personaggi mostruosi). Al centro della volta vi è lo stemma dell’imperatore Federico III d’Asburgo, posto a siglare il completamento dell’edificio da lui ordinato: entro una cornice mistilinea campeggiano – a sormontare un muso leonino – gli scudi di Stiria, Carinzia e Carniola racchiusi in basso da un cartiglio su cui sono incisi la data 1471 e l’acronimo “A.E.I.O.U.”, scelto come motto dall’imperatore. Le cinque vocali vengono variamente interpretate: possono essere le iniziali di “Alles Erdreich Ist Österreich Unterthan ” (che tradotto significa “Tutta la Terra è sottomessa all’Austria”) oppure, in latino, di “Austriae Est Imperare Orbe Universo” (ovvero “All’Austria spetta il dominio su tutto il mondo”) o, ancora, di “Austria Erit In Orbe Ultima” (cioè “L’Austria sarà l’ultima al mondo”). Le teste dell’aquila imperiale austriaca sono state scalpellate alla fine della prima guerra mondiale con il ricongiungimento di Trieste all’Italia.
Le due statue lignee ospitate nella cappella provengono dalle collezioni dei Civici Musei di Storia ed Arte: sull’altare, realizzato durante i restauri degli anni ’30 del ’900, è stato collocato un Crocifisso in legno, ascrivibile a bottega nord-europea del XVII secolo; vi è inoltre un Santo (San Giovanni Evangelista o San Paolo), opera di bottega friulana del primo quarto del XV secolo, proveniente dalla Cattedrale di San Giusto.

L’edicola gotica in calcare murata nella parete di fondo apparteneva a una casa demolita nel 1907 in Cittavecchia.