A n’aquest indret sembla que es bastí el primer nucli romà de Palma, a partir del 123 aC. Més endavant sota domini islàmic, es construí un autèntic alcàsser que servia de residència al valí o governador sarraí. D´aquesta època, en pren part de la seva fesomia actual. Amb la conquesta catalana, el 1229, l’edifici es reconstruí per convertir-se en la residència dels reis de Mallorca. Amb la desaparició del regne de Mallorca, el palau es convertí en residència dels virreis i governadors. Actualment serveix de residència oficial dels reis d’Espanya, de museu i una part és ocupada pel Govern Militar. Té planta rectangular i es troba tancat per alts murs, flanquejats per torres de planta quadrada, entre les que destaca la de l´homenatge, també anomenada de l´Àngel, degut a la escultura de coure situada a la part de dalt, de principi del segle XIV en representació de l´Arcàngel Sant Gabriel, l´antic patró de la ciutat. Al costat de les escales de la costa de la Seu, hi ha la torre dels Caps, anomenada així perquè s´hi exposaven els caps dels executats. L´actual, és una còpia del castellet de Perpinyà de 1909. La façana de la mar perd un poc el seu caràcter defensiu, amb un conjunt d´arcs i finestres a les diferents plantes.
L’entrada principal és la de davant la Seu, i dona accés al pati del Rei o d’Honor. Aquí és on es troba la capella de Santa Anna, d´estil gòtic. El seu portal presenta reminiscències de l’art romànic, amb escenes d’animals fabulosos esculpides als capitells, que sostenen arquivoltes llises de mig punt, construït amb marbre dels Pirineus. De les nombroses sales del palau en destaca la del Tinell o del Tron, construïda el segle XIV, idèntica a la del palau dels Reis de Mallorca de Perpinyà. En el segle XVI, quan s’enfonsà el seu sòtil, fou modificada amb la introducció d’un pis intermedi, sostingut per voltes de creuaria. Hi ha un segon pati més petit, el de la Reina, on s´hi troba una galeria porticada i la capella de Sant Jaume. També es conserven uns banys, molt possiblement de l´època islàmica.