Poco ha cambiado en la morfología urbana de Peratallada desde la época medieval. Y es que no sólo no se ha expandido fuera de las murallas, sino que ha sabido conservar sus orígenes arquitectónicos y urbanísticos como se aprecia al pasear por sus calles estrechas y tortuosas. No en vano es uno de los núcleos más importantes de Cataluña en cuanto a arquitectura medieval.

El núcleo fortificado se concentra sobre una enorme roca natural arenosa, cortada artificialmente para darle verticalidad (de ahí el topónimo "piedra tallada"). En lo alto se encuentra el castillo (del siglo XI, pero con indicios de que podría haber una estructura anterior), con su torre del homenaje y el palacio.

Alrededor del castillo se desplegaba una muralla que formaba un primer recinto cerrado, que estaba rodeado por dos murallas más. De este sistema defensivo actualmente se conservan algunos lienzos de muros, valles excavados en la roca, algunas torres como la Torre de las Horas y el Portal de la Virgen. La población, por tanto, quedaba dividida en tres sectores entre las murallas, lo que acentúa la trama urbanística de pasos y callejones.

Unos 200 metros al norte, extramuros, se encuentra la iglesia parroquial de San Esteban, obra de finales del románico.