L'origen del castell de Penyafort data del segle XII. Inicialment, fou una torre de defensa medieval i casa natal de l'il·lustre dominic Sant Raimon de Penyafort. D'aquest castell hi destaca la torre circular medieval i l'antic convent del segle XVII.
