Il borgo di San Pancrazio si erge su di un contrafforte dei monti di Palazzolo, al valico tra la Val d'Ambra e la Val di Chiana. Il paese vanta una storia antica: sono infatti documentate notizie della sua esistenza risalenti al periodo del Basso Medioevo, quando era sotto il controllo della vicina Badia di Agnano.
Nel corso degli anni l’Abbazia di Badia Agnano perse gradualmente la supremazia sul castello di San Pancrazio, trovandosi in conflitto prima con la famiglia Ubertini (il cui capostipite Guglielmino ricopriva la carica di Vescovo di Arezzo), e successivamente con la famiglia Tarlati, che aveva ottenuto il controllo di molti territori della Val d'Ambra tra cui l’Abbazia stessa.
Nell’anno 1300, a causa dei contrasti tra Guelfi e Ghibellini che si stavano scatenando nel territorio, l’Abbazia pose i suoi territori e i popoli che vi risiedevano sotto l’egida della Repubblica Fiorentina.
Successivamente, col termine dei conflitti, tutti i territori della Val d'Ambra persero il loro significato strategico e diventarono luogo d’investimenti da parte della borghesia fiorentina.
Nel ’600 il conte Pierangeli venne nominato Podestà e trasferì la sede podestarile in un edificio di sua proprietà situato proprio a San Pancrazio: questo edificio esiste ancora oggi, rilevato e restaurato dal Comune di Bucine (AR) nel 1972 e divenuto sede del Centro Interculturale "Don G. Torelli" in San Pancrazio.