Se informa que San Galgano es el primer santo cuya canonización se llevó a cabo mediante un proceso formal por parte de la Iglesia. En consecuencia, gran parte de la vida de San Galgano se conoce a través de los documentos de este proceso de canonización, que se llevó a cabo en 1185, pocos años después de su muerte. Además, también hay una serie de obras escritas por autores posteriores sobre la vida del santo.
San Galgano nació en 1148 en Chiusdino, en la actual provincia italiana de Siena. Su madre se registra como Dionisia, mientras que (en obras posteriores) se dice que el nombre de su padre es Guido o Guidotti. Se dice que San Galgano solo se preocupaba por los placeres mundanos en sus primeros años de vida. Como noble, era un caballero entrenado en el arte de la guerra y era arrogante además de violento. Sin embargo, todo esto cambió y el caballero se convirtió posteriormente en un ermitaño.
La madre del santo, Dionisia, logra convencer a su hijo para que visite a su prometida por última vez antes de renunciar a todos los placeres mundanos. Ataviado con sus ropas de noble, San Galgano se dispone a visitar a su prometida. En su camino hacia allí, el caballo del santo se encabritó repentinamente y lo tiró de la espalda.
Entonces, una fuerza invisible levantó a San Galgano y una voz seráfica lo condujo a Montesiepi, una colina cercana a Chiusdino. Cuando San Galgano llegó al pie del cerro, le dijeron que se detuviera y mirara hacia la cima del Montesiepi. Se dice que San Galgano tuvo una visión de un templo redondo con Jesús y María rodeados por los Doce Apóstoles.
Varios años después de la muerte de San Galgano, en la cima del Montesiepi se construyó una capilla redonda, con la espada clavada en la piedra como principal atractivo.
Durante siglos, se creía comúnmente que la espada en la piedra era una falsificación moderna. Sin embargo, una investigación relativamente reciente ha demostrado que la espada es del siglo XII, según la composición del metal y el estilo de la espada. Los investigadores también descubrieron, con la ayuda de un radar de penetración en el suelo, que hay una cavidad que mide 2 m por 1 m debajo de la espada, que quizás contenga el cuerpo de San Galgano. Por último, la datación por carbono de otra curiosidad de la capilla, un par de manos momificadas, confirmó que también son del siglo XII.