L'origine del castello di vetro risale al 1422.
Quest'anno, il re Carlo VII, dà la Contea di Aubigny a John Stuart, conte di Darnley, Constable of Scotland in riconoscimento del suo fedele servizio durante la Guerra dei Cent'anni, nella battaglia contro gli inglesi. Una piccola fabbrica di vetro, quindi si trova in riva al lago, ma demolita nel 1815 ha ispirato il nome di "The Glass".
Ma il castello non è stata costruita fino alla fine del XV secolo, durante il quale Beraud Stuart, nipote di John Stuart, al suo ritorno dalla campagna italiana, eretto l'edificio principale a seguito della Cappella e si unì alla Galleria "Rinascimento", costruito nel 1525 da Robert Stuart, figlio di Stuart e Beraud compagno Bayard.