Die ursprünglich mittelalterliche Burg steht auf einem Kalksteinfelsen im Seinebogen oberhalb des Ortes. Ihre Anlagen sind zum Teil in den Berg eingegraben. Im 10. Jahrhundert und später war sie Teil der Grenzbefestigung in den normannischen Kriegen und hatte erheblichen strategischen Wert. In Folge der Auseinandersetzungen wurde sie fortlaufend verstärkt.
Die Burg gehörte den Herren von La Roche (frz. roche=Felsen), die traditioneller Weise den Vornamen Guy trugen und damit dem Ort seinen Namen gaben. Das französische Adelsgeschlecht ist erstmals im 11. Jahrhundert nachgewiesen. Die Familie wurde 1515 in den Grafenstand erhoben und erhielt 1622 die Herzogswürde. Ein bedeutender Vertreter ist Francois VI. (1613 - 1680) mit seinem Hauptwerk "Maximen".
Im 14. Jahrhundert wurde am Fuß des Felsens ein Herrenhaus gebaut und ein Geheimgang zur oberen Burg gegraben. In der Renaissancezeit trat die militärische Bedeutung in den Hintergrund. Das Herrenhaus diente jetzt als Jagdschloss. Ein Gemüsegarten wurde angelegt und eine Mauer gegen die Überschwemmungen der Seine.
Im 18. Jahrhundert fanden unter dem Herzog von La Rochefoucauld umfangreiche Bauarbeiten statt: repräsentativer Eingang, Terrassen, großer Salon, eine Bibliothek und ein kleines Theater. Im Südostturm wurde eine Sternwarte installiert.
Anfang 1944 bekam die Anlage noch einmal militärische Bedeutung. Generalfeldmarschall Erwin Rommel, Oberbefehlshaber der Heeresgruppe B, schlug hier sein Hauptquartier auf.