Vanaf de 9e eeuw behoorde Hemmen aan de ridders Van Doornick’s. Elisabeth van Doornick trouwde in 1360 met ridder Steven van Lynden, waardoor de Heerlijkheid Hemmen in het geslacht Van Lynden overging.
De laatste heer van Hemmen was baron Frans Godard van Lynden van Hemmen. In 1926 richtte hij de Stichting het Lijndensche Fonds voor Kerk en Zending op. De akte is gepasseerd in 1926 en ging in werking op de dag van overlijden van de Baron en laatste heer van Hemmen. baron Frans Godard van Lynden van Hemmen overleed in 1931 kinderloos waardoor deze tak van het geslacht Van Lynden uitstierf. Het Huis Hemmen behoorde na zijn dood toe aan het Lijndensche Fonds en was tot 1944 een conferentieoord. Zendelingen, die met verlof in Nederland waren, konden er logeren en overspannen predikanten konden er tot rust komen. In 1942 vonden evacués (personen die in veiligheid worden gebracht) hier onderdak.
In september 1944 zijn dorpen beschadigd en verwoest door de oorlog. Vooral in het laatste stadium van de oorlog had Hemmen het zwaar te verduren. Alle bevolking moest evacueren. De Duitsers schoten van de Wageningse berg naar de Engelsen en Canadezen, die ten zuiden van de Linge lagen. De Duitsers bezette het dorp en het kasteel. De geallieerde strijdmacht wist Huis Hemmen in brand te schieten, waardoor de Duitsers via de gracht en Linge richting Rijn vluchtten. Daarna is het huis volledig verwoest. De meeste bezittingen van de Van Lyndens zijn verloren gegaan.