Gården er ikke nevnt i skattelistene før i 1590-91. Gården er krongods i Landkommisjonen av 1661. Driverne var leilendinger frem til århundreskiftet. Fra ca 1700 kom det «militærpersoner» som eiere av gården, som altså var sjøleiere. I 1718 kom Karolinerne og forsynte seg grovt på gården. i 1729 ble gården bøksla bort til Joen Olsen Krogstad, og slik gjennomgikk gården flere bøkslinger frem til 1820-åra.
Frem til 1829 var Høiset en gård, men dette året solgte Christian Svendsen halvparten av gården til broren Peder Svendsen. I 1854 kjøpte Peder igjen resten av gården, slik at den igjen ble samlet til en gård. I 1899 tok sønnen, Svend Pedersen, over gården. I 1902 ble gården solgt til John Rasmussen Ofstad, som så i 1927 solgte gården til Rolf Lorentsen Midtlyng, som da hadde kommet tilbake fra Amerika. Dermed kom denne gården inn i slekta vår.
Datter av Rolf Lorentsen Midtlyng, Kjellrun Rolfsdtr. Midtlyng ble i 1943 gift med Ellev Larsen Høiset, som da var driver på hovedbruket på Høiset fra 1950, og deres sønn Lars Ellevsen Høiseth tok over gården i 1977, etter at husa ble ombygd i 1970.
Kilde: Horg-boka, bind I, side 58 – 80
