Under 1600-talet bodde här flera framstående adelsmän, till exempel fältmarskalkarna Herman Wrangel och Krister Horn. Även Jonas Alströmer ska senare ha ägt gården under en period. 1791 köptes säteriet av amiralen C A Wachtmeister och det var då huvudbyggnaden fick sitt nuvarande utseende. Samtidigt byggdes två flygelbyggnader. I mitten av 1800-talet omfattade gården huvudbyggnaden med 16 rum och kök, de två flygelbyggnaderna med bostäder och ekonomiutrymmen, ladugård, trädgårdsmästarbostad, brygghus och bränneri. Lärjeån gick genom parken som var anlagd i engelsk stil.

1895 köptes Lärjeholm av Göteborgs Stad, som lät bygga nya ekonomibyggnader, arrendatorsbostad med mera. Huvudbyggnaden användes på 1920-talet som anstalt för alkoholister och blev senare annex till Lillhagens sjukhus. Den södra flygeln brann ner 1930 men huvudbyggnaden och den andra flygeln finns kvar. Idag är det vårdhem.

Lärjeholms Gård blev byggnadsminne 1973. Huvudbyggnaden är i trä i två våningar med brutet valmat tegeltak och fasader klädda med lockpanel i 1700-talsstil. Den ursprungliga planlösningen finns delvis kvar och även delar av trädgårdsanläggningen är bevarade.