De verkoop van de betonmortel halveert het bedrijf. Er wordt besloten de rest van de onderneming af te bouwen. De bedrijfsactiviteiten worden onder een ‘Holding’ gehangen: Van Baarsen Beheer BV. Zo kan gemakkelijker het rendement van elke activiteit worden beoordeeld.
Het Keuken- en Interieurcentrum is geen succes. Het trekt onvoldoende belangstelling. Bij gebrek aan kennis en ervaring en onvoldoende financiële armslag stapt Van Baarsen in 1979 uit de keukenmarkt. Ook de activiteiten in de bouw worden beëindigd.
In 1982 wordt het bedrijfsterrein in Halfweg verkocht. De Mebin neemt het aandeel in het NCVK over. De Rederij wordt aan de Mebin verkocht. Het aandeel in Van Baarsen – Bastiaanse wordt verkocht aan de familie Bastiaanse. De bankschuld wordt in één keer afgelost. Van de overgebleven liquide middelen wordt een beleggingsportefeuille samengesteld.
Piet krijgt meer bestuurlijke taken: twee commissariaten en het voorzitterschap van Silex en van Sabulum. Ook Daan Jr. vervult kort enkele commissariaten maar zijn aandacht gaat voornamelijk uit naar het beheer van de drie Gamma winkels.
In juli 1985 wordt Piet getroffen door een herseninfarct en besluit hij zich uit het zakenleven terug te trekken. Daan Jr. slaagt er in de Gamma’s aan de Fa. Goedhart en aan Stoel van Klaveren te verkopen. In 1987 worden de EAKB BV, het vloerenbedrijf en de resterende groothandel in bouwmaterialen verkocht. De Mebin koopt het resterende terrein Zijkanaal I in Amsterdam-Noord.
Op 13 oktober 1989 is het eindelijk zo ver. Van Baarsen Beheer BV, inclusief het kantoorgebouw aan de Regulateurstraat in Amsterdam Noord en de beleggingsportefeuille, wordt overgedragen aan de Fa. Goedhart. Op 9 april 1991 wordt een akte van betaling en kwijting getekend. Daan Jr. sluit als laatste het kantoor.