De reorganisatie van het bedrijf heeft niet meteen het gewenste effect. De commissarissen dringen aan op goede begrotingen en nacalculaties van de onderscheiden afdelingen. Er komt een aparte na-calculatieafdeling. De rapporten met voor- en nacalculaties worden dikker en dikker. Daan Dzn. heeft er niet veel mee op. Hij is meer van de ‘handigheidjes’ en ‘contacten buiten de deur’. Maar Piet wil de organisatie op orde krijgen. Een scheiding der geesten dringt zich op.
Ondertussen drukken de vaste lasten van de nieuwe vestiging in Amsterdam-Noord zwaar op het bedrijf. Om een antwoord te vinden op de teruglopende omzet in de bouwmaterialen wordt in 1972 een marketingman aangesteld: Van Anholt. Hij pleit voor uitbreiding van het assortiment, dichter naar de eindgebruiker: een tuincentrum, misschien een supermarkt in bouwmaterialen, wand- en vloertegels, kant en klaar garages, een keukencentrum. Maar het wil niet echt lukken.
De organisatiestructuur wordt in 1974 opnieuw bijgesteld. Er worden drie sectoren ingesteld: Beton- en Kalkmortel, Bouwmaterialen en Bouw Uitvoering. Van Heesch, inmiddels de derde commissaris van buiten het bedrijf, wordt “gedelegeerd” aan de directie. Hij wordt belast met de algehele leiding en de directe verantwoordelijkheid voor de sector Bouwmaterialen. Daarmee wordt de leiding van het bedrijf voor het eerst in handen gegeven van een “vreemde”.
Daan Dzn. en Piet komen klem te zitten tussen de gedelegeerd commissaris en de sectorleiding. Nico Wzn. verlaat de onderneming en begint voor zichzelf en ook Daan Wzn. heeft plannen in die richting.
Midden jaren ’70 lopen de activiteiten in de bouw drastisch terug. Het vertrouwen in de toekomst van de bouwnijverheid neemt af. De groei is er uit. De omzet in bouwmaterialen loopt terug. De te grote ‘overhead’ wordt een zware last. De bodem van de kas raakt in zicht, de bank wordt de grootste crediteur. De directie komt voor de vraag te staan welke koers het bedrijf vaart.
Donkere wolken pakken zich samen en in 1975 vindt een sanering plaats. Ook Daan Wzn. begint dan een eigen zaak. De Van Baarsen Groep is dan inmiddels uitgegroeid tot een balanstotaal van bijna ƒ 25 mln. met een omzet van meer dan ƒ 20 mln. De onderneming is financieel gezond, maar het rendement blijft achter.
Er volgen tropenjaren. De gedelegeerde commissaris stuurt aan op uitbreiding van het assortiment bouwmaterialen dichter bij de consument. Van Baarsen start met Gamma winkels. Te beginnen in Amsterdam West. Later volgen Aalsmeer en Amsterdam-Noord.
De betonmortelproducenten in Amsterdam waren altijd al strak georganiseerd. Er kwam haast geen concurrent tussen. Als het Albeton dan toch lukt, breekt de concurrentie uit. Nu dreigt ook de betonmortelfabricage verliesgevend te worden! Het bedrijf zoekt aansluiting bij een grotere speler. De betonmortel wordt in 1977 verkocht aan de Mebin. Theo Wzn., Piet de Hoog – echtgenoot van Aty Ddr. – , expeditie en chauffeurs van de mixers gaan mee over naar de Mebin. Wat bij D. van Baarsen BV aan bedrijfsactiviteiten over blijft, leidt grotendeels verlies. De directie zal een keus moeten maken: stoppen of doorgaan?