Permanente bewoning op Eckart, het gebied tussen de twee armen van de rivier de Dommel, is ongeveer 1000 jaar gele­den begonnen. Boeren vestigden zich hier en bouwden hun boerderijen met het materiaal dat voorhanden is: eiken­hout, riet en klei uit de rivier. Dat gaat eeuwenlang zo door. In de middeleeuwen worden ook stenen huizen gebouwd, maar op het platteland waren die voorbehouden aan de machtigen en de rijken. Het eerste stenen gebouw op Eckart verscheen pas op het eind van de zeventiende eeuw.

 De hoeve Eckart in de periode tot 1695
De eerste grote hoeve die wordt gebouwd heet Hetsrode. Deze bevindt zich in het zuidelijkste deel van het gebied. Daarna volgen de hoeve Luytelaer in het noordelijk gedeelte en de hoeve Eckart in het oosten. In de periode 900 tot 1250 na Christus, hebben de huizen een min of meer bootvormige plattegrond. Een voorbeeld daarvan is gebouwd in het pre­his­torisch dorp van Eindhoven Museum. Daarna ontwikkelt zich het woon-stal-huis. Dat is een rechthoekig, driebeukig hallehuis met een eikenhouten gebintconstructie waarover een strooien dak is gebouwd. De westelijke regen­zijde reikt daarbij vrijwel tot aan de grond. Ze zijn gemaakt van verticaal geplaatste palen waartussen takken gevlochten worden en aan beide zijden afgesmeerd met stro, mest en leem, dat voor de nodige hard­heid zorgt. Er is nog geen schoorsteen; de rook van het open houtvuur vindt zijn weg langs een gat in de nok van het dak. Een dergelijk huis is hoeve Eckart, gebouwd binnen een gracht.

Bouw van een stenen huis in 1695
Het is Carel van Vlierden die beschouwd kan worden als een belangrijk persoon in de bouwgeschiedenis van de vroegere hoeve naar het kasteel van nu. Hij erft de heerlijkheid in 1685 van zijn broer Hendrick. Hij laat in 1695 een imposant stenen huis bouwen, maar ongelukkigerwijs overlijdt de bouwheer nog in hetzelfde jaar. Zijn broer Richard erft de heerlijkheid en daarmee ook het nieuw gebouwde stenen huis met hoeve op Eckart.
 
Verbouwingen
De eerste fotografische afbeelding van het kasteel is van 1870. We kunnen aan de hand van een tekening uit 1815 en de foto uit 1870 de gelijkenis goed zien en ook wat er sinds­dien is veranderd. Een foto uit 1900 laat zien dat er na 1870 geen veranderingen meer zijn aangebracht. Op het met pannen gedekte dak prijkt een dakruiter met daarin een slagklokje. Het is in 1774 gegoten door Alexius Petit uit Someren. Veel later maakt Theodorus Gijsbertus Maria Smits van Oyen plannen om van zijn in 1899 nieuw verworven bezit, een groots en eigentijds landgoed te maken.

Het gebouw, met een breed front van ruim 30 meter, heeft door deze immense verbouwing een paleisachtig uiterlijk in neoclassicistische stijl gekregen. Aan de voor- en achterzijde worden door de befaamde tuinarchitect Dirk Frederik Ter­steeg uit Naarden ruim opgezette perken en paden aange­legd die prachtig zijn te overzien vanuit de kamers van het huis en passen bij de wat strenge symmetrie van het huis.

Enkele jaren later, in 1912, wordt de al bestaande toegangs­weg naar het kasteel, kaarsrecht doorgetrokken tot  aan de Hooge Dijk. Deze weg is in 1920 Eckartscheweg gaan heten en heeft bij de aanleg van de Sterrenlaan, een naamswijzi­ging moeten ondergaan en heet nu Nuenenseweg. De nieuwe kasteellaan krijgt een ingang met twee levensgrote stenen leeuwen op bakstenen sokkels.
 
De adel vertrekt, de geestelijkheid treedt aan. Eind 1937 kopen de Broeders van het Norbertus-gesticht te Elshout het kasteel met ‘opstand en aanhorigheden, als koetshuis en boerderij’, voor het bedrag van 160.000 gulden. Zij gaan er een instelling voor de nazorg van mannelijke geestelijk gehandicapten in vestigen. Toch is het nog lang niet het einde van veranderingen van het kasteel en het landgoed, hoewel niet meer zo ingrijpend als in 1938. Echter, zoals het al eeuwen is gegaan, heren komen, heren gaan, broeders komen, broeders gaan. St. Jozefdal wordt vanaf 1980 voort gezet onder het bestuur van een particuliere stichting. De instelling krijgt de naam Eckartdal.

Inmiddels is een nieuwe eeuw aangebroken en zijn er vele fusies geweest. Het  is nu in handen van Lunetzorg, een Brabantse stichting die zorg levert aan mensen met een verstandelijke beperking. In 2008 pas werd het kasteel volledig gerestaureerd.

 
Rest nog de laatste opmerking over de monumentenstatus. In 1972 werd het kasteel ingeschreven in het Rijksmonu­menten­register.