Oorspronkelijk waren dit twee 17de-eeuwse diephuizen, zoals aan de achtergevels nog duidelijk herkenbaar is. De huisnaam 'In die Gulden Lelie' wordt reeds vermeld in de lijst van parochianen van OLV-kerk in 1635, volgens dezelfde lijst heette het andere oorspronkelijke huis 'Den cleynen Engel'. Eind 18de eeuw werd het pand met het naastliggende samengevoegd achter een neo-classicistische monumentale gevel met fronton. Onder de naam 'De Olifant' had Guillaume Baltus, een notariszoon uit Kanne, en zijn Maastrichtse echtgenote Hubertine Damen hier een kruidenierszaak. Onder de zonen Louis en Richard groeide deze onderneming uit tot een waar imperium in koloniale waren. Richard huwde met buurmeisje Emerence Van Horen en ging in het ouderlijke huis Van Horen 'De Roos' wonen. Na het overlijden van vader Guillaume in 1876 bleef dit het woonhuis van Louis Baltus met de winkel 'De Olifant'.
