1862年，李锦裳生于广东新会。在他出生后不久，李父便因病离世了。

在那个年代，男人是家庭的支柱，李父过世后家庭的重担被压在李母的身上，母子俩的生活十分凄苦。好在李母是个踏实肯干的女人，她坚信自己能够凭借勤劳养活儿子。每天天光微亮，李母便去地里劳作，每天晚上又会做些杂活贴补家用。

由于李父英年早逝，所以当地传出不少关于李母克夫的闲言碎语。几乎每个村民途经李家，都要骂上一声“扫把星”。对此李母佯装浑然不觉，她将心思都放在抚养儿子上，对那些闲言碎语充耳不闻。然而，在封建末期，孤儿寡母的生存很成问题。

正所谓“寡妇门前是非多”，没过多久，便有一伙豪强欺负到李家母子头上，让他们原本就不宽裕的生活更加艰难。走投无路的李母，只能带着年幼的李锦裳背井离乡，来到南水墟开始了新的生活。这里位于珠江流域，是一座小岛。

住在岛上的居民靠海吃海，每天靠打鱼捕虾维持生计。不过，捕鱼毕竟是重体力劳作，李母自然无力捕鱼，年幼的李锦裳更是无法出海。母子俩为了活下去，便在小岛上开了一座茶棚，每天为往来的渔民煮些茶水，或加工刚捕上来的鱼虾生蚝，赚点加工费。

随着时间的流逝，李锦裳逐渐成长为大小伙子。此时的他已经可以独当一面了，每天母亲出门收购生蚝，李锦裳便在茶棚中照顾生意。正所谓“三十年河东三十年河西”，人生无常，李锦裳做梦都没想到一场意外改变了他的命运，也让李家成为显赫的商贾世家。