纪晓岚往家里领回七个小妾，马氏也从不争风吃醋，反倒对这些姐妹非常好。这一点在现代人看来，简直是不可思议的。不过在当时，这种情况比较常见，元配夫人有时还会帮丈夫挑选合适的妾室，并肩负管家的责任。

不同于马氏，纪晓岚几乎将一生所有的感情投注在爱妾郭氏和沈氏的身上。郭氏在十三岁那年便嫁入纪家，足足比纪晓岚小了十多岁。郭氏年轻的肉体令纪晓岚十分沉迷，有一段时间纪晓岚几乎从不“光顾”其他夫人，独宠郭氏。

可惜的是，天妒佳人，郭氏在三十岁那年身染重疾一命呜呼，纪晓岚悲痛万分，只能用诗句悼念这位佳人。在郭氏嫁入纪府后，她每天都陪着纪晓岚看书，帮丈夫磨墨倒茶。可以说，伊人香伴的这段岁月，是纪晓岚一生中最幸福的时光。

直到二十多年后，纪晓岚才从小妾沈氏的身上找回激情。与郭氏一样，沈氏也是在十三岁的韶华嫁入纪府，不过在他嫁给纪晓岚时，纪晓岚已是个年过五旬的糟老头子了。马氏非常喜欢聪明伶俐的沈氏，将她当成自己的亲生女儿般对待。

沈氏非常擅长处理人际关系，“平生未尝忤一人”。她曾对丈夫提到，如果女人在容颜老去之前死去，可能还有人感到惋惜，若活到七老八十，只会令人生厌，自己绝不想活得那么久。不幸的是，沈氏一语成谶，她在三十岁的芳华逝去，算是达成了心愿。

沈氏在嫁给纪晓岚时目不识丁，但因她天赋异禀，没过多久便自学成才，粗通文义。沈氏过世后，纪晓岚感受到了与郭氏去世时一样的痛苦。为了悼念亡妻，纪晓岚写下“春梦无痛时一瞥，最关情处在依稀”的名句。从这句话里，我们能读出纪晓岚老年丧妻的凄苦，令人惋惜。