曹寅之父曹玺任江宁织造，后曹寅、曹寅之子曹颙、曹寅过继之子曹頫先后担任此职，一直到康熙去世、雍正登基曹家才开始败落。原因好像是曹家与其姻亲李家都参与了皇家的夺嫡之争，站错了队伍，先是支持太子，后是支持八阿哥，就是没有识别出那位四阿哥才是潜龙。
结果，雍正上台后，曹家、李家先后被抄家，曹家还好，雍正还算给留点体面，虽然抄家，但京城还给留了两处房产，让曹家的孤儿寡母入住。李家就没那么大面子，妻女仆人在苏州就地发卖，卖了十天都没人敢买，凄惨景象无法言表。
想到这些，曹颙只觉得浑身发冷，如今自己竟成了曹寅的亲生儿子，虽然不知道到底活了多少岁，但总之是年纪轻轻就病逝，还留了个遗腹子，然后就是有曹寅的过继之子继承家业这么一说。想到这些，又有些哭笑不得，一不小心竟成了曹雪芹的长辈，而且极有可能就是他爹，即便不是他爹，也是他大爷……呃……也是他的大爷。
虽然三天时间不长，但曹颙通过身子记忆对曹家多少了解许多。知道老太君已经六十八岁，虽然年轻时在宫里当过差，却并不是后世传说中的乳母，而是做过康熙的保姆。
皇家的保姆，可不是大家认为的那种侍候孩子的老妈子，而是又被称为“精奇嬷嬷”的高级看护，是皇子皇女身边的生活总管，算是实际的养母。
从顺治十一年春天进宫当值到康熙四年皇帝大婚这十来年中，孙氏一直担任康熙的“精奇嬷嬷”，与康熙皇帝的感情不亚于亲生母子。因此，在康熙亲政后，才会封孙氏为“奉圣夫人”，一品诰命，并且封了其夫曹玺一等男的爵位。另外，在康熙皇帝两年前的第三次南巡中，就落脚在江宁织造府，因此江宁织造府又被江宁人称为“大行宫”。
曹寅为了不逾越，才避居到西侧院，空了当年迎接圣驾的正房与东边的院子以示恭敬。就是在那次南巡中，康熙为保姆孙氏的住处提了“萱瑞堂”三个大字，并且在陪同的大小官员面前称孙氏为“此乃吾家老人”。或者正是因为在宫里当差的时间太长，与丈夫一直两地分居，孙氏没有自己的亲生儿子。曹寅实际上是曹家的庶出长子，生母早逝，养在孙氏名下，充作嫡子。
曹寅自幼聪颖，十月能言，三岁识字，五岁能文。虽然年纪比康熙小四岁，但的确是进宫做过伴读，十六岁后为御前侍卫，此后一直为天子近臣。直到父亲曹玺老迈，才被派到江宁来接班。先为苏州织造，曹玺去世后接任江宁织造，苏州织造由康熙另一心腹、曹寅的内兄李煦接任。李煦的母亲文氏，最初也做过康熙的保母，只是当值时间没有孙氏这样长。
曹寅娶的第一个妻子是顾氏，是江南大户之女，夫妻很是恩爱，不过子嗣上却艰难，始终未得一儿半女。后顾氏病逝，康熙皇帝指婚，曹寅迎娶了李煦的堂妹李氏为继室。
曹寅迎娶十八岁的李氏时，已经年过三十。新婚第一年，就添了长女曹颜，数年后又生了长子曹颙。因曹颙自幼身体弱，怕养不住，一直没起大名，乳名叫作“连生”。待到前年康熙皇帝南巡时，住在织造府，亲赐了“颙”字为名，并且恩封了“一等轻车都尉”的爵位，比他老爹曹寅的二等子爵只低了四级，每年也拿着朝廷二百三十五两银子的俸禄。因是天子金口玉言给起的大名，所以“连生”这个乳名就收起不用，阖家大小都改了口，该唤“颙儿”的唤“颙儿”，该唤“大爷”的叫“大爷”。