到底潘氏是异族人，尽管当初王守仁有对潘氏的情爱，婚后不到两年潘氏也生了一对龙凤胎，家中又是买田又是买地盖房的，日子红火。
可村子里的长舌妇人议论不断，觉得他是贪图潘氏丰厚的嫁妆。加上王氏家族中的族老时不时在谈到潘氏这个异族媳妇和两个混血孩子，连孩子的名字都是外祖取的。
潘氏也确实是对大周的民俗风情了解不深，有些在村民看来是常识的人情事儿上她常会范些错误，不时的被村民议论言行举止，时间一长，王守仁也开始觉得自己娶了个异族人面上无光。
当村民们习惯并开始理解接受了潘氏时，王守仁却还在钻牛角尖，慢慢的将当初的情爱消磨殆尽。
潘氏将王守仁的态度看在眼里，失望之余将想将儿女送到苏州的娘家。王守仁万般不愿也不得不承认自己这个走遍南北、交友无数的岳父比自己更会教导孩子，孩子在岳父家更能长见识、有学问。
几番争执之后，龙凤胎中的姐姐王雁留了下来，弟弟王耀则送到了苏州。至此，王守仁与潘氏这对夫妇的关系更是冷淡。
这夫妻不睦就极易让外人插足。原配刘氏有一群弟弟妹妹，正巧最小的妹妹小刘氏丧夫。小刘氏打小就爱娇爱俏，又是姐妹几个里相貌最好的，爱与女孩们攀比。她原是嫁得好，现在丈夫没了，又不甘心起来，自己不过二十出头又无儿无女，难道就这样守寡一辈子。
王守仁和小刘氏这一个家中那位冷淡一个有意招惹，很快就鬼混到一起。王守仁怕被潘氏发现，借着看望儿子的名义，隔三差五的让潘氏带着女儿到苏州去住，潘氏也乐得与儿子亲近。在王守仁的有意支开下，潘氏和王雁一年里有八九个月住在苏州。
王守仁也有几分聪明，与小刘氏的关系瞒得很好，等潘氏发现时，两人已经生了一个儿子和一个女儿了。那时潘氏已经身怀六甲，心灰意冷的回娘家，怀着八个月的身孕在一次救人的时候早产生下一个女儿，取名王雅，潘氏又过了三个月就香消玉殒了。
得知自己的女婿背着女儿在外干的“好事”，潘老爷子找上了门，无奈女儿已经心灰意冷，潘老爷子担心自己这三个外孙受欺负，逼着王守仁签下了“如有苛待则放子，从此再无瓜葛……”“妻潘氏嫁妆一应归其子女所有……”之类的字据。
王守仁对这个岳父还是有几分惧怕的，况且这件事也是他不占理，这些个字据都被迫的签了名字。可签了字据之后，他便觉得自己也不欠潘氏什么了，潘氏死后便迫不及待的安排起了自己和小刘氏的事儿，将小刘氏生的儿子王世贤和女儿王恬蕙上了族谱。
潘老爷子见王守仁这般做派，将三个外孙带回了苏州，除了逢年过节让他们回去尽孝，其余时候眼不见心不烦。直到王耀娶妻，才让他回到湖州住下。