娶妻生子，买田置地，但是搜刮来的钱财要少了许多。他之所以要招用沙弥，并非是要增加皇觉寺内的僧众人数，而是想找一个童仆来帮助他的家人做事。太祖皇帝进入皇觉寺之后，高彬一直在暗地里察看太祖皇帝的一言一行，直到确认太祖皇帝是一个老实可信之人，他才将太祖皇帝召到自己身边，除了服侍他之外，还要经常去为他的老婆孩子担水噼柴、喂鸡放鹅，甚是辛苦。
“太祖皇帝虽然心中对高彬甚是痛恨，但是他知道若是想在乱世之中活下去，须得咬牙忍耐，是以他虽然被高彬呼来喝去，整日累得疲惫不堪，但是没有丝毫怨言，将高彬吩咐下来的事情做得甚是妥当。高彬见太祖皇帝如此用心为自己做事，颇为高兴，不再像此前那般随意呵斥责骂太祖皇帝，还特许他不必每天早起撞钟和清扫院落、打扫殿堂，只须服侍好高彬和老婆孩子即可。
“众僧原本将每天早起撞钟和清扫院落、打扫殿堂的苦活、累活、脏活全都交给太祖皇帝去做，乐得自己轻松自在，没想到住持高彬免了太祖皇帝这些差事，众僧心中俱都十分不满。他们早就知道高彬在寺外有家，而且众僧每日在皇觉寺中只能吃些粗茶澹饭，高彬在方丈室中却是煎炒烹炸，吃得肥头大耳，满肚子油水，让众僧十分嫉妒。他们不敢与高彬反目，却将恨意俱都落在太祖皇帝身上，不只对太祖皇帝讥讽嘲笑，刻薄侮辱，甚至有几次对太祖皇帝拳打脚踢，险些将太祖皇帝打成重伤。”