在桓公的呵护下，桓因逐渐成长了起来。桓公教他读书，认字，教他为人之道，供他上荆州最好的学堂，为他找最好的先生。桓因也没有让桓公失望，不但天资聪颖，更是勤奋有加，小小年纪便能说会道，诗书满腹。而且，桓因从来不因此而感到骄傲，而是与桓公一样，对人始终客客气气，谦卑有加。
桓因的种种表现简直让桓公喜出望外，感叹天不负桓家。桓公也是因此而心情大好，病也逐渐痊愈如初。
一日，桓因在窗前念书，见书中说到神仙异兽之事，他甚是好奇，便拿着书跑到桓公跟前问到：“爹爹，书上说这世上有仙人，是真的么？”
“当然是有的，仙人法力高强，能飞天遁地，斩妖除魔，可厉害着呢！”桓公笑呵呵的答到。
“那因儿也想成仙。”
“哦？修仙可是很难很难的。”
“因儿不怕困难。”
“好，来日等爹爹出门行商，去帮我因儿探探仙路，哈哈！”
桓公是一个事业心极重的人，裁了自然不肯赖在家里，虽然他对桓因牵挂非常，但是家业不可不顾。经商最忌就是疏于走动。桓公养病在家多年，外面的关系若不再走动走动，怕是会给人家抢了去。而且，桓公也希望给桓因接掌桓家做出更好的铺垫。于是，桓公在桓因四岁时又开始出行跑商。
桓公在家的日子，桓因是幸福的。但是桓公走后，家里由朱氏掌管，却不那么好过。虽然桓公走前千叮咛万嘱咐一定要好好照顾桓因，但是桓公的离开还是成为了这些所谓的家人对桓因欺辱的机会。
“扫把星”这三个字又被抬了出来，只要桓公一离开，这三个字是始终围绕在桓因耳边的。朱、王、刘三位长辈的冷嘲热讽、恶言相向自不多说，莫名其妙的家法也不少见。哥哥姐姐们更是私下拳脚相加，把桓因当成了生活中发泄的对象。只有一人除外，那便是桓因最小的姐姐桓玖玖。虽然刘氏已经多次告诫玖玖离桓因远些，但是玖玖还是会私下偷偷跟桓因一起玩。如果他们欺负桓因欺负的狠了，玖玖还是会气不过帮着桓因说话，这也让玖玖好几次都跟着桓因一起受了不小的委屈。
桓因从来没因为受到欺负而哭过，他只是默默的承受着，然后等他们发泄完了，走了，自己才默默的站起来，自己去府上的药房找来金疮药疗伤，然后继续自己没做完的功课。
桓因从来没把这些告诉过桓公，他不想爹爹因此而生气。他知道爹爹因为生气得过大病，那是他没见过面的母亲为爹爹治好的病。他常常想，要是自己会仙术，就不会被欺负了吧。
就这样，又过去了四年。一日玖玖推开桓因的房门，对着正在窗前念书的桓因说到：“弟弟，爹爹回来了，快随我去迎接。”此时桓因已经八岁，不仅俊俏帅气，眉宇间那股英气更是越发逼人。
“恭迎老爷！”
“恭迎爹爹！”
桓公笑呵呵的从马车上下来，大步走到门前，越过众人，一把抱起桓因，笑到：“因儿，想爹爹没？”
“爹爹在外打拼，因儿不能帮手，不敢再引爹爹牵挂。”
“真乖，走，回去让爹爹看看，我因儿又长进了多少。”
虽然这样的一幕每次都在桓公回来时发生，但是众人对桓因的嫉妒之情还是无法磨灭。这让众人对桓公由最开始的尊敬也慢慢的变得怨恨起来。
一日，桓公召集家人在正厅议事。众人都到丑，桓公正色说到：“我年事已高，恐怕为桓家奔波不了几年了。所以今天召集大家来，是想告诉大家，我准备立因儿为我桓家少主，重dian培养成我桓家下一代掌舵之人，同时也从今天起辅助大夫人打理家中的大小事务。”
“老爷，因儿尚小，恐怕担不起此重任。”桓公话还没说完，朱氏连忙打断到。
“爹，因弟还是孩子，你居然叫一个孩子管我们？”桓宇跟着急到。
“因儿是孩子？你都二十三了，成天在外给我桓家惹祸，败坏家门名声。因儿比你强上太多！”
“老爷，还请三思啊。”除了玖玖默不作声以外，其他一众都说到。
“别以为我不知道你们趁我不在时对因儿做了些什么。你们以为我老了就瞎了吗？一个个年纪都不小了，整天欺负一个八岁的孩子，传出去我的脸都不知道往哪放！就这么定了！谁也不准给我说个不字！”
桓因的这个桓家少主当了一天一夜，第二天，桓家大丧。桓公暴毙于床榻之上，家医张崇药的诊断结果是：心疾突发而亡。
桓家瞬间陷入一片悲哀之中。桓因哭着奔到桓公的房间时，家里的其他人都已经到了，屋内哭声一片，桓因踉踉跄跄的想上前看爹最后一眼时，却被朱氏挡在了门外。
“把这个扫把星给我轰出去，他克死了自己的母亲不说，现在又克死了老爷！”
就这样，桓因连爹爹的最后一面也没见上。
此后，在朱氏的主持下，桓家一众为桓公发丧，不少桓公以前的好友和老客户都到场表示哀悼。在桓公的灵前，桓家全家老小悉数沉浸在悲痛之中，唯独没有看到桓因。虽然桓公的老友都没见过桓因，但桓公自从有了桓因，逢人便提，这给他们留下了深刻的映像。本以为在此能看到那个让桓公每次提到就一脸幸福的幼子，谁知他连为桓公守灵都不到场，这让大家对桓因非议纷纷。
桓因自然不是不想参加爹