不过霓玉是后来才被哥哥带着来到林家的，林如海一开始中意的小孩子并不是他，而是林家家学里老塾师的小孙子，年方五岁的林彤玉。这个孩子也是他以前见过的，而且甚是喜爱，此次在族中挑选嗣子，他第一个就想到了彤玉。老塾师当年也教过林如海，和他有半师之谊，又有一日为师终生为父的情分在，很豁达的就同意了小孙子的过继，还主动出面说服了不舍得的儿子和儿媳。按照这位乐天派老头的说法就是：“难不成，你们觉得自己养的儿子能比探花郎更出息？既然疼这孩子，就该想着给他最好的，林大人的家世，和咱们这种耕读人家，哪个更好你们都分不出来吗？更何况，有我的面子在，林海还能不让孩子以后认你们不成？”
林如海赶紧保证：“族弟但且放宽心，林海绝不阻拦彤玉与你们相聚，夺人所爱原是林海的不是，万万不敢叫孩子不认血亲。但求族弟看在林海孤苦一人的份儿上，借令郎几年，让林海灵前有个摔盆的孝子送终就感激不尽了。”林如海都把话说到这个份儿上了，那家人哪里还说得出不同意的话来，而且当时，林如海是第一个找来这里，所认的彤玉也是唯一一个，那当爹的一想，以林如海的年纪，也确实没多久好活了，十几年的时间换百万家财，又能让儿子平步青云，借机让他们家改门换户，做上流贵人，这笔买卖划算得很，于是满口的同意了。只是他们却没料到，彤玉小小年纪，竟然就看穿了他们的企图，不屑为伍，待得几年后，从小最亲近的爷爷西去，当即跟贪婪的亲生父母翻了脸，请出爷爷的遗训，说明当日的过继，原就是为了让他这个本性纯良的孩子远离贪婪成性的家庭，免受拖累才狠心割舍的，上了族谱改的宗籍，说到哪里，也和他们没有关系了。左右他们也有其他秉性相投的儿子，当初因为他不愿随父母做那处处盘剥谋利的小人，一直就很受排挤，如今挤到别家去了，应该趁了他们的心意才对。直把谋算成空的一家人气了个一佛出世二佛升天，可就是没有办法。
比起各有故事的老大、老二、老三、老六和老七，十岁的老四林赫玉的来历可谓是波澜不惊了，但他却是最让林如海喜爱的一个继子。和绛玉、霓玉一样，他也是父母双亡的林家孤儿，但是与他们不同的是，赫玉并没有固定的领养人家，而是周游在林氏一族中吃百家饭，穿百家衣长大。当年贾敏还在世的时候，林如海也曾接他过来养过一阵子，对他的脾气秉性都很了解，也着实喜爱这个聪明好学、彬彬有礼的孩子。赫玉出身不可谓不可怜，却半点也不怨天尤人，他不自怜，不自卑，大大方方接收族人们的恩惠，悉数记在心里，有机会便努力报答。他的年纪和林如海早夭的儿子相近，当年他在林家的时候，林如海还曾说过要收养他，让他和自家儿子做个伴儿的话，只是没过多久，林家的孩子突生重病而亡，贾敏哀毁过甚，竟神经质的怪到了赫玉身上，直骂他夺了自己儿子的福分，赫玉难过之余，也很知趣儿的自己收拾东西走人，从此再没来过林如海家，那收养的话，自然就没人提了。后来贾敏又生了黛玉，方才慢慢好转，林如海有了亲女，也便慢慢放下了伤痛和对赫玉的惦记，转而一心一意教养女儿。
这次贾敏过逝，林如海昏昏沉沉的也没精力细细打理，直到开始找寻合适的嗣子的时候，管家才给他送过来一篇悼文和数卷经文。林如海一看，竟是赫玉刺血抄录而成的，当即大震，这才想起了这个孩子，忙命人去好生接了来。赫玉为人平和，聪明俊秀，族中有不少接触过他的人都有收养之意，但赫玉却不愿意让自己的父亲绝后，因此逐一回绝了。这一回，林如海提出收养，他一开始也不同意，但架不住林如海厚着脸皮打亲情牌，把自己说的跟有上顿没下顿的孤寡老人似的可怜，还舀着黛玉将来的出路说事儿，心软的赫玉被缠得没法，只能翻来覆去的坚守底线，自己的父亲不能断了香火。林如海立刻提出，等他将来有了儿子，送几个回去本家都可以，甚至到时候，他自己愿意重回本家也是可以的。赫玉被林如海搅得晕头转向，懵懵懂懂就签了字画了押，把自己给卖了。
八岁的林丹玉和霓玉差不多，都属于买一送一的赠品。把他领过来的正是赫玉。丹玉的出身跟绯玉差不都，都是大家族的庶子，比绯玉更糟的是，他没有足够的才华更没有野心去跟嫡子一争高下，却依然让当家太太视为眼中钉。丹玉性格懦弱，生母也不受宠，完全就是夹缝里让人出气的模板。赫玉在他家住了两个月不到，却看了不下十回丹玉被兄弟姐妹们欺负得遍体鳞伤。赫玉看不下去，出面阻止却被少爷小姐们骂做是“讨饭的花子，可怜你才给你块瓦片，有什么资格插手我们家的事”，说完，竟连赫玉也一并打了一顿。赫玉气不过，去向家主告状，可那人原本不是诚心收容赫玉，不过是族里的压力，叫有余力的人家轮流养着他，不好拒绝才同意的，哪里肯听他说自家孩子的不是，连斥带骂，一顿奚落就把赫玉赶了出去。
后来赫玉被林如海接了来，想起还在那儿受苦的丹玉，便问林如海，他以后能不能不时接了丹玉过来小住，保证不会给林如海添任何麻烦，连吃用也一并从他的份例里扣就行。这时候的林如海刚刚焦头烂额的接收了像只炸毛猫一样的绯玉和一