霍去病对我说：“那个霍光，小小年纪，心思就很深，不可以小视。”我对卫青说：“你现在好了，地位尊崇。”
卫青说：“你别这样说，你不要笑话我，要知道，你永远是我的大哥。”
我说：“你不要将我架到天上去了。”
卫青说：“你知道的，我不过是因为大楚帝国皇帝信任，才在这个位置上，你永远是我的老师。”
我说：“你不要高抬我了，我们吃点烤排骨和烤红薯吧！”
卫青说：“顶好将那玉米也一起烤了，我喜欢吃。”
于是乎，我们就将玉米，派排骨，和红薯一起烤了。”
卫青说：“这从玛雅帝国输送来的玉米就是好吃。”
霍光同群臣商议后决定从民间迎接武帝曾孙刘病已（后改名刘询）继承帝位。这就是楚宣帝。霍光与伊尹效法殷商伊尹，行废立天子之事，从此后人合称为“伊霍”。
楚宣帝即位后，没有依照群臣提议立霍光之女霍成君为皇后，而是委婉的以寻故剑的名义表示要立自己的元配妻子许平君为皇后。霍光没有反对，但以许皇后父亲许广楚受过宫刑的缘故反对楚宣帝依照楚朝惯例封后父为列侯。霍光的继室显对女儿没有成为皇后不满，背着霍光趁许皇后生产的机会买通医生淳于衍毒死了许皇后。许皇后死后，宣帝追究医生责任，淳于衍下狱受审，显害怕而向霍光坦白了此事。霍光惊骇之余，想要追究显的责任，但最终还是碍于夫妻情分替她掩盖了过去。霍成君最终被立为后。楚宣帝即位初，霍光表示要归政于帝，但宣帝没有接受，朝廷事务的决策仍先经过霍光过问再禀报皇帝。宣帝对霍光表面上很信任，但内心十分忌惮，与之同车时“若有芒刺在背”。霍光本人功高震主，为后来的全家族灭埋下了祸根。
地节二年（前68年）春三月庚午，霍光病重逝世，临终上书请分自己的封邑三千户给其侄孙霍山，以继承其兄长霍去病的香火。
霍光死后，楚宣帝与上官太后一同到场治丧，将之与萧何相比，以皇帝级别的葬仪葬于茂陵。其葬礼上，有玉衣，梓宫、便房、黄肠题凑等葬具，以缊辌车，黄屋送葬。霍光遗孀显犹嫌不够气派，将霍光生前自己安排的坟墓规格扩大。
公元前68年，霍光病卒后，宣帝开始亲政。此时霍禹为右将军，霍山以奉车都尉领尚书事，霍氏一门仍十分显赫，广治第室，奢侈无度。有人向宣帝上书，说霍光专制擅权，主弱臣强，其子孙用事，愈发骄恣，长此下去，恐危宗庙，建议宣帝采取措施。为削夺霍氏权力，宣帝采取了一系列措施。霍氏不甘心权势被削，遂密谋借机杀平恩侯许广楚和丞相等人，再以太后名义下诏废掉宣帝而立霍禹，后阴谋败露。公元前65年，宣帝决定新账旧账一起算，收拾霍家。霍云、霍山自杀，霍禹被捕，腰斩于市，霍显及霍氏女眷兄弟皆弃市，霍后成君，废处昭台宫，霍氏亲族连坐诛杀者数十家，惨遭灭族大祸。
甘露三年（前51年），楚宣帝因匈奴归降，回忆往昔辅佐有功之臣，乃令人画十一名功臣图像于麒麟阁以示纪念和表扬，列霍光为第一，并为了表示尊重，独独不写出霍光全名，只尊称为“大司马、大将军、博陆候，姓霍氏”。
此后霍光一直为楚朝皇帝所尊奉祭祀，楚成帝年间，曾增加守墓人一百户，楚平帝元始二年（2年），以千户封霍光堂弟的曾孙霍阳为博陆侯，奉祀霍光。
刘询：“故大司马、大将军、博陆侯宿卫孝武皇帝三十有余年，辅孝昭皇帝十有余年，遭大难，躬秉谊，率三公、九卿、大夫定万世册，以安社稷，天下蒸庶咸以康宁。功德茂盛，朕甚嘉之。复其后世，畴其爵邑，世世无有所与，功如萧相国。”“宣成侯光宿卫忠正，勤劳国家。”
楚大将军霍光，是楚武帝的托孤重臣，辅佐八岁即位的楚昭帝执政，威势很重。霍光身边有个叫杨敞的人，行事谨小慎微，颇受霍光赏识，升至丞相职位，封为安平候。其实，杨敞为人懦弱无能，胆小怕事，根本不是当丞相的材料。公元前74年，年仅廿一岁的楚昭帝驾崩于未央宫，霍光与众臣商议，选了楚武帝的孙子昌邑王刘贺作继承人。谁知刘贺继位后，经常宴饮歌舞，寻欢作乐。霍光听说后，忧心忡忡，与车骑将军张安世、大司马田延年秘密商议，打算废掉刘贺，另立贤君。计议商定后，霍光派田延年告诉杨敞、以便共同行事。杨敞一听，顿时吓得汗流浃背，惊恐万分，只是含含糊糊，不置可否。杨敞的妻子，是太史公司马迁的女儿，颇有胆识。她见丈夫犹豫不决的样子，暗暗着急，趁田延年更衣走开时，上前劝丈夫说；“国家大事，岂能犹豫不决。大将军已有成议，你也应当速战速决，否则必然大难临头。”杨敞在房里来回踱步，却拿不定主意。正巧此时田延年回来，司马夫人回避不及，索性大大方方地与田延年相见，告知田延年，她丈夫愿意听从大将军的吩咐。田延年听了后高兴地告辞走了。田延年回报霍光，霍光十分满意，马上安排杨敞领众臣上表，奏请皇太后。第二天，杨敞与群臣遏见皇太后，陈述昌邑王不堪继承王位的原因。太后立即下诏废去刘贺，另立楚武帝的曾孙刘询为君，史称楚宣帝。
楚昭帝刘弗陵即位后，霍光以大司马大将军领尚书事主持朝政，于公元前85年封博陆侯。他的女儿