吕布，字奉先，五原郡九原人，今天的内蒙古包头市人。家住黄河北岸，土地肥沃，沃野千里。（五原县，当时属于并州的一部分，黄巾之乱之后，北羌踏平了这里。）父亲是吕举。
吕举，东汉末年征西将军。早在恒帝之时，就是朝中都尉，在平定内乱，对抗北部的鲜卑，突厥，羌族等各部时，屡屡建功。到灵帝时，灵帝登基年幼，外戚和宦官霸权，外加灵帝好财，致使卖官现象更为严重，豪强土地势力也肆虐更广，平民的生活可谓困苦至极，大多生活于豪强，地主的压迫之下，整个华夏大地之上都是饿殍遍野，哀嚎遍天。就连北部并州（当时，黄河所在的达拉特旗，呼和浩特等地还属于并州，后来董卓进京后大乱，被羌族占领）也是民不聊生，人吃人的现象十分严重（北部大旱在当时属于天灾，也就是最大的灾难！）。大小起义更是不断，北部外族趁机也开始不断进犯中原。吕举每次带兵出征，都能胜利归来，当时的武艺，在东汉内，亦是数一数二。
吕举是兄弟三人，在家排行老大。二弟吕孝，三弟吕廉。三人都通文武。早年的时候不过是一介布衣，后来，吕举，吕孝凭武艺进入朝廷，屡屡建功，颇有家资。而后，吕廉买官，就任五原县的县吏。吕举还有一个妻子和两个妾。至161年，共生了五个儿子，没有女儿。正妻生了三个儿子，妾各生了一个儿子。正妻岑式，是颍川人，吕举在早年的时候遇到的。因为她美貌，所以爱慕有加。长子就是他所生的，出生时，眼睛有金光，非常有灵气，因此取名吕明。第二年就又生了一个儿子，也就是次子。次子刚刚满月的时候，就能够执笔写下吕字，因此改了他原本的名字，取名叫吕智。妾一个是张氏，一个是刘氏；二人都是陈留人。第三个儿子是刘氏生的，刚出生的时候，大哭不止，吕举认为很好，希望他成年后，有很大的建树，因此叫吕建。吕建小吕智三岁。四子比较晚，比吕建还小五岁，是张氏所生。刚出生的时候，右脸有紫红色的胎记，吕举认为这太丑了，但又是个儿子，所以只希望这个儿子虽然自身丑陋，但是日后能够中规中矩，不做坏事，不作奸犯科，取名吕范。第二年和岑氏生下了第五个儿子。非常不满。这个儿子，就是吕布。
吕布刚刚出生的时候，属于早产，不满半斤，想要把他扔掉，但是岑氏很怜悯这个孩子，见他如此幼小，扔掉太残忍。对吕举说道：“古书志曾记载，三太子（指哪吒）初生时亦不满半斤，却为神人，此子定亦不凡。”
吕举说道：“三太子生时，育三载，此子不足十月，焉能成神。”和岑氏争执了半天，最终留下了这个孩子。
但是没有想到的是，刚刚过了一年，这个孩子就能跑，能走，能说话。五岁的时候的就能够舞刀弄枪。但是，却不喜欢读书写字，虽然能够识得文采，却没有很大的谋略，这一点让吕举很是叹息。恰巧这一年宦官和外戚极为严重，恒帝将驾崩，已经不行。天下开始不断垂危起来。另外，吕举这个人，好功喜财。往年征战成功时，还能够赏赐金，马匹等。但到后来，只是一些丝绸，布帛。而且征战多对付内族的霍乱。吕举不忍，就罢官回乡，准备教吕布武功。
恰巧，此时吕举的家也是一方地主，豪强，家中有仆人，家丁，奴仆等。在五原是第一大户，五原县内的人基本上都是他家的。自己有军马五百人。回来之后，就开始教吕布剑法，枪法，弓术，马术等。八岁的时候，就跟着吕举一起到北部征羌族，鲜卑。
吕布十一岁的时候，这年秋天九月末，北部暴雪，所有的庄家都毁了，牛羊冻死无数，人也没法活，北部鲜卑，羌族大举南下，分成不同部落，少的几百，多的上万（北部的外族势力侵犯中原的时候，大多都是因为气候的原因，而不是图财，钱财对它们没有丝毫的用处。东汉时期的气候，气温比现在还要低平均1.5度。相当于，如今包头市冬季最低温35度，而当时有40度以下，甚至更低，冬季来临更早，更冷，夏季大旱，少雨，北部根本不是能够活人的地方。所以北部的外族才会侵略中原，也是为了谋生。）而五原县不过六千人的小县（当时国之下是州，然后是郡，县，邑，缺少镇级）。五原遇到了一波三万人的鲜卑大军，将黄河以北，云中，雁门等地一并扫荡，杀伐掳掠。
吕举家中几百人不能够和这样的大军相抵抗。为了让吕布活命，吕举让吕廉骑快马，护送吕布至太原。吕廉答应，掩护吕布杀出，自己受伤。到了太原，一家小小的药店。吕布请郎中治病，这个郎中是个庸医，没能救活吕廉，吕布全家上下全都死了，只留下他一个人。吕廉死前告诫吕布，吕举留有遗言，让他一定建功立业，光大吕家。吕布想起大怒，杀了庸医，厚葬吕廉，来到晋阳。当时丁原遇见了吕布，收养了他。吕布念恩，拜他为义父。
次年，吕布借兵5000人，回归故里，将北部鲜卑族杀得死尸盈野。并守住雁门关，在这里和北部鲜卑不断征战，持续数年，由此声名远扬，震惊中原。
丁原这个人比较古板，不通情理，用现在的话说就是根深蒂固。绝对效忠朝廷，封建思想严重，看不起平民，属阉宦之后。这样吕布很难有出头之日。只能在雁门生活，后结交了壮士张辽，高顺等人。同时对鲜卑极为仇恨。