契丹之名最早出现在公元378年，据《三国史记》记载：“高句丽小兽林王八年，契丹犯高句丽北境。”而此前尚未有史书出现契丹之名。而在此三十四年前，晋建元二年（344年）宇文部为慕容部所败，其首领逸豆归走死漠北。陈述先生认为逸豆即是契丹的音变，归是一个语尾。但在此之前，宇文部还有个与契丹音值更相似的首领，叫做乞得归。325年后赵石勒加乞得归官爵，乞得归奉石勒命出兵攻慕容部，自是宇文部与慕容部结怨。慕容部结拓拔部、段部据战，乞得归据守浇水（今西拉木伦河）慕容部大败乞得归军，乞得归败走，于333年为东部大人逸得归所逐，流亡在外。这些不愿意跟随逸得归也可能去投奔了前首领乞得归。另《周书》记逸豆归为侯豆归，其子宇文陵曾仕燕，宇文泰即为逸豆归五世孙。据此推断，契丹之祖未必就是逸豆归，乞得归更有可能是契丹之祖。
究竟谁才是契丹的创始人，这还很难回答。因为契丹语尚未破解，目前连契丹一词的真正含义都没有定论。按《金史》的说法，契丹一词意为镔铁，因此大多数人认为这是一个不可分割的词组。近年来内蒙有位民间学者舍丹扎布，用蒙古语解析契丹语。他认为契丹一词就是蒙古语的奚丹或奚丹木，就是用木棍和铁棍猛击动物之意，大略与镔铁之意接近。然而在不少资料中，我们也常常看到以“丹”代指契丹。另外郑德英认为，契丹一词可解为奚东，就发音来看奚、契相似，东在古音中读作丹。
放下这段争执不论，契丹的产生形成应是在宇文部这两次分裂之时无疑，也就是在333年到378年这四十五年间。在此期间有一位首领收拾残部，形成了一个新的集团，这便是契丹与奚的前身。按《魏书》的说法，此间这两个民族还在一起活动，到了登国三年以后才分开。
过了几十年，经过一番休养生息，他们渐渐强大起来。游牧民族嘛，总是四处迁徙的，人口多了，活动的地盘就大了。他们活动到高句丽、北魏的边界地带，与当地人发生了冲突。谁知这样一来竟然惹祸上身，高句丽倒还好对付，可得罪了北魏这位大佬，他们麻烦大了。“小小部落，竟敢太岁头上动土！”北魏太祖拓跋珪龙颜大怒，登国三年（388年）御驾亲征，把他们打得大败。从此契丹和库莫奚分背，各自走上了独立发展的道路。
经过这次打击，契丹销声匿迹了很长一段时间，直到半个世纪后，才重新出现在史书上。太延三年（437年），契丹遣使向北魏朝贡。太平真君年间（440—450年），又向北魏岁贡名马。这次他们是以八个部落分别向北魏进贡的，这八个部落就是前文提到的契丹古八部：悉万丹、何大何、具伏佛郁、羽陵、日连、匹稗、黎和吐六于。也有的学者认为，契丹古八部名称应该是悉万丹、何大何、具伏佛、郁羽陵、日连、匹黎尔、叱六于、羽真侯。这段时间，契丹与北魏朝廷关系相处得比较友好，北魏让他们“得班飨于诸国之末”，允许他们在和龙、密云间互市交易。
当时契丹的周围，强邻四顾，东有高丽，西有柔然。游牧于东西两强间的契丹八部，时常遭到邻国、邻族的侵逼，处境艰难。太和三年（479年），高句丽和柔然想瓜分契丹邻居地豆于的地盘，对契丹也虎视眈眈。唇亡齿寒，契丹人非常害怕。有一个莫弗贺（首领）勿于干脆率领部落内附北魏，北魏将他们安置在白狼水（大凌河）以东。为了抵御强邻侵袭，各部联系日益密切，大约在5世纪中叶，古八部组成了以悉万丹为核心的联盟。
北魏正光元年（520年），柔然汗国发生了一起内讧。可汗丑奴为其母及大臣所杀，其弟阿那环刚继位十来天，就被族兄示发战败，投归北魏。柔然的不幸，却是契丹之幸。契丹乘机向西扩张，抄掠其东方诸部。523年又出兵袭击柔然，杀其首领铁伐，算是出了一口恶气。
数年之后，北魏爆发了六镇大起义，阿那环卷土重来，柔然汗国稍稍复兴。不过此时柔然已无复当年风光，契丹得以与其抗衡。可惜好景不长，看到契丹日益强大，北齐十分不爽。天保四年（553年）九月，北齐借口契丹犯塞，率军北讨，司徒潘相乐率精骑五千，自东道趋青山，安德王韩轨帅骑四千东断后路。文宣帝高洋亲率主力出击。契丹大败，男女被掠十余万口，损失惨重。
与此同时，突厥人在西方崛起。在新兴的突厥面前，曾经不可一世的柔然汗国屡战屡败，国势江河日下。突厥木杆可汗即位后，最终灭亡柔然，继而又侵袭契丹。契丹刚刚受到重创，无力与之抗衡。在强大的军事压力下，大多数契丹部落归附了突厥。另有万余家避乱东走，寄居高句丽，古八部联盟由此瓦解。
二十多年后，中原又建立了一个强大的王朝——隋朝。隋朝建立之后，为了抗衡突厥，隋文帝采纳长孙晟的建议，“远交而近攻，离强而合弱”，对突厥采用分化打击的战备。一面在突厥诸汗间制造不和，一面遣使招谕契丹。这一遭果然奏效，突厥分裂为东西两个汗国，对契丹的压力大大减轻契丹从而得以休养生息。开皇四年（584年）契丹诸莫贺弗入隋朝贡。在得到隋朝认可后，契丹各