1199年，源赖朝归天，宗子源赖家担当将军位。当时源赖家只要18岁，贫乏其父的政治才气，贫乏对御家人的统御才气。为了稳固本身的职位，建立权威，源赖家架空幕府元老，倚重本身的母家，这引发了以北条氏为首的御家人的极度不满，为争夺实际节制权，御家人内部也各起狼籍，镰仓幕府的统治岌岌可危。
1185年10月，后白河法皇号令源义经调集军人讨伐源赖朝，成果无人呼应，反倒让源赖朝抓住了可贵的机遇。他率领雄师攻袭京都，迫使源义经从京都逃至奥州，投奔那边的藤原秀衡。藤原秀衡是以奥州为中间的奥州藤原氏的第三代，时任镇守府将军，他帮忙源义经与源赖朝对抗。