桑弘羊没达到目标，也对霍光挟恨在心。
上官桀、桑弘羊等人跟燕王刘旦同谋，趁着霍光休假不在朝廷，让人以燕王的名义上书告状，说霍光出行用的是天子的法则，并且他任人唯亲，苏武在北海放了十八年的羊，又是吃羊毛又是喝雪水的，返来只给了个小小的典属国做，而杨敞任何功绩都没有，只因为是霍光的人，就汲引他做搜粟都尉。霍光还擅自变更幕府校尉，能够是要图谋不轨。不如让我从速入宫宿卫，庇护天子。
丁外人的事儿泡汤了，公主对霍光非常恼火，而上官桀父子承诺了人家，现在又做不到，也感觉没脸见人。特别上官桀。在武帝期间，他就已经是九卿，职位在霍光之上，现在又是皇后的爷爷，固然霍光也是爷爷，但外的不如家的亲，本身家跟皇家，实在就是一家，霍光你一个外人，凭甚么这么放肆！
霍光为了安抚他，赐给他三千万钱，益封一万三千户，但是他并不满足，他的野心很大，意在为帝，跟一些人勾搭，一心但愿颠覆朝廷，建立新次序。