姚崇没有居所，寄居在罔极寺里，曾因身患疟疾告假。唐玄宗派使者慰问姚崇的饮食起居，每天派来几十拨人。源乾曜上奏言事时，每当他的回答符合唐玄宗的心意，唐玄宗就会说：“这一定是姚崇的主意。”如果不称心，就会说：“怎么不和姚崇商量一下？”源乾曜常常谢罪说的确如此。每当遇到大事，唐玄宗总是让源乾曜亲自前往罔极寺中询问姚崇的意见。癸卯日，源乾曜请求将姚崇的住所迁到四方馆，并准许他的家人前去照料，唐玄宗同意了。姚崇认为四方馆中有藏书，不是病人应该住的地方，坚决辞谢。唐玄宗说：“设立四方馆，就是为了官员；让你住在那里，是为了国家。我恨不得让你住在宫中，有什么值得请辞的？”
姚崇的儿子光禄少卿姚彝、宗正少卿姚异，广招宾客，接受了许多馈赠，被当时的人们非议。主书赵诲是姚崇的亲信，接受胡人的贿赂，事发后，唐玄宗亲自审问，应当入狱处死。姚崇将赵诲营救出来，唐玄宗因此不高兴。正逢特赦在京城的囚犯，下令特意标注赵诲的名字，将他杖刑一百，流放岭南。姚崇因此害怕，几次请求辞去相位，推荐广州都督宋璟代替自己。