杨贵妃兴致勃勃地与随侍者欣赏景观时，却忽然发现不见了虢国夫人的踪影。她心中立时浮现出了从前玄宗与虢国夫人打情骂俏的种种场面，心中立即升起了一股无名之火，所有的兴致便也在一瞬间消散了。她立即带着随从们回到玄宗的帐篷，一个令她备感羞辱的场面出现在了她的面前：玄宗与虢国夫人果然在做着那不能令她忍受的一幕！她怒气冲冲地盯着玄宗与虢国夫人，盯得二人异常惊慌失措。半晌，杨贵妃终于有了反映，但却不是指责与谩骂，而是立即下令回宫。
她无法接受这样的事实，无法接受别的女人来分享自己的男人，而且这个女人还是自己的姐姐。她还是依靠自己才攀上今天的地位的，却做出这样的事情阿来。她越想越气，越想越受不了。当高力士回来让她跟玄宗好好谈谈时，她一口回绝，认为玄宗该向她道歉。
第二天，玄宗不但没来道歉，而且还传来了一个令她更加生气的诏令，诏令称让她立即离宫，去其兄长家居住。
杨贵妃被玄宗赶出了宫，引得杨氏家族一片恐慌。他们凭着贵妃之贵从而取得了今天的地位，如今贵妃若因此失宠，整个杨氏家族的人便会因此而失去所拥有的一切。他们便聚集在一起不断地商议如何面对这一场灾难。他们思来想去，感觉要想解除这一危机，仍然还得从玉环身上入手。可当他们同杨玉环商谈此事让她向玄宗认错时，杨玉环却对他们的忧虑毫不在意，一口咬定是玄宗得罪了自己，自己没有错，坚持不肯向玄宗低头。