建武十七年（公元41年）冬季，刘秀决意废黜郭圣通，诏书拟好之后，刘秀秘密传令大长秋准备封后大典之事，并命阴兴从旁协助。阴兴得知刘秀要废黜郭圣通而立阴丽华为后，第一反应便是要劝谏。
刘秀了解阴兴，在阴兴屈膝之时，刘秀便说：“朕意已决，爱卿不必多言。”
阴兴内心自然对此自是喜而乐见，劝谏不过是明面上应该有的姿态罢了，既然刘秀言已至此，阴兴自是顺势没有劝阻刘秀废黜郭圣通，不过对于封后大典他还是要进行劝谏，他对刘秀说：“虽然陛下已有决断，然微臣还是请陛下三思而行。倘若陛下仍不改初衷，执意废黜王后，便请陛下莫举封后大典，乃因一来微臣亡母与亡弟忌日将至；二来举之，于陛下与阴贵人皆不适宜。”
阴兴所言，刘秀其实也想过，只是他不想委屈了阴丽华，所以才决定举行封后大典，不过阴邓氏与阴欣的忌日倒是被他疏忽了，如此一来，刘秀自是再次感到踌躇，他说：“立后乃是大事，朕不想委屈了贵人。”
阴兴却说：“贵人素来恭俭，若知陛下此心已足矣。”
刘秀听来，细细一想，觉得阴兴所言言之有理，阴丽华素来不喜欢铺张浪费，庆典于阴丽华而言也许根本就不重要，心意才是阴丽华素来看重的，既然时不可为之，刘秀只能在往后的时日多加补偿阴丽华。
十月十九日，刘秀下旨废黜王后郭圣通，立贵人阴丽华为王后，诏曰：王后怀执怨怼，数违教令，不能抚循它子，训长异室，宫闱之内，若见鹰鹯。既无关雎之德，而有吕、霍之风，岂可托以幼孤，恭承明祀。今遣大司徒涉、宗正吉持节，其上王后玺绶。阴贵人乡里良家，归自微贱。‘自我不见，于今三年。’宜奉宗庙，为天下母。主者详案旧典，时上尊号。异常之事，非国休福，不得上寿称庆。
至此，满朝无声。私宠和政治缘由不必深说。
唯有崇尚忠直的太子太傅张湛，称疾不朝。刘秀强起大司徒而不得。沉默是为抗争，沉默更是为洞悉。十七年郭后既废，太子之去，还会远吗？在意志无可转移的现实面前，这位太子太傅，自毁形象，当堂便溲，自断仕途。
与此同时，太子讲师郅恽对刘秀上言道：“臣闻夫妇之好，父不能得之于子，况臣能得之于君乎？是臣所不敢言。虽然，愿陛下念其不可，勿乱大伦，使天下有议社稷者。”郅恽借用司马迁的名句，既“婚姻关系的缔结，夫妇之间的相处，好的，可以兴夫旺国，不好的，可以毁家灭国”，来向刘秀表明：夫妻之间，儿子不能控制父亲的，更何况臣子对皇帝呢。所以我不敢就这样的夫妇私事发表看法。但是，希望陛下考虑这是不可以的，并且不要乱了大伦（夫妇之伦），而让天下对社稷多有议论啊。
刘秀对此回道：“恽善恕己量主，知我必不有所左右而轻天也。”意思是说绝对不会再次出现这种违背人道大伦的行为。
随后，刘秀封郭圣通的儿子右翊公刘辅为中山王，封废后郭氏为中山王太后，居北宫，以常山郡划给中山国，以二郡奉养郭圣通。使郭圣通成为两汉历史上第三个皇帝没死而封“太后”的女人。同时也对郭后的娘家进行安抚。郭况徙封大国，为阳安侯。郭圣通从兄郭竟，以骑都尉从征伐有功，封为新郪侯，官至东海相。郭竟弟郭匡为发干侯，官至太中大夫。郭圣通叔父郭梁，早终，无子。包括郭姓的外戚女婿婿南阳陈茂，以亦被封为南*侯。自此以后，虽然郭圣通没了后位，然郭家仍圣眷正隆。