北京市城市规划设计研究院前副院长董光器在《古都北京五十年演变录》一书中，印出一张1963年的北京城区布局方案图，显示天安门、端门、故宫皆被拆除改建为大型公共建筑，景山下设“主席府”，故宫内建“党中央大楼”。
20世纪五六十年代，曾有人提出故宫“地广人稀，封建落后”，要对它进行改造，并出台了多个“整改方案”。
1958年9月，《北京市总体规划说明（草稿）》有这样的表述：“故宫要着手改建。”《规划说明》具体提出：“把天安门广场、故宫、中山公园、文化宫、景山、北海、什刹海、积水潭、前三门护城河等地组织起来，拆除部分房屋，扩大绿地面积，使成为市中心的一个大花园，在节日作为百万群众尽情欢乐的地方。”但是“三年困难”迫使这一计划搁浅。
1963年2月，故宫改建计划被再度提起。北京市城市规划设计研究院前副院长董光器在《古都北京五十年演变录》一书中，印出一张1963年的北京城区布局方案图，显示天安门、端门、故宫皆被拆除改建为大型公共建筑，景山下设“主席府”，故宫内建“党中央大楼”。1966年“文化大革命”爆发，中共北京市委被打倒，故宫改建计划被列为中共北京市委要给刘少奇盖宫殿的“罪证”。
紫禁城并未获得安宁。“文革”时期出台的故宫“整改方案”是在太和殿前竖立两座大标语牌，一东一西，高度超过38米高的太和殿，用它压倒“王气”；太和殿宝座要扳倒，加封条；在宝座台上塑持枪农民的像，枪口对准被推翻的皇帝……方案还提出要把一切代表封建意识的宫殿、门额全部拆掉。
1953年斯大林逝世时，天安门城楼正中挂着斯大林半身像，天安门城楼上悬挂着横条幅“斯大林同志永垂不朽”，肖像两侧各有5面旗帜（东面最靠里的一个旗杆看不清楚,西边很清楚）。
纳闻 | 真实新闻与评述：故宫险遭强拆建“党中央大楼” 因文革搁浅