秋收在即，毛泽东在一九六一年八月再上庐山，决定征粮数字。
毛的其他同事劝他改变政策。周恩来到河北老根据地视察回来后对毛说：“除了树叶、咸菜、野菜以外，就没有东西了，硬是没有存粮。”毛听了烦得要死。在庐山上，有一次周恩来发言，毛插话说：“错误就是那么一点，有什么了不得!”
甚至在中央警卫团里，在那些保卫毛的人中，对他都是怨声载道。警卫团负责人汪东兴一九六一年初给毛的〈关于中央警卫团的思想情况的报告〉说：“战士董方会说：“毛主席住在北京，知道不知道农民生活?粮食打那么多都到哪里去了?”战士许国乱说：“叫人们吃菜是不是毛主席下的命令?中南海修建工人每月六十斤粮食还没劲呢，农民光吃菜和白薯，吃不到粮食。不能不管老百姓的死活。””“战士张立臣说：“现在农村老百姓吃的连狗都不如，过去狗还能吃到糠和粮食，现在人饿得没劲，小猪饿得站不起来。社员反映说：毛主席是不是叫我们饿死。””中央警卫团因此受到狠狠的清洗。
近在眼前的威胁是在党代表大会上被选掉，或者落到有职无权的地步。最了解毛的林彪在笔记里写道：“他最大忧虑在表决时能占多数否。”一九六一年九月，照党章规定中共应该开“九大”。毛得尽一切努力避免“九大”。
早在一九五九年，毛已经感到中共高层对他政策的强烈不满。他在四月的讲话提纲里写道：“如果你们不投我的票了，拉倒。”随后的大饥荒强烈地震撼了中共干部，有代表性的是安徽一九六一年元月开的五级干部扩大会。“会上讲话的有百分之九十以上是家里死了人的，他们在吐(冤)气时，百分之百的悲痛流泪。会场上看到他们哭，特别是大量人口死亡的情景，都十分沉痛。绝大部分同志都被感动得心痛流泪多次。有不少人自上午诉苦开始，到下午七点钟散会终止，眼泪都没有干过，尤其是妇女，哭得更厉害。”
中共干部和他们的家庭都得勒紧裤带，一人一个月二十来斤粮、几两油、一点点肉。在中南海的红墙内，刘少奇的身边工作人员因为吃不饱饭，把花园和草坪改成了菜地。饥饿使毛的干部们几乎人人都渴望改变政策。
毛把责任推到基层干部头上，说问题的原因是“坏人当权，打人死人，粮食减产，吃不饱饭”。他又怪罪于苏联“现代修正主义”。他还说中国发生了“特大的天灾”。根据气象记录，大饥荒的几年不但没有全国性的天灾，天气还比一般年景好。干部们对全面情况不了解，毛的嫁祸于人还能骗些人。但是，看到全国人人都在饿肚子，大批饿死人，干部们不能不感到自己的党总是有点什么问题。
为了唤起对他本人的好感，毛向全党宣布他要“跟全国人民同甘共苦”，不吃肉了。的确，在一个短时间内他不吃肉了，但他在吃鱼，毛最喜欢吃鱼。在大饥荒期间，他还对以肉食为主的西餐发生了兴趣。一九六一年四月二十六日，毛身边工作人员会同厨师为毛精心制定了一份西餐菜谱，包括七大西菜系列：鱼、虾、鸡、鸭、猪肉、羊肉、牛肉。
鱼虾类列有：“蒸鱼布丁、铁扒桂鱼、煎(炸)桂鱼、软炸桂鱼、烤鱼青、莫斯科红烤鱼、吉士百烤鱼、烤青菜鱼、菠菜煮鱼、铁扒大虾、烤虾圭、虾面盒、炸大虾、咖喱大虾、罐焖大虾、软炸大虾、生菜大虾”等等。鸡类包括：“黄油鸡卷(鸡排)、软煎鸡排、鸡肉饼、鸡肉元、大王鸡肉饼、鸡肉丝、罐焖鸡、红焖鸡、葱头焖鸡、青菜焖鸡、纸包鸡、鸡丁敏士、椰子鸡、奶油鸡”。猪肉类有：“烤猪排、烤猪腿、炸猪里脊、炸猪排、溜猪排、法国猪排、义式奶猪”等等。至于牛羊肉，毛不是很喜欢，但也有不少品种：“羊肉串、烤羊腿、烤马肉、白烩羊肉、煎羊排、煎羊肝、牛扒、煎牛肉、咖喱牛肉、伏太牛肉、酸牛肉、烩牛尾……”
毛身边工作人员看得到毛在吃什么，他们自己和家人吃的又是什么。毛对他们说他的好东西都是“人民给我的待遇”，别人“没有权利”享用。毛的管家偷偷拿了点毛的食品回家，发现后送到北大荒劳动改造，从此杳无音信。
由于资讯封锁，人们根本不了解毛的真实生活。他的女儿李讷那时在大学住校，在学校里跟大家一样饿肚子。毛很高兴她这样，他要的就是人们看到他的女儿也在挨饿。李讷周末回家可以吃到好东西。一次她从家里带了点回学校，毛知道后说“影响不好”，火气上来还拍了桌子。毛要人们以为他在跟大家共患难。结果，李讷一九六○年得了浮肿病，月经也停了，第二年干脆休学待在家里。
但即使毛制造了个“共患难”的形象，又能怎么样?那也填不饱肚子啊。人们饿得太惨了，生活中最基本的东西也没有。比方说，肥皂成了稀罕物件，因为造肥皂用的油类都出口去了。毛发议论说：“可以不造肥皂嘛，我可以一辈子不用肥皂嘛!”当上面传达说毛如何“艰苦朴素”、不用肥皂时，有的干部背地里反唇相讥：“他当然不用，他什么事也不干!”还有些相当高级的干部甚至彼此议论：“他怎么不死嘛!他死了别人好工作嘛!”毛对众人的反感有所风闻，女儿娇娇去给杨开慧扫墓时，听见人们咒骂毛，回来告诉了毛。毛也知道有人在说：“要是过去发生这种情况，早就该“下诏引咎”了。”
如果这时候按党章规定召开“九大”，毛有可能会被选掉。文革中“四人帮”之一张春桥道明了毛的担心：“想想多可怕，如果运动(文革)前召开“九大”，很可能刘少奇当主席，毛主席做名誉主席。”
干部们纷纷要求召开党代会，讨论这前所未有的大灾难。毛泽东决定“九大”“不开了”。他想了个主意，开一个不存在选举问题的大会。全国各部委、省市、地县、大厂矿，都派第一、二把手等几个人来北京开会。
这就是一九六二年一月的“七千人大会”，中共党史上规模最大的会议。这是一次里程碑式的会议，因为大饥荒就是在会后停止的。可是人们至今不知道，这一成就的取得，是由于刘少奇在会上对毛搞“突然袭击”。