這是糾紛的開端。呂惠卿而今成了朝廷唯一的魁元。他不但抓住鄭俠案件的機會罷黜了王安石的弟弟王安國，又藉著無處不在的鄧綰的幫助，想把王安石牽連在山東省一個謀反案件中，其實那是由一個親王發動的。王安石被控與叛逆串通，因為他與一逆賊是朋友。還有另一個閣員，也曾名義上做過宰相，他與呂惠卿極不相容，他想使王安石官復原職，用以抑制呂惠卿。他除去請皇帝罷黜呂惠卿，重用王安石之外，又送一密函與王安石。控告謀反自然事極嚴重，王安石以七日之內，火速晉京。
王安石與謀反一案確無干係，在神宗熙寧八年（一0七五）二月，又重任宰相。這時使鄧綰有幾分尷尬，他只好連忙背棄呂惠卿，又投入王安石這邊來。為了重獲王安石的青睞，他決定出賣呂惠卿。鄧綰背著王安石，暗中和王安石的兒子勾結，控告呂惠卿勒索華亭商人五百萬緡。朝廷降呂惠卿官，出為太守。鄧綰以呂惠卿如此輕易逃過，心有不甘，乃聯合呂嘉問請求重新審問，將呂惠卿羈押在京師的禦史台監獄中。
一度權勢炙手可熱的小人權要，-一遭到罷黜，鄧綰也非例外。鄧綰還依然是精力充沛，他親眼看到呂惠卿垮臺，又看出皇帝對王安石也日形厭倦。他以天縱陰謀之才，洞燭機先，心想下一個身攬大權的人必是王安石的兒子和女婿。他上一表章，請皇帝將此二人升遷重用。但是王安石和皇帝對鄧綰的變節背信早已厭膩，不但不心存感激，反將他罷官斥退。鄧綰現在對人性應當是失去了信心吧！
呂惠卿在禦史台監獄等待審判之時，他對王安石發出了最後的一擊。原來那些年他保存了王安石的一些私人信件，以備敲詐之用。現在他把這些信都呈交給皇帝，控告王安石在皇帝背後圖謀不軌，因為有幾封信上有"無令上知此一帖"。皇帝對這些紛亂如麻的事早已厭惡，而今在這些信上的發現，真使皇帝對王安石第一次發了脾氣。王安石痛駡自己的兒子，不該背著他胡亂攻擊呂惠卿。他兒子顯然不知道呂惠卿手中藏有這些信，並且握有他父親的把柄，深悔自己行動鹵莽。受父親斥責之後又心中憋氣，立刻病倒，不久背上生出了惡瘡。王安石一向信佛。他請和尚誦經，請醫生開藥，但均無法救兒子一命。兒子王秀之死，是老相國的一個嚴重的打擊。這位相國對政治與人生的虛幻，大徹大悟了，他感覺厭倦，呈請辭官歸隱。皇帝允許他在熙寧九年（一0七六）十月辭去職務，但仍保有若干最高爵位，王安石並非遭受罷黜。數年之後，有人在金陵附近的鄉間，看見他騎著驢，嘴裏喃喃自語， 不清說些什麼。
熙寧四年（一0七二）七月，蘇東坡攜眷離京往富有湖山之美的杭州上任。在隨後八九年內，他始終在杭州，青島附近的密州以及江蘇的蘇州為官，無不政績斐然。這一段期間，他作詩甚多，所寫的歌很美，或感傷，或詼諧，或憤怒。以天真快活的心情，幾乎赤子般的狂放不羈，將心中之所感，盡情歌唱出來。可是這樣憂慮憤怒的詩歌觸怒了權要，終於給他招惹了災禍。
他弟弟子由這時在陳州（淮陽）充任教授，淡泊自甘。陳州位於國都東南七八十裏，正在蘇東坡治下的視察行程之中，他隨後幾年都常常利用機會到弟弟家盤桓小住，有時會住上七十幾天。蘇東坡的兒子已經十二歲，還有一個嬰兒，才一歲，但是他弟弟則兒女很多。沉默寡言的蘇子由，一聲不響只顧生兒育女——最後直到生了三個兒子，七個女兒，都是蘇東坡幫助婚配的。蘇東坡欣然接受弟弟的請求，與他們共度中秋後才走。子由很窮，住的房子又小又矮。東坡常常對弟弟的高大取笑，他寫了兩句：
常時低頭誦經史，
忽然欠伸屋打頭。他們的老朋友，那位退隱的國家元老張方平，也和他們在一個城裏住，大家常酒飯相聚。張方平飲酒甚豪，他的酒量是一百杯。據蘇東坡自己說，他自己的酒量則小得多，但是他說他並不以自己酒量小而戒酒。歐陽修也是海量，但是張方平卻勝過他，因為張方平開始喝酒時，他不向客人說他們要喝多少杯，而是多少天。蘇東坡說："對你們海量的人我並不羡慕，我喝完一杯就醉，不是和你們一樣得其所哉嗎？"
那幾個月，兄弟二人和家人悠閒團聚，共度時光，兄弟二人常到柳湖去划船，或是在城郊漫步，談論政治、家事、前途。一天，二人正在討論國家情勢，子由向哥哥進了些忠言。蘇東坡的一個短處就是老向客人談論自己的心思，寫文章也是發揮自己的見解。當時不是什麼好年月，子由對哥哥太瞭解。後來，蘇東坡的監禁解除之後，子由把手捂住他的嘴，那是告訴他以後要三緘其口。
耽美书斋推荐浏览： 林语堂