殷海光虽然“为人应世笨拙不堪”，但仍处处不忘自己是高级知识分子，从他生活细节上，也可看到一斑。他从不坐公共汽车，他认为人的尊严会给挤掉；他喝高级咖啡，吃英国饼干，去贵族医院看病……这些都表示他也蛮布尔乔亚的。另一方面，他除了不太会用电话机、不会用自动电梯外，要替人做衣服的殷太太向人收两种工钱——有钱的人要多付，没钱的人要少付……这些表示他也蛮书呆的一面。以这样层次的知识分子，来了解人间万象与真相，当然要受到很多限制。殷海光虽然天姿聪明，但在生活面上和人事面上，却很容易被投其所好、被小人利用。我举一个例子。《自由中国》停刊以后，殷海光对国民党的厌恶更深了，一个人只要同他骂国民党，他便轻易相信这个人。有一次，台肥六广图书室请我讲演，我认为来者不善，拒绝了；他们改请殷海光，我劝他不要去，他被封锁已久，还是去过瘾了。讲完了，一个人走过来，向他大骂国民党，立刻谈得投机起来。后来登门拜访殷海光，殷海光还把《自由中国》编辑胡虚一介绍给这陌生人，牵累到胡虚一身陷黑牢，原来那陌生人是卧底的！殷海光就是这样容易被钓的人！农村小孩钓青蛙只要用根线，往草里一放，青蛙就咬住不放，全身暴露而出。殷海光容易被小人利用，也正如此，雷震也犯同样的毛病。我同殷海光玩笑性地表示过：“你们的为人最容易被小人包围，你们搞政治，若当了政，恐怕小人当道的情形，更要严重呀！”
在我写《老年人和棒子》发表后，不久就发生了“中西文化论战”。文德（陈宏正）在《殷海光教授年谱简编》中说：“在文化论战中，李敖独得盛名，但殷却背着黑锅。”因为“西化派中殷的学生李敖、许登源、洪成完攻击胡秋原，引起胡秋原的误会，以为西化派是殷在背后策动”。以致殷海光“以后被胡秋原、徐高阮连续不停地施以人身攻击，对其后迫害殷不能在台大授课，形成一大压力与不利环境”。这段内幕，殷海光留下一篇回忆——《我被迫离开台湾大学的经过》，其中说：
在论战中，胡秋原君知识上的短缺，思想上的混乱，被我的一群学生指破。尤其是他参加“闽变”的往事，被李敖君指出。这一下使他的名流声威扫地。他痛心疾首之余，认为系我在背后策动，于是在《中华杂志》上参加徐君对我的围攻。这二位先生的言论，充满对我的污蔑、毒骂及构陷，但却俨然为学术尊严及自由民主和反共爱国而仗义执言。标榜历史文化儒家道德的某君（李敖按：徐复观也），则从旁助威……
……本年上学期末，各楼发现一种宣言，不知是哪儿来的。宣言的内容主要是批驳费正清等在美国国会证词，说他们“助匪”、“犯罪”。照我看来，这篇文章可算官方雇用文人的写作精华。彼等立论，完全是从一个政权的利益出发，罔顾世界大势。其实，费正清等人的言论，意在保全台湾。台湾这个小岛，若不是美国第七舰队保卫，恐怕早在1950年便陷共了，还有什么“反攻”空话可说？复次，这一宣言表面系“自由签名”，实际则为一“忠贞检查”。在台湾住了十几年的人，面对这一签名运动心里都有数，如不签名将被疑为不忠于某党政权。这样的人将蒙种种不便，甚至有打破饭碗的危险。在台湾这种形态的绝对主义的统治之下，谁不怕麻烦？在台湾这个饭碗难找的岛上，谁不怕打破饭碗？于是而有一千四百位文化工作者签名的盛举。我因为一方面认为我那一宣言的内容幼稚可笑，另一方面我尤其憎恶那种“间接强迫”的作风，所以拒绝签名。后来校方一高级党务人员亲自来舍劝签，仍然被我拒绝！
于是，多年累积的问题爆发了！
殷海光说“一千四百位文化工作者”的抗议宣言“不知道是哪儿来的”，但在十三年后，“哪儿来的”终于水落石出。1979年3月，“国防部”总政治部属下的黎明文化事业股份有限公司，出版了一本红皮烫金的《慎师七十文录》，是庆祝曹敏七十生日的一本专集，其中有一篇《胡秋原先生序》，我看了以后，才疑团尽解。胡秋原在序中回忆：
我是一个几乎没有所谓“社交”生活的人，与党政方面人士尤其少有个人的往来，所以我与曹慎之先生原不相识。民国五十一年，郑学稼先生和我因为一个同我们两人有投稿与书业往来的书店，在所谓文化论战后忽然对我们两人先后送红帽子，我们便先后对那书店及其作者提出诽谤案之诉讼，法院合并审理。这种官司在中国原很少见，所以开始之时旁听的人不少。当时一般朋友对郑先生与我的批评大抵是“修养不够”，“不上算”，甚至于说“好事”；只有三个人同情我们的遭遇，经常到法院旁听，这便是任卓宣、曹慎之、徐高阮三位先生。任先生是我们两人的老朋友，徐先生则因我而认识郑先生，曹先生那时与郑先生在国防部的一个研究部门同事，他是因郑先生而去，于是我在法庭开始认识慎之。
耽美书斋推荐浏览： 李敖