1961年2月6日早上，我结束军队生涯，自澎湖搭军舰回高雄，旋即抵台中。15日北上，暂住温州街七十三号台大第一宿舍第四室，决心要找一间小房，做为一个人能够清静的所在。这么多年来，我从没机会一个人有一间房，此番北上，一定要达成这一心愿。两天后，我租到新生南路三段六十巷一号的陋巷小屋，只四个榻榻米大，矮得双手不能向上举，我订名为“四席小屋”。隔壁住着李善培，我们合买了一台收音机，又弄来唱机，把木板隔间挖一个洞。置收音机与唱机于洞口，两人谁都可以使用它。“四席小屋”只是陋巷中的一间，陋巷左右门对门共有小屋十多间，活像“军中乐园”。进入巷口第一间是一个一百零一公斤的胖侨生租的，他房里有一台小电扇，我最羡慕，因为我买不起。住进“四席小屋”对我是大日子，这天是1961年2月17日。小屋月租二百二十元，是李士振借给我的。第二天，我即有日记如下：
入夜在小屋中边整理边读写，伏大桌上，点一百支灯。听外面小雨声，
想到多年奔波，今夜起聊得小休，兴奋得连撒三尿。
“四席小屋”开门就是陋巷，出巷即是台大。台大那时正是春暖花开的季节，我走回来，大有物是人非之感。过去的老朋友，老情人都已高飞远扬。晚上从姚从吾老师的研究室走出来，整个的文学院大楼一片漆黑，我想到我的身世和抱负，忍不住要叹一口气。有时候，陈宝琛那两句诗就从我嘴边冒出来，正是：
委蜕大难求净土，
伤心最是近高楼！
那时助理薪水迟迟没能发下，我北上时候，妈妈送我二百元、三妹送我一张火车票，此外全靠借钱维生，窘迫不堪。那时施珂在成功中学教语文，他说语文老师们懒得改作文簿，愿以一本一元的代价，由外面承包，如愿意，他可搭线，我当然愿意。在日记里，我有这样一段：
珂送来作文本，张淑婉先生的一班，五十本，花了一口气就在一小时内改了二十本，赚了二十元。
作文题目是《我的理想》，一个小混球（初三甲邱廷光）写道：“有些人的理想很大，但是不能去实行，也就和没有理想一样。我的理想并不大，就是能够把“中国”复兴起来。……”我在上面批道：“此理想也不小”善培见而大笑。
有一天，只有一张吃一顿的饭票了，我拿在手里，送给李善培，我假装说我吃过了，害得自己饿了一顿。人穷到这种程度，只好赶写文章发表，靠稿费救急。于是，从三月到四月，我写出《充员官》、《独身者的独白》、《爱情的刽子手》、《中国小姐论》等文章，分别发表在《中华日报》、《联合报》、《人间世》杂志等，聊辟财源。那时刘凤翰在《幼狮学报》发表文章，稿费甚优，他说可以介绍我去投稿，我拒绝了，因为我讨厌蒋经国的救国团，当然也讨厌它的刊物。
我不但努力写作，也努力进修，忽然发神经，要把法文、德文同时学出个名堂。乃加入补习班，每周一、三、五学法文，二、四、六学德文。过了一阵子，有人问施珂：“李敖到底是法文好还是德文好？”施珂说：“那要看你是星期几问他。”最后，哪一种都不好，全都难乎为继了。
“四席小屋”虽好，但是每晚有老鼠在天花板上奔驰，未免美中不足；白天又因地处要津，每天客人不断，最多时候一天有十四个客人，附近环境又太吵。老太婆、少奶奶、小孩子一大堆。我虽在陋巷，但自己却先“不堪其扰”起来。熬了四个月，决定下乡。选来选去，在新店选到了一间小房，背山面水，每月两百元，于是我装满了一卡车的书，在6月15日搬到新家。新家是新店狮头路十六号，我订名“碧潭山楼”。所谓山楼，其实很简陋，不但通过陋巷，且要通过臭菜场与臭河沟，房子只是一间五个榻榻米大的小房，不过是钢骨水泥的，绝无鼠辈在头上奔驰，可谓一快。还有一个好处，就是有浴缸可和二房东陶苏保一家分用。我独自一人倘佯山水之间，或入夜泛舟碧潭，或看廉价电影一场，极得孤寂之乐。我在房门外挂的牌子是：
也许在划船、在看电影或在吃饭，反正没离开新店。可见我新店山居岁月的一斑。7月5日日记：一个丰富的工作天，写出信四，卡片寄给胡（胡适），看《武士妖后》钉架子，改了一百本作文，晚接客，景（景新汉）鼓（陈鼓应）吴大中（原注：九年未见了！）少杰（张少杰）四人，十一时始归我所有，六小时写五千字。
耽美书斋推荐浏览： 李敖