有人写史，总结李芾，说他临事jīng细敏悟，jian猾之人不能够欺骗他。而且jīng力过人，从清晨治理公事到傍晚毫无倦色，晚上通常到半夜才休息，五更时分又起chuáng处理公事。望见他凛然不可犯，像神明一样，但他喜好贤能礼遇士人，与他接触感到温暖，虽然是一小小优点也诚恳奖掖推荐。平生居官清廉，等到被排斥贬官时，家里没有剩余的资产。
当元军破了宋朝要塞鄂州后，李芾才刚刚被重新起用，任湖南提刑（后代的按察使），主管所属湖南的司法、刑狱和监察，兼管农桑。当时郡县qiáng盗扰乱，李芾命令所部发动民兵自卫，百姓才安定下来。他知道蒙元进bī，号召派遣军队，挑选壮士三千人，让乡里的武人尹奋忠率领，前往救援朝廷，另外招募民兵集中在衡州做防御的准备。没有多久，贾似道在芜湖兵溃，朝廷恢复了李芾的官职等级，委任他为潭州兼湖南安抚使。当时湖北州郡都已经归附蒙元，李芾的朋友们劝他不要去上任，还有的说：“实在没有办法，单人前往就行了。”李芾说：“吾世受国恩，虽废弃中，犹思所以报者，今幸用我，我以家许国矣！”（我世代受到国家的恩惠，即使是在被废弃期间我还想着如何报国，今天侥幸任用我，我就把家都jiāo给国家吧！）这时的李芾该是个老人了，因为他的孙子已经在准备结婚。接到任命时，他的女儿刚刚死去，李芾痛哭一场，带着家眷来到了潭州。
此时，蒙元的右丞大将阿里海牙的十万大军已经南下，元军游骑已到湘yīn、益阳诸县，潭州守军早已调赴前线，也大多死在了前线。潭州城内空虚，人心惶惶，一夕数惊。
受命于危难之际，李芾加紧进行守城的准备。他紧急召集城内尚能作战的军民约三千人，又约请湘西苗民为援，同时储备粮食，整修器械，加固城垣，在江中植立栅栏修筑营垒，命令刘孝忠统领各军。吴继明从湖北来了，陈义、陈元从戍守巴蜀回来，李芾奏请留下他们戍守潭州，推许诚心任用他们，得到了他们的拼死效力。
九月，阿里海牙以主力军队进入潭州地域，李芾派遣将领於兴率兵在湘yīn抵御，於兴战死。他又调遣吴继明出城抵御，军队来不及出发，蒙元大军已经包围了潭州城。元军设连营环锁，重兵围城，使广西、湖南衡州(今衡阳)宋军不敢赴援。元水军溯江而上，破李芾所置木桩十五处，拔掉了城西的铁栅，she书城中招降，李芾不应。
十月，阿里海牙令决隍水(护城河水)，竖云梯，攻西城。李芾亲冒矢石督战，与诸将分地守御。刘孝忠等率军奋力抗击。百姓不管老弱也都出来了，没有命令也自动集合起来，结成军保协助作战。阿里海牙身中流矢，受重伤，可更加疯狂地督军攻城。
围城日久，城中的箭用完了，李芾令百姓将废箭磨光，配上羽毛，用以再she；盐没了，则将库中盐席焚毁，取灰再熬，分给兵民食用；粮绝，则捕雀捉鼠充饥。有将士受伤，李芾亲自抚慰，给以医药，每天用忠义勉励他的将士。死伤的人杂乱众多，人们还是含忍血泪登城殊死战斗。有来招降的人，李芾把他杀了来宣示他势不投降。
十二月，阿里海牙总结攻不下潭州的原因是士兵在前面，将帅在后面。他要求改为将帅身先士卒，于是攻城加倍猛烈。此时宋军已守城三月，大小数十战，虽屡挫元军，但城内兵财匮乏，援兵不至，力已不能支，城池危在旦夕。农历除夕之日，和李芾一道守城的长沙人尹谷（字务实，被聘为参谋）听到元兵已登城，乃积薪闭户（把柴火堆满屋中，关了门），全家人坐在一起，举火自焚。邻居来救，只见尹谷正冠端绩危坐于烈焰中，全家老少葬身火海。李芾闻讯赶到，感叹不已，以酒祭奠，叹道：“务实真男子也，先我就义矣！”
时值除夕，众人皆知破城为必然，李芾留下宾客佐僚一起饮酒守夜，晚上传令，亲自书写“尽忠”两字作为号召，表示与城共存亡。众人饮酒通宵，达旦方才离去。
李芾坐在熊湘阁召来部下沈忠（一说是刽子手），赠金子给他说：“我力量已尽，职分当死，我的家人也不可以被俘侮rǔ，你全部把他们杀掉，然后杀死我。”沈忠不愿，磕头磕得满地是血，最后哭泣允诺，李芾与他相约掷杯为号。李芾把全家人都召集来，一起饮酒，到大家都醉了，李芾举着杯子沉吟良久，终于掷杯于地！
沈忠起刀，当着李芾的面，一个个地杀了他全家一十九人，最后李芾引颈自刎而死。沈忠纵火焚烧躺满李芾及家人尸体的居所，然后回家杀掉了他的妻子儿女，又回到了李芾家的火场，大声恸哭，投身火海之中。