萧望之曾经被刘病已看作是有丞相之才的人，但有才者皆难免心高气傲，萧望之亦如是，从他对丞相丙吉的态度便可以看出来。
然而，刘病已并非是非不分之人。萧望之对丙吉傲慢无礼的事，虽说会让刘病已不快，却不至于让刘病已就此否决了这个他曾经认为有“丞相之才”的人。
就拿张安世来说，张安世在其兄长张贺还在世时，曾对张贺说：“休要再到处称赞皇曾孙如何如何了，他如今能以平民的身份生活已经是天大的恩赐了。”
后来，刘病已一跃而成为皇帝，对于张安世这段过往却不甚介意，丝毫没有因为张安世与其兄长张贺对他的冷热态度差异而心怀怨怼，反而对他说：“你当年那么做是正确的。”
所以，是是非非在刘病已心中是很清晰的。
那么，萧望之究竟还做了什么别的事情，让刘病已觉得此人不堪担当丞相之职呢？
此前，汉朝边境处的羌人曾发生动乱，扰乱汉朝边境治安，汉朝派兵出征后，因军粮不足，曾有人提出，让那些犯了轻罪的人“以粮赎罪”。
萧望之却坚决反对，说这是纵容犯罪，无益教化，且必会造成贫富异刑，有失公允。
好在，最后经人计算发现军粮尚且足够应付，刘病已便听取了萧望之等人的建议，否决了“以粮赎罪”之法。
从这件事中可以看出，身为儒生的萧望之极为注重礼乐教化，而在这件事里，萧望之所提的建议也不无可取之处。
但是，最后幸而军粮勉强可以应付前线的需求，但如果军粮一直紧缺呢？
萧望之并没有想到，也未提出更实用的建议。
又有一次，有一个名为冯奉世的汉朝使者出使西域，在出使途中闻听有一西域小国正勾结其他西域国家到处散播不利于汉朝的消息，准备完全斩断汉朝的丝绸之路。
冯奉世与随从商议之后，最后决定不经过刘病已的同意出兵镇压这几个小国，以防局面变得更加难以控制。
当冯奉世战胜的消息传回汉朝时，刘病已相当高兴，本打算好好嘉奖立了大功的冯奉世等人，这时，萧望之却又表示不赞同了。
萧望之认为，冯奉世毕竟不曾汇报便擅自发兵，若刘病已当着天下的人嘉奖他，天下人岂不会群起而效仿之，不顾规矩、争功夺利，乱了大套。
所以，萧望之对于儒家的礼仪规矩相当看重，对其他人的要求达到了分毫不让的地步。
这本是好事，毕竟，有原则的人总比没有原则的人更让人信任。
但让刘病已头疼的是，萧望之对其他人和事相当严厉，对他自己倒不见得多么严格了。
萧望之面对丙吉时那般倨傲无礼，可是因为他发现了丙吉有何违规越矩之处？
并没有。如果真的有，身为御史大夫的他定然早早去弹劾丙吉了，就像他当初弹劾韩延寿一样。
更让刘病已对萧望之的好感度急剧下降的是，当刘病已为萧望之不尊重丙吉之事派人诘问萧望之时，萧望之当着刘病已派去的使者的面子，仍旧是一副“不知自己错在哪儿”的态度。
而且，对着刘病已派去的使者，萧望之只拜了两拜，使者问他话，他却故意伏地不起，似乎并不愿意配合使者回话，委实无礼得很。
在要求别人有礼的同时，自己却无礼，这种“严以律人、宽以待己”的做法究竟是何道理？
刘病已随后便下诏说：“有官员说你苛求朕派去的使者礼节不周到，对丞相无礼仪，傲慢不逊，没有办法做百官的表率。你应该好好反思自己，何以陷入这样的境地。朕不忍心用律令来处罚你了，只降职为太子太傅，光禄勋杨恽随后会送去印绶，你顺便把御史大夫的印绶也交予他。你也不用进宫了，直接去太子那里报到吧！”
刘病已这是连萧望之的面都懒得见了。萧望之见此，才终于知道刘病已是动了真怒，没做多余的解释便去了新的任上，踏踏实实做起了太子太傅。
但是，直到刘病已去世，萧望之始终都是太子太傅，再也没有被调回御史大夫之位。
从刘病已对萧望之的惩戒来看，他倒未必是真的对萧望之失望了，毕竟太子太傅一职事关国家的储君，也是马虎不得的职位，能交给他，说明对萧望之还是信任大过失望。
但为何一直没有再给萧望之担任丞相的机会？
还是因为萧望之在丞相之才上欠缺了点东西，那就是容人之量和大局意识。萧望之很有志气，也颇有才干，可惜心高者总难免气傲，容易刚愎自用。
于丞相这一统筹百官的职位来说，萧望之棱角太硬又不能做到完善自身，错失机会也是理所应当的。