随着时间日久，徐渭越来越讨厌当官的人，尤其是那些擅长巴结阿谀的小官。当时的徐渭还是很有名气的，有不少官吏前往徐家，请徐渭出山，但他们都被徐渭拒之门外了。据说，每次有人找上门来，徐渭就会将大门锁死，在屋子里大喊：“徐渭不在，别再来烦我了。”到了后来，困苦不堪的徐渭每天半夜都会在家里长吁短叹，他的邻居都觉得徐渭疯了。

这时的徐渭，已经失去了生的希望，他只想找个合适的时间告别人世。某天，忍受不了精神折磨的徐渭终于下定决心，写下一篇《自为墓志铭》，然后取下柱子上的铁钉扎进耳朵里，血流如注。晕厥的徐渭被人救下，在病床上躺了几个月。徐渭去意已决，在康复后，他又用铁锥捅进了自己的腰，可命大的他又活了下来。

次年冬天，精神失常的徐渭与妻子张氏发生矛盾，两人吵得不可开交。徐渭一气之下，摔门出走，在外面闲逛了一天才回家。当天晚上，徐渭推门回家，竟看见妻子张氏与一个陌生男子赤条条地躺在床上。徐渭的精神已经濒临崩溃，怎能忍受这种奇耻大辱？怒火中烧的徐渭取出一把刀子，捅死了妻子。等徐渭清醒过来，他的妻子已失去了生命。

这时，徐渭猛然发现，与妻子张氏“躺”在一起的哪里是什么陌生男子？分明是一件棉衣。徐渭跪在地上痛哭流涕，但人死不能复生，一切都晚了。因为徐渭失手杀掉了妻子，所以他被当地官府打入大狱。七年后，万历皇帝登基大赦天下，徐渭的几个好朋友帮他争取到了机会，徐渭这才重获自由。

出狱后的徐渭，靠着卖字画糊口。在七十三岁那年，徐渭在“几间东倒西歪屋，一个南腔北调人”的潦倒环境中过世。徐渭死前，他的身边仅有一条狗相伴。而他的家中，仅有一张破床，床上连一张席子都没有，可谓困顿到了极点。