明神宗屡次要重用海瑞，主持国事的阁臣暗中阻止，于是任命海瑞为南京右都御史。海瑞上任后，力主严惩贪官污吏，禁止循私受贿。诸司向来苟且怠慢，海瑞身体力行，矫正弊端。有的御史偶尔戏乐，海瑞要按明太祖法规给予杖刑。百官恐惧不安，都怕受其苦。提学御史房寰恐怕被举发纠正要先告状，给事中钟宇淳又从中怂恿，房寰再次上疏诽谤诬蔑海瑞。海瑞也多次上疏请求退休，明神宗下诏慰留不允许。
万历十四年(1586年)，海瑞听闻黄光升去世，悲伤至极，带病前去晋江奔丧。
万历十五年(1587年)十月十四日 [30] ，海瑞病故于南京任上。他没有儿子，所以去世后，佥都御史王用汲去主持海瑞的丧事，看见海瑞住处用葛布制成的帏帐和破烂的竹器，有些是连贫寒的文人也不愿使用的，因而禁不住为之悲泣不已，凑钱为海瑞办理丧事。海瑞的死讯传出，南京的百姓因此罢市。海瑞的灵枢用船运回家乡时，穿着白衣戴着白帽的人站满了两岸，祭奠哭拜的人百里不绝。朝廷追赠海瑞太子太保，谥号忠介。
海瑞背纤
明嘉靖年间，海瑞任淳安县令，不畏权贵。国公张志伯奉旨巡察各省，依仗权势，贪赃枉法，百姓怨恨。海瑞劝农归来，张志伯的亲信差官张彪来至县衙，强索赊银万两，海瑞拒绝，反将张彪棍责逐出。张志伯闻报大怒，至淳安向海责问，海瑞反据理向张算帐，指斥其贪赃枉法，张志伯大窘，临行索要纤夫四百名再作刁难。海瑞因农忙，不愿扰害百姓，就亲自率领衙役背纤，张志伯恐因此引起民愤，狼狈而去。
海瑞罢官
徐阶的第三子徐瑛霸占民田，鱼肉乡里，强占民女赵小兰。小兰母洪阿兰告状，华亭县令王明友受贿，杖毙小兰祖父。应天巡抚海瑞微服出访，路遇洪阿兰，查明真相，判处徐瑛、王明友死罪，饬令退田。徐阶买通太监、权贵，妄图罢免海瑞，推翻定案。海瑞识破奸计，断然处斩二犯，然后交出大印，慨然罢官归里。
妻妾众多
据明代沈德符所著《万历野获编·补遗》记载：海瑞一生娶妻三人，又有小妾两人。第一个妻子许氏，生了两个女儿，被海瑞休了，第二个妻子潘氏进门不到一个月，又被赶出家门。
第三个夫人王氏，在海瑞到达淳安之前两年为海瑞生了个儿子，取名中砥。海瑞到淳安任上之后的当年，王夫人又为海瑞生了个儿子，取名中亮。王夫人还生了个女儿。
王夫人于隆庆二年(1568年)七月二十四日晚上去世，海瑞说是生病死的，但也有人说是自杀的，《万历十五年》说王夫人在极为可疑的情况下死去。在王夫人去世前十一天，海瑞的妾韩氏上吊自杀。
海瑞在七十多岁时还有一妾姓邱，据说她为晚年的海瑞生了一个儿子，但长到三岁就夭折了。
海瑞杀女
据明代姚叔祥的小说《见只编》提及：海瑞家里清贫。一天，他看见五岁的女儿吃一个糕饼，就问糕饼是谁给的，当得知是某仆人给的时，海瑞大怒道：“一个好女子怎能随便地接受男人的东西呢?只有你饿死了，才是我海瑞的女儿!”他的女儿从此吓得啼哭不止，不喝也不吃，家里人怎么哄她劝她也没有用，七天之后终于饿死了。
对于此事，清人周亮工在其著作《书影》里也提及此事，不过，此事于《明史》、《明实录》、《国榷》等正史中均没有记载。