戚继光虽然年轻时混的顺风顺水，妻子不育娶了三个妾生了五个孩子，史书还有记载说戚继光花大价钱买“千金姬”送给张居正，应该是依附于张居正的。

万历十一年（1583年），张居正死后，被杨四畏排斥，被调到广东任镇守，逐渐贫困，这其中可能也少不了各方势力的故意压榨欺辱，后来就家徒四壁，记载还说医药不备，这说明他这几年还患了病但是没钱没药治，且被妻子（妻子和儿子，应该也包括小妾）抛弃，没几年就去世了（1588年）。

因此才说他孤独而死。当然这里我们也不排除是戚继光看自己光景不好，而且是被人故意刁难，妻子孩子跟着自己也是受罪，故意让妻子孩子做出抛弃自己的景象也说不好，不得而知。