1940년 11월 22일, 일본 고베(神戶)에서 아버지 김명수(金明洙)와 어머니 강신원(姜信元) 사이에서 3남매 중 장남으로 태어났다. 제2차 세계대전 말기인 1945년, 미군의 공습이 심해지자 6월에 가족이 귀국, 서울 궁정동에 거주하게 됐다. 1961년 4월, 장편소설 ≪잃은 者와 찾은 者≫가 ≪한국일보≫ 공모에 당선됐다. 1986년, {슬픈 양복재단사의 나날} 계통에 속하는 {아카시아꽃}으로 제1회 동서문학상을 수상했다. 2004년엔 장편 ≪기억의 가면≫(문학과지성사)을 간행하는 한편 요산문학상, 김동리문학상, 경희문학상을 수상했다. 2005년 2월, 인하대학교 정년퇴임하면서 교수의 길을 마감했다. 개성적인 작가로서 또 교육자로 활동해 온 그는 2011년 4월 28일에 지병으로 세상을 떴다.