호는 공초(空超), 상현(想絢), 선운(禪雲). 경신학교를 거쳐 일본 동지사대학 종교철학과를 졸업하였다. 1956년 예술원상, 1962년에 서울시 문화상을 수상하였다. 김억, 남궁벽, 황석우 등과 함께 '폐허'의 발간에 참여하여, 그 창간호에 「시대고와 희생」이라는 글을 발표함으로써 작품활동을 시작하였다.
작품세계의 주조를 이루고 있는 허무는 「방랑의 마음」, 「허무혼의 선언」, 「폐허의 낙엽」등의 시에 잘 나타나 있다. 오상순 생전에는 한권의 시집도 남기지 않았으나 사후인 1963년 동료와 제자들에 의해 『공초 오상순 시집』이 발간되었다.