1926年任中共武昌高等师范学校党支部书记，中共湖北区委组织部干事，主编湖北共青团刊物《湖北青年》，并参加中共湖北区委地下报纸《楚光日报》的编辑工作。大革命失败后，与党组织失去联系。1928年4月，李俊民辗转上海寻找党组织期间，开始创作文艺作品。先后创作小说《亚钟的破碎》《秋之汐》等，小说集《跋涉的人们》由鲁迅交北新书局出版，后遭国民党查禁。因环境恶化，1929年到河南、北平、山东等地从事教书工作，历时8年。在山东教书时，为当地报纸编辑副刊《未央》。

抗日战争爆发后，李俊民回到西亭老家创办并主编《新通报》，此后，李俊民从学者、作家向报人、出版家转型，并通过报刊宣传共产党的抗日主张。1940年，任苏北地区联合抗日司令部（即“联抗”）副司令，在指挥部队抗击敌伪的同时，创办三日刊《联抗报》并兼任社长。1941年2月，李俊民重新加入中国共产党，后调苏中四分区专员公署任主任秘书。

1942～1948年，历任兴东泰地委宣传部部长，紫石县县长，苏中四地委、华中一地委宣传部部长，苏皖边区第九行政区专署副专员兼华中九地委宣传部部长等职。主持创办《文综》文艺刊物，该杂志发行面较广，曾进入上海市场。1948年起，历任华中行政委员会民政教育处副处长，苏北行署文教处处长，支前司令部政治部主任、文化局局长，江苏省文化局局长。

1953年10月调往上海，先任新文艺出版社社长，后又兼任古典文学出版社社长、中华书局上海编辑所副主任与总编辑、辞海编辑所主任。“文化大革命”期间遭迫害下乡劳动。1978年复出后任上海古籍出版社社长兼总编辑、上海市文联副主席等职，组织力量使“文化大革命”中受到严重破坏的古籍出版工作得到迅速恢复与发展。