Yhtiön perusti Robert Haber vuonna 1978 College Media Journalina, joka oli korkeakoulujen radio-ohjelmoijille suunnattu kahden viikon välein ilmestyvä ammattilehti, ja siitä tuli CMJ New Music Report vuonna 1982.
CMJ.com julkaisi top-30-listoja, jotka radioasemat lähettivät niille ja jotka tilasivat sen muutaman sadan dollarin vuosihintaan. CMJ julkaisi nämä listat aiemmin CMJ New Music Reportissa, CMJ:n ammattijulkaisussa. Lehti siirtyi pelkkään online-muotoon ja julkaistiin viikoittain digitaalisena PDF-lehtenä, kunnes se lopetti toimintansa vuonna 2017. Se julkaisi myös CMJ New Music Monthly -lehteä, joka sisälsi haastatteluja, arvosteluja ja erikoisuuksia.
Tammikuun 5. päivänä 2004 CMJ New Music Report julkaisi 25-vuotisjuhlavuoden kaksoisnumeron, jota johti toimituskunta, johon kuuluivat päätoimittaja Kevin Kerry Boyce sekä päätoimittajat Louis Miller ja Doug Levy. Numeron kannessa oli The White Stripes taiteellisen johtajan Drew Gorenin ottamassa valokuvassa; lehti nimesi bändin vuonna 2003 julkaistun Elephantin (albumi) vuoden albumiksi.