Selskabet blev startet af Robert Haber i 1978 som College Media Journal, et to-ugentligt fagblad rettet mod universitetsradioprogrammører, og blev i 1982 til CMJ New Music Report.
CMJ.com offentliggjorde top-30-lister, der blev sendt til dem af radiostationer, som abonnerede på dem for et par hundrede dollars om året. CMJ offentliggjorde tidligere disse lister i CMJ New Music Report, som var CMJ’s fagblad. Magasinet gik over til kun at være online og blev udgivet ugentligt som et digitalt PDF-magasin, indtil det blev lukket i 2017. Det udgav også CMJ New Music Monthly, som var et magasin med interviews, anmeldelser og særlige indslag.
Den 5. januar 2004 udgav CMJ New Music Report et dobbeltnummer til 25 års jubilæum under ledelse af en redaktion, der bestod af chefredaktør Kevin Kerry Boyce og chefredaktørerne Louis Miller og Doug Levy. Udgaven havde The White Stripes på forsiden i et fotografi taget af art director Drew Goren; magasinet kårede bandets 2003-udgivelse, Elephant (album), som årets album.