Het bedrijf werd in 1978 door Robert Haber opgericht als College Media Journal, een tweewekelijks vaktijdschrift gericht op college radioprogrammeurs en werd in 1982 CMJ New Music Report.
CMJ.com publiceerde top-30 lijsten die hen werden toegezonden door radiostations, die zich abonneerden voor een paar honderd dollar per jaar. Voorheen publiceerde CMJ deze lijsten in CMJ New Music Report, CMJ’s vakblad. Het tijdschrift verhuisde naar een online only formaat en werd wekelijks uitgebracht als een digitaal PDF-magazine totdat het in 2017 opvouwde. Het publiceerde ook CMJ New Music Monthly, dat een tijdschrift was met interviews, recensies en speciale functies.
Op 5 januari 2004 publiceerde CMJ New Music Report een dubbelnummer ter ere van het 25-jarig jubileum, geleid door een redactie bestaande uit hoofdredacteur Kevin Kerry Boyce, en managing editors Louis Miller en Doug Levy. Het nummer had The White Stripes op de cover in een foto gemaakt door art director Drew Goren; het tijdschrift noemde de band’s 2003 release, Elephant (album), zijn album van het jaar.