Das Unternehmen wurde 1978 von Robert Haber als College Media Journal gegründet, einer zweiwöchentlich erscheinenden Fachzeitschrift, die sich an die Programmierer von Hochschulradios richtete und 1982 in CMJ New Music Report umbenannt wurde.
CMJ.com veröffentlichte Top-30-Listen, die ihnen von Radiosendern zugesandt wurden, die sie für einige hundert Dollar pro Jahr abonnierten. Früher veröffentlichte CMJ diese Listen im CMJ New Music Report, der Fachzeitschrift von CMJ. Das Magazin wurde auf ein reines Online-Format umgestellt und erschien wöchentlich als digitales PDF-Magazin, bis es 2017 eingestellt wurde. Es veröffentlichte auch CMJ New Music Monthly, ein Magazin mit Interviews, Rezensionen und Sonderbeiträgen.
Am 5. Januar 2004 veröffentlichte der CMJ New Music Report eine Doppelausgabe zum 25-jährigen Jubiläum, die von einer Redaktion geleitet wurde, zu der Chefredakteur Kevin Kerry Boyce und die leitenden Redakteure Louis Miller und Doug Levy gehörten. Die Ausgabe zeigte The White Stripes auf dem Cover in einem Foto, das von Art Director Drew Goren aufgenommen wurde; das Magazin kürte das 2003 erschienene Album Elephant (Album) der Band zum Album des Jahres.