La société a été créée par Robert Haber en 1978 sous le nom de College Media Journal, un magazine commercial bihebdomadaire destiné aux programmateurs de radios universitaires, et est devenue CMJ New Music Report en 1982.
CMJ.com publiait les listes du top-30 qui leur étaient envoyées par les stations de radio, qui s’y abonnaient pour un coût de quelques centaines de dollars par an. CMJ publiait auparavant ces listes dans CMJ New Music Report, la publication commerciale de CMJ. Le magazine est passé à un format uniquement en ligne et a été publié chaque semaine sous forme de magazine numérique PDF jusqu’à sa fermeture en 2017. Il a également publié CMJ New Music Monthly, qui était un magazine avec des interviews, des critiques et des caractéristiques spéciales.
Le 5 janvier 2004, CMJ New Music Report a publié un numéro double du 25e anniversaire dirigé par une équipe éditoriale qui comprenait le rédacteur en chef Kevin Kerry Boyce, et les rédacteurs en chef Louis Miller et Doug Levy. Le numéro présentait The White Stripes en couverture dans une photographie capturée par le directeur artistique Drew Goren ; le magazine a nommé la sortie 2003 du groupe, Elephant (album), son album de l’année.