A empresa foi fundada por Robert Haber em 1978 como o College Media Journal, uma revista bissemanal destinada a programadores de rádio universitários e tornou-se CMJ New Music Report em 1982.
CMJ.com publicou as 30 primeiras listas enviadas a eles pelas estações de rádio, que assinaram ao custo de algumas centenas de dólares por ano. CMJ anteriormente publicava estas listas no CMJ New Music Report, a publicação comercial do CMJ. A revista passou para um formato apenas online e foi lançada semanalmente como uma revista digital em PDF até ser dobrada em 2017. Também publicou o CMJ New Music Monthly, que era uma revista com entrevistas, resenhas e recursos especiais.
Em 5 de janeiro de 2004, CMJ New Music Report publicou um número duplo comemorativo de 25 anos, liderado por uma equipe editorial que incluiu o editor-chefe Kevin Kerry Boyce, e os editores gerentes Louis Miller e Doug Levy. A edição apresentou The White Stripes na capa em uma fotografia capturada pelo diretor de arte Drew Goren; a revista batizou o lançamento de 2003 da banda, Elephant (álbum), seu Álbum do Ano.