Palvelus paavin diplomaattina.
Syntynyt paavin alamaisena Pescinassa Abruzzissa lähellä Roomaa, Giulio Mazzarino vietti lapsuutensa alueella, jonka temperamentti, ajattelutavat ja roomalaiskatolinen maailmankatsomus läpäisivät hänen koko elämänsä. Hänen isänsä Pietro oli roomalaistunut sisilialainen, joka kuului konstaapeli Filippo I Colonnan talouteen; hänen äitinsä Ortensia Bufalini, joka oli toscanalaista aatelissukua, oli avioliiton kautta sukua Colonnan talolle. Mazzarino ymmärsi alusta alkaen, mitä hyötyä oli siitä, että hänellä oli vaikutusvaltaisia suojelijoita, ja oppi käyttämään heitä hyväkseen. Taloudellisista vaikeuksista ja suuresta perheestä (toinen poika, josta tuli munkki, ja neljä tytärtä) aiheutuvista kuluista huolimatta Mazzarinot pystyivät lähettämään Giulion Rooman jesuiittakouluun, jossa hän oli erinomainen oppilas.
Colonna-suvun nuoren jäsenen mukana hän lähti Espanjaan, jossa hän täydensi opintojaan Alcalá de Henaresin yliopistossa (nykyinen Madridin yliopisto), jossa hän opiskeli oikeustiedettä ja palasi sitten Roomaan innokkaana oppimaan lisää aristokraattisista elämäntavoista ja maallisista asioista. Colonnalta hän sai kapteenin arvon paavin armeijassa vuonna 1624, ja palvellessaan Loretossa hän koki jouluyönä 1625 epätavallisen mystisen uskonnollisen kokemuksen eli ”sielunrauhan”, joka vaikutti hänen elämäänsä. Hän siirtyi Pyhän istuimen diplomaattiseen palvelukseen, ja vuonna 1628 hänet nimitettiin Milanon paavillisen legaatin G. F. Sacchettin sihteeriksi; tässä tehtävässä hän sai ensimmäisen kerran tilaisuuden toimia aktiivisessa poliittisessa roolissa.
Tammikuussa 1630, kun Espanjan ja Ranskan välillä käytiin sotaa Mantovan kruununperimyksestä, Sachettin seuraaja Antonio kardinaali Barberini lähetti Mazarinin Ranskaan neuvottelemaan suuren kardinaali de Richelieun kanssa. Nuori mies innostui vaikutusvaltaisesta ministeristä: ”Päätin”, hän kirjoitti, ”omistautua kokonaan hänelle”.” Pian tämän jälkeen nuori ministeri sai kansainvälistä mainetta, kun hän 26. lokakuuta 1630 ratsasti dramaattisesti kahden vastakkaisen armeijan välissä, jotka olivat juuri ryhtymässä taisteluun Casale in Monferratossa, huutaen ”Rauha, rauha!” ikään kuin rauha olisi solmittu. Koko loppuelämänsä ajan hänet muistettaisiin pelottomana ritarina, joka vaaransi henkensä kahden armeijan välissä lopettaakseen taistelut. Vaikka espanjalaiset lopettivat Casalen piirityksen, oli vielä paljon tehtävää yleisen sovinnon aikaansaamiseksi. Mazarinin neuvottelemalla Cherascon sopimuksella (19. kesäkuuta 1631) ranskalainen ehdokas asetettiin Mantovaan, mutta sopimus ratkaisi vain Ranskan ja Savoijin väliset erimielisyydet.
Mazarinin päätös omistautua Richelieulle ei estänyt häntä saamasta myös kardinaali Barberinin, paavi Urban VIII:n nuorimman veljenpojan, suojelusta. Mazarinin palattua Roomaan vuonna 1632 Barberini otti hänet mukaan taiteilijoiden, taidemaalareiden ja muusikoiden piiriin, ennen kuin hän sai Mazarinille tehtävän ylimääräisenä nunsiona (suurlähettiläänä) Ranskan hovissa vuonna 1634. Siellä Richelieun rinnalla Mazarin sai vallanpitäjien suosion ja omistautui Ranskan kansalle, jonka ”sydämen ja mielen avoimuus” teki häneen vaikutuksen. Hän ei kuitenkaan unohtanut tehtäväänsä, joka oli neuvotella Urban VIII:n tavoittelema rauha Espanjan ja Ranskan välille; siksi hän seurasi epätoivoisena, kuinka Richelieu toi Ranskan avoimesti mukaan kolmikymmenvuotiseen sotaan toukokuussa 1635.
Legaatin ominaisuudessa Avignoniin ja sen jälkeen Roomaan (joulukuussa 1636) kutsuttu Mazarin jatkoi vaikutusvaltaansa Ranskan politiikkaan kirjeenvaihdossaan Richelieun ja tämän neuvonantajan isä Josephin kanssa. Ystäviensä kardinaalien Barberinin, Nicholas Bagnin ja Alessandro Bichin kanssa Mazarin johti ranskalaisryhmää paavin hovissa. Ranskan Ludvig XIII palkitsi hänen ponnistelunsa suosittelemalla häntä kuninkaalliseksi kardinaaliehdokkaaksi vuonna 1638, antoi hänelle kirkollisia eläkkeitä ja hyvityksiä (ollakseen oikeutettu niihin Mazarin sai ranskalaiset kansalaisuuspaperit vuonna 1639) ja kutsui hänet lopulta palaamaan Pariisiin, jonne hän saapui 5. tammikuuta 1640. Pettyneenä, koska espanjalainen ryhmittymä oli tehnyt tyhjäksi hänen kunnianhimonsa Roomassa, Mazarin jätti paavin palveluksen ja siirtyi Ranskan palvelukseen. Hän oli Ranskalle ja erityisesti Richelieulle velkaa kardinaalin hatun, jonka paavi lahjoitti hänelle 16. joulukuuta 1641, vaikka Urban VIII oli itsekin tehnyt myönteisen vaikutuksen ponnisteluihin, joita hänen entinen alamaisensa oli tehnyt yleisen rauhan hyväksi.