race à Rainbow, la carrière de Dio prend un nouvel essor. Même s’il reconnaît que Rainbow est avant tout le groupe de Ritchie Blackmore, Dio revendique sa participation active dans la réalisation des trois premiers albums, "Ritchie Blackmore’s Rainbow" (1975), "Rising" (1976) et "Long Live Rock’n’Roll" (1978). Rainbow rencontre un grand succès, notamment auprès des fans de Deep Purple. Les concerts donnés par le groupe sont réputés riche en improvisation, particulièrement longs et épiques, permettant aux membres de laisser libre cours à leur talents. Les enregistrements de "On Stage" (1977) et "Live in Munich" (1977 publié en 2006) donnent un excellent aperçu de ce qu’est Rainbow à cette époque. Dio inscrit son timbre de voix très pur et clair dans un registre puissant et mélodique qui forge son style pour le reste de sa carrière. En désaccord avec l’orientation que Ritchie Blackmore souhaite donner à Rainbow pour l’ouvrir à un plus large public, Dio décide de quitter le groupe après la tournée promotionnelle de "Long Live Rock’n’Roll", il envisage alors de se lancer dans une carrière solo.

En 1979, il rencontre Tony Iommi le guitariste de Black Sabbath qui lui propose de remplacer Ozzy Osbourne qui a été licencié. L’alchimie qui s’instaure entre Dio et les musiciens de Black Sabbath donne naissance à l’excellentissime "Heaven and Hell" qui sort en 1980. Le groupe qui avait perdu sa notoriété après le départ d’Ozzy renoue avec le succès, l’album se vend à plusieurs centaines de milliers d’exemplaires ! Durant un certain temps, Dio est rejeté par les admirateurs d’Ozzy, les puristes qui ne jurent que par le Black Sabbath originel. Mais Dio réussi à s’imposer ; son style scénique restera dans les mémoires, sa voix, ses chemises à manches longues d’inspiration médiévale, son pied de micro tournoyant dans les airs et surtout la popularisation de la Mano Cornuta (le geste avec la main) qui devient rapidement le geste de ralliement des fans de Heavy Metal, parviennent à lui octroyer une reconnaissance bien méritée. Ce fameux geste, lui vient de sa grand-mère, elle l’utilisait en signe de protection spirituelle contre tout personnage malveillant, ce geste qui l’avait particulièrement marqué durant son enfance.