ort de son nouveau succès, Black Sabbath enchaine les concerts et retourne rapidement en studio pour enregistrer "Mob Rules" en 1981, un album au moins aussi excellent que son prédécesseur, confirmant Dio en sa qualité de "frontman". Mais des tensions se font sentir entre les membres du groupe. Dio et le batteur Vinnie Appice finissent par quitter le groupe en octobre 1982, lors du mixage de l’album "Live Evil" suite à plusieurs désaccords. Des rumeurs insinuent qu’ils se seraient tous les deux introduits dans le studio dans le but de mixer le chant et la batterie eux-mêmes. Les deux parties ont nié les faits depuis, et ont rejeté la faute sur l’ingénieur du son qui aurait raconté des histoires.

Dio qui projetait d’entamer une carrière solo lors de son départ de Rainbow, finit par s’y atteler, il fonde début 1983 son propre groupe qu’il baptise simplement Dio. Avec son ami et batteur Vinnie Appice, ils recrutent le bassiste Jimmy Bain son ancien compagnon de Rainbow et le guitariste Vivian Campbell, un inconnu qui rencontrera le succès grâce à son talent et sa collaboration avec Dio qui l’aura fait découvrir. En mai 1983, le groupe sort son premier album "Holy Diver". On sent déjà, la grande influence qu’aura eue Black Sabbath et qui dirigera toute la carrière de Dio. L’album est un véritable succès et particulièrement grâce à la popularité des deux singles "Rainbow in the Dark" et "Holy Diver" dont les clips passent en boucle sur la chaîne de télévision MTV. Le groupe accueille Claude Schnell le claviériste et sort le 2 juillet 1984, son deuxième album studio "The Last in Line" suivi le 15 août 1985 par "Sacred Heart", un album jugé plus commercial que les autres.