Obecnie purpurat jest siódmym pod względem wieku członkiem 223-osobowego Kolegium Kardynalskiego. Od 29 stycznia 1996 jako kardynał-prezbiter „przypisany” do rzymskiego kościoła św. Sabiny, w której odbywają się uroczystości Środy Popielcowej pod przewodnictwem papieża, posypuje popiołem głowy kolejnych Następców św. Piotra. Tak było również w tym roku, gdy kard. Tomko uczynił znak krzyża popiołem na czole Franciszka.

Przyszły purpurat urodził się 11 marca 1924 we wsi Udavské w ówczesnej Czechosłowacji. W latach 1943-44 kształcił się na wydziale teologicznym św. Cyryla i Metodego w Bratysławie. Jesienią 1945 wyjechał na dalsze studia do Rzymu, ale po ich ukończeniu w 1951 nie mógł już wrócić do Czechosłowacji, w której od 1948 panował surowy reżym komunistyczny, wrogo nastawiony do Kościoła. Odtąd stolica Włoch stała się dla niego stałym miejscem zamieszkania i jakby drugą ojczyzną.

Tam też 12 maja 1949 – nazajutrz po swych 25. urodzinach – przyjął święcenia kapłańskie i do 1979 pracował duszpastersko w parafiach diecezji rzymskiej oraz Porto i Santa Rufina, udzielając się jednocześnie w różnych urzędach Kurii Rzymskiej, m.in. jako wykładowca na niektórych tamtejszych uczelniach. Odbył też studia z zakresu teologii, socjologii i prawa. W 1962 rozpoczął oficjalnie pracę w Watykanie, początkowo w Kongregacji Nauki Wiary, w której kierował sekcją doktrynalną.

12 lipca 1979 Jan Paweł II mianował go arcybiskupem tytularnym, po czym osobiści udzielił mu sakry 15 września tegoż roku w Kaplicy Sykstyńskiej. Uwieńczeniem tego okresu kariery słowackiego hierarchy było powołanie go przez papieża 24 kwietnia 1985 na proprefekta Kongregacji Ewangelizacji Narodów i 25 maja tegoż roku włączenie go w skład Kolegium Kardynalskiego. Z tą chwilą stał się prefektem tego najważniejszego watykańskiego urzędu misyjnego i stanowisko to piastował do 9 kwietnia 2001. W latach 2001-07 był przewodniczącym Papieskiego Komitetu ds. Międzynarodowych Kongresów Eucharystycznych.

Jako arcybiskup a jeszcze bardziej jako kardynał uczestniczył w wielu ważnych wydarzeniach kościelnych z Synodami Biskupów na czele i wielokrotnie reprezentował kolejnych papieży na różnych spotkaniach i obchodach rocznicowych na całym świecie. Dotyczyło to szczególnie jego przewodniczenia Kongregacji a następnie Komitetu. W tym charakterze często był wysłannikiem papieskim na uroczystości rocznicowe Kościołów lokalnych, niegdyś misyjnych, a obecnie mocno zakorzenionych w miejscowych społeczeństwach, np. w Ugandzie (I986), Kamerunie (1991), na wyspach Tonga (1992) i Fidżi (1994) itp. 11 marca 2004 osiągnął 80. rok życia i stracił prawo udziału w konklawe.

W czasie dyktatury komunistycznej kard. Tomko mógł odwiedzić swoją rodzinną Słowację tylko w czasie praskiej wiosny 1968 oraz przy okazji sakry biskupiej na krótko przed aksamitną rewolucją 1989. Częstym gościem w swojej ojczyźnie stał po zmianach ustrojowych w Słowacji, zwłaszcza gdy przeszedł na emeryturę. Podczas ostatniej wizyty Jana Pawła II w Słowacji w 2003 roku kard. J. Tomko odczytywał przemówienia ciężko już chorego papieża.

Jest autorem wielu książek i opracowań na tematy teologiczne, misyjne i inne, doktorem honoris causa szeregu uczelni na całym świecie, m.in. warszawskiego UKSW.