Apját, Kelemen Mihályt nem ismerte, anyja, Korom Eszter cselédként dolgozott, őt anyai nagyszülei nevelték. Fia, ifj. dr. Korom Mihály rendőrtisztként a Belügyminisztérium III. (Állambiztonsági) Főcsoportfőnökségén szolgált, később ügyvéd lett.
Az elemi iskola után napszámosként kereste kenyerét. 1944-ben leventeként nyugatra akarták vinni, de megszökött. 1945. márciusban belépett a Magyar Kommunista Pártba, s még az év júliusában felvették a rendőrség kötelékébe. 1945. októberben behívták katonának, 1946. februárban szerelt le, s 1947 végéig a politikai rendőrségnél szolgált Mindszenten, Szentesen és Kiskunfélegyházán, utoljára alhadnagyi rangban. 1948. januárban Budapestre, az akkor induló Rendőrakadémiára vezényelték hallgatónak. 1949. februári hadnaggyá avatását követően a központi kiképző zászlóaljnál az egyik század parancsnokának politikai helyettesévé nevezték ki. 1950. októbertől a Magyar Dolgozók Pártja öt hónapos pártiskoláján tanult, amelynek elvégzése után bekerült a pártközpontba: 1951. februártól a Központi Vezetőség Káderosztályának, 1952. augusztustól Adminisztratív Osztályának politikai munkatársaként dolgozott, 1954. márciusban az MDP központi székháza pártbizottságának függetlenített párttitkára lett.
1955. augusztustól a Szovjetunió Kommunista Pártja Központi Bizottsága hároméves pártfőiskolájának hallgatója volt. Az 1956-os forradalom idején Magyarországon tartózkodott, 1956. november–decemberben a Kádár-kormány védelmét ellátó parlamenti őrség helyettes parancsnokaként, 1957. januárban az Országos Rendőr-főkapitányság Elnöki Osztálya személyzeti vezetőjeként vett részt a „rendcsinálásban”, majd visszautazott Moszkvába. Tanulmányai befejezése után, 1958. júliusban a Magyar Szocialista Munkáspárt Központi Bizottsága Párt- és Tömegszervezetek Osztályára került, 1958. december 1-jén pedig rendőr alezredesi rangban a Belügyminisztérium Politikai Nyomozó Főosztálya Vizsgálati Osztályának (BM II/8. Osztály) élére állították. 1958 végére a forradalom utáni megtorló perek nagy része már lezárult, s Korom vezetésével kezdetét vette a vizsgálati osztály személyi állományának és szervezetének a „békeévekre” történő átállítása. 1959-ben az ELTE Állam- és Jogtudományi Karán doktori oklevelet szerzett. 1960. augusztus végén a BM Határőrség országos parancsnokává és határőr ezredessé nevezték ki. Az MSZMP VIII. kongresszusán (1962. november 20–24.) póttagként bekerült az MSZMP KB-ba. 1963. decemberben a KB rendes tagjává választották, s több fokkal feljebb lépve a ranglétrán, megkapta a fegyveres testületeket felügyelő adminisztratív KB-titkári posztot. A pártvezetésben a keményvonalasok között számon tartott Koromot 1966. decemberben az első sorból kivonva az igazságügy-miniszteri székbe ültették át, ahol 12 évig maradt.
1978. áprilisban a nyugdíjazott Biszku Béla addigi reszortjának egy részét átvéve ismét adminisztratív KB-titkár, 1980. márciusban, az MSZMP XII. kongresszusán a Politikai Bizottság tagja és egy ciklusra (öt évre) a KB mellett működő bizottságok közül a Testnevelési és Sport Bizottság elnöke, valamint az országgyűlési pártbizottság titkára lett. 1980. júniusban Bács-Kiskun megye 8. számú egyéni választókerületében (Kiskunfélegyháza) országgyűlési képviselővé választották. A XIII. kongresszuson (1985. március 25–28.), kimaradt a PB-ből, felmentették KB titkári megbízatása alól, s nyugállományba vonult. 1985- ben ismét képviselő lett, s 1988-ig az Országgyűlés Alkotmányjogi Tanácsának elnöke volt, 1988. decemberben tagként beválasztották a KB akkor megalakított Nemzetközi, Jogi és Közigazgatás-politikai Bizottságba. 1989. májusban, miután a Magyar Demokrata Fórum kiskunfélegyházi szervezete kezdeményezte képviselői székéből való visszahívását, lemondott mandátumáról és KB-tagságáról is.