Apja, Kiss György csizmadia volt, anyját Gubicza Irmának hívták. 1916-ban, a hat elemi kijárása után apja bevitte akkori munkahelyére, a kelenföldi hadfelszerelési gyár bakancs- és cipészüzemébe inasnak, ahol 1918 végéig dolgozott. 1922-ben cipész segédlevelet szerzett, a Korondi Cipőgyárban helyezkedett el, belépett a bőripari munkások szakszervezetébe és a Magyarországi Szociáldemokrata Pártba. 1923-tól az illegális Kommunisták Magyarországi Pártja tagja volt. 1925-ben részt vett a KMP legális szervezetének számító Magyarországi Szocialista Munkáspárt megszervezésében.
Politikai tevékenysége miatt a két világháború között közel 9 évet töltött börtönben. Először 1925 őszén – Rákosi Mátyással és Vas Zoltánnal együtt – tartóztatták le, és 1 év tíz hónap fogházra ítélték. 1927 júliusában szabadult, 1928 legelején bekerült a KMP északi kerületi bizottságába. 1929 júniusában ismét lefogták, 1930 decemberében jogerősen másfél év fogházat kapott, de az előzetesben töltött időt beszámítva szabadlábra helyezték. 1931. februárban a Kommunista Internacionálé Titkársága Fürst Sándorral együtt őt bízta meg a KMP magyarországi szervezetének kiépítésével, de 1931 nyarán a sorozatos lebukások miatt leváltották, és Moszkvába rendelték, ahol elvégezte a nemzetközi Lenin Iskolát. 1932 májusában részt vett a KMP Központi Bizottsága kibővített plénumán Bécsben, ahol kooptálták a testületbe. Hazatérését követően rögtön letartóztatták, és másfél év fogházra ítélték. Szabadulásakor szülőfaluját jelölték ki kényszerlakhelynek, mégis Budapesten maradt. Angyalföldön kapott munkát egy cipőgyárban, a párt konspirációs okokból minden kapcsolatot megszakított vele. 1941-ben hamis névhasználatért egy hónapi fogházra ítélték, Kistarcsára, onnan Nagykanizsára internálták, 1943 nyarán szabadult. Az ország német megszállása (1944. március 19.) után ismét internálták, 1944. szeptemberben tért vissza Budapestre, s Rajk László, akivel egy ideig együtt raboskodott, bevonta a KMP Központi Bizottságába. Visszaemlékezése szerint a nyilas uralom idején részt vett a kőbányai és ferencvárosi fegyveres ellenállási sejtek szervezésében.
1945. január 19-én a Magyar Kommunista Párt Budapesten megalakított első legális Központi Bizottságának tagja lett, február 22-étől, a debreceni és a budapesti vezetés egyesítésétől, a Központi Vezetőség Káderosztályát vezette. Az 1945. májusi országos pártértekezleten bekerült az akkor létrehozott Politikai Bizottságba. 1945. áprilisban Budapesten beválasztották az Ideiglenes Nemzetgyűlésbe, attól kezdve egészen 1967-ig parlamenti képviselő maradt, 1945–1949 között a fővárosi törvényhatósági bizottságnak is tagja, 1948-ban alelnöke volt. Az MKP III. kongresszusán (1946. szeptember 29–október 1.) kimaradt a PB-ből, felmentették a Káderosztály vezetése alól, ugyanakkor megtették a párt Központi Ellenőrző Bizottsága (KEB) elnökévé, amely tisztét az 1948. júniusban megalakult Magyar Dolgozók Pártjában is megtartotta egészen annak 1956. október végi feloszlatásáig.
Szőnyi Tibor letartóztatása miatt 1949. május végén ismét ő vette át a KV Káderosztályának irányítását, ahol egy évet töltött, majd az MDP KV 1950. májusi ülésén beválasztották a Szervező Bizottságba. 1951. április–november között Farkas Mihály és Kovács István mellett tagja volt annak a bizottságnak, amely a letartóztatott Kádár János, Donáth Ferenc és Kállai Gyula ügyében felügyelte a nyomozást. 1949. augusztus 23-ától az akkor életre hívott kollektív államfői testület, az Elnöki Tanács helyettes elnöke, 1951. május 12-étől külügyminiszter, 1952. november 14-étől a Minisztertanács elnökének helyettese volt. Az MDP KV 1953. június 27–28-i ülésén megszűnt a Szervező Bizottság, és kimaradt a PB- ből, július 4-én miniszterelnök-helyettesi pozícióját is elvesztette, egyedül a KEB-ben viselt elnöki tisztét tarthatta meg. Az 1956. júliusi 18–21-i KV-ülésen újra a PB tagjává választották. 1956. október 28-án az MDP irányítását átvevő hatfős pártelnökség tagja lett, a Magyar Szocialista Munkáspárt október 31-i megalakításakor már nem tartottak rá igényt.
1956. november 2-án a tököli szovjet katonai bázisra menekült, ahonnan Szolnokra vitték. November 7-én Kádár Jánossal és az ellenkormány több tagjával együtt szovjet harckocsin utazva tért vissza Budapestre. Tagja lett az MSZMP Ideiglenes Intéző Bizottságának, az Ideiglenes Központi Bizottságnak (1957. júniustól az örökükbe lépő PB- nek és KB-nak), valamint a Szervező Bizottságnak. Utóbbi vezetőjeként az ő feladata volt a vezető testületek üléseinek előkészítése, az adminisztráció és a pártszervezés irányítása. Az IKB 1957. február 26-i ülésén a megszüntetett Szervező Bizottság helyett ismét felállított Titkárság tagjává választották, hozzá tartozott a KEB, a Külügyi Osztály és a Pártgazdasági Osztály, valamint 1957. novemberi megszűnéséig a Káderosztály. Ezenkívül 1957. májustól ő felügyelte a Somogy, a Szolnok, a Tolna, a Vas és a Zala megyei, illetve 1959. decembertől a Szolnok megyei helyett a Baranya megyei pártbizo
ttságot. KB-titkári posztja mellett 1957. májustól az Elnöki Tanács tagja, 1958. novembertől 1961. októberig helyettes elnöke volt.
A kommunista párt hatalmának restaurációja után a vezetésen belül közismerten „balos”-ként számon tartott Kiss kiszorult a politika első vonalából. 1961. szeptemberben felmentették KB-titkári tisztéből, 1962. augusztusban, miután a személyi kultusz éveiben elkövetett törvénysértő perek egyik felelőseként a KEB-et is megnevezték, PB-tagságát is elveszítette. 1961. októbertől az Elnöki Tanács titkára volt. 1967. áprilisi nyugdíjazását követően a Szakszervezetek Országos Tanácsa, az Országos Béketanács, valamint 1970-től a Magyar Szolidaritási Bizottság alelnökeként is tevékenykedett.