Anyja, Lőwy Janka házicseléd, majd mosónő volt, apját nem ismerte. Eredetileg Lőwy Hermannak hívták. Mozgalmi fedőneve Michail Wolf volt, a Farkas Mihályt 1941-től használta. Idősebbik fia, Farkas Vladimir 1946–1955 között a politikai rendőrségnél szolgált, 1951-től államvédelmi alezredesi rangban. 1956. októbertől 1960. áprilisig a törvénysértésekben játszott szerepe miatt börtönbüntetését töltötte.
A polgári iskolát Kassán járta ki, majd ugyanott nyomdásztanonc lett, felszabadulása után nyomdai gépmesterként dolgozott. 1919-ben belépett a kassai szocialista ifjúmunkások csoportjába – amelynek titkárává is megválasztották –, majd 1921-ben az akkor megalakult Csehszlovákia Kommunista Pártjába. 1924-től, mint hivatásos pártmunkás, a CSKP kelet- szlovákiai ifjúsági szervezetének titkáraként tevékenykedett. 1925-ben hat és fél év börtönbüntetésre ítélték. 1929-es szabadulását követően előbb Prágában a csehszlovák kommunista ifjúsági mozgalom egyik vezetője volt, majd Moszkvába került a Kommunista Ifjúmunkás Internacionáléhoz (KII). 1932 nyarán a KII Berlinbe küldte, ahol a szervezet nyugat-európai irodájának egyik vezetőjeként dolgozott. Hitler hatalomra kerülése után 1933 tavaszától Belgiumban, Hollandiában és Franciaországban folytatta tevékenységét. 1935 májusában visszatért Moszkvába, a KII egyik titkára, a végrehajtó bizottság tagja és a szervezet elnökségének póttagja lett. 1936–1937-ben a polgárháborús Spanyolországban az „antifasiszta ifjúsági mozgalmat” szervezte. 1937-től a Komintern 1943. évi feloszlatásáig újra a KII apparátusában dolgozott. 1941-ben, Rákosi Mátyás Moszkvába érkezését követően a CSKP-ből átigazolt a Kommunisták Magyarországi Pártjába. A világháború éveiben a hadifogolytáborokban antifasiszta propagandaiskolákat szervezett, valamint a magyar nyelven sugárzó moszkvai Kossuth Rádió munkatársa volt. 1944 tavaszán bekerült az emigráns kommunisták vezető testületébe, a Külföldi Bizottságba.
1944. november 5-én Gerő Ernővel, Révai Józseffel és Nagy Imrével együtt érkezett a Vörös Hadsereg által megszállt Szegedre, ahol november 7-én megalakították a Magyar Kommunista Párt Központi Vezetőségét, amely a német uralom alól felszabadított országrészen irányította a pártszervezést, és részt vett a háború utáni kibontakozás előkészítésében. A KV tagjaival 1944. december 13-án Debrecenbe költözött, beválasztották az Ideiglenes Nemzetgyűlésbe. A pártvezetésen belül 1944/1945 fordulóján a szakszervezeti, a falusi pártmunka, az ifjúsági szervezés, majd a katonai, karhatalmi és a pártgazdasági ügyek felügyeletével bízták meg. Az MKP 1945. májusi országos értekezletén bekerült a KV Titkárságába és az akkor felállított Politikai Bizottságba. 1945. júliustól novemberig az Ideiglenes Nemzeti Kormányban Erdei Ferenc miniszter mellett a Belügyminisztérium politikai államtitkára volt. Az MKP KV 1945. novemberi ülésén Rajk Lászlóval együtt a párt főtitkárhelyettesévé választották. Számos kulcsterület, többek között a szervezés, a káderügyek, a gazdasági és információs osztály, valamint a rendőrség és a hadsereg felügyelete tartozott a hatáskörébe. 1946. októberben a párt III. kongresszusát követően életre hívott Szervező Bizottság vezetője lett.
1948 márciusában megbízták a szociáldemokratákkal való fúziót előkészítő pártközi bizottság vezetésével, az 1948. júniusban megalakult Magyar Dolgozók Pártjában minden addigi tisztségét megtartotta. 1948. szeptemberben mindenféle katonai előképzettség nélkül altábornagyi rangban honvédelmi miniszterré nevezték ki, 1949. áprilisban vezérezredessé léptették elő, 1952. novemberben pedig megkapta az akkori legmagasabb katonai rendfokozatot, a hadseregtábornokit. Nevéhez köthető a szovjet mintájú tömeghadsereg kialakítása, a régi tisztikar képzetlen munkáskáderekre cserélése, vagyis a Magyar Honvédség Magyar Néphadsereggé szervezése. Rákosi mellett egyik irányítója volt a törvénysértő hatalmi intézkedéseknek, beleértve a koncepciós polgári és katonai pereket is. Kiemelkedő szerepet játszott a Rajk-perben, az elsőrendű vádlott személyes meggyőzésében. 1950. november 15-én Rákosival és Gerő Ernővel együtt megalakították a titkos Honvédelmi Bizottságot, ez volt az úgynevezett trojka, amely minden párt- és állami ellenőrzés nélkül hozta meg az alapvető döntéseket.
Az MDP KV 1953. június 27–28-i ülésén felmentették PB-tagsága és KV-titkári funkciója alól, július 4-én tárcája éléről is elmozdították. Miután legfőbb ellenfelét a Kremlben, Lavrentyij Beriját, aki eltávolítását kezdeményezte, július 9-én letartóztatták, augusztus 12-én szintén szovjet utasításra a PB-be és a KV Titkárságába is visszavették, szeptembertől ő felügyelte a KV adminisztratív, valamint agitációs és propagandaosztályát, 1954. májustól ezen kívül a Tudományos és Kulturális Osztályt, illetve a *Szabad Nép *szerkesztőségét, 1954. októbertől pedig utóbbi helyett a Honvédelmi Minisztérium katonai szakkérdéseivel foglalkozott. Az „új szakasz” idején, mivel úgy érzékelte, hogy Nagy Imre élvezi a szovjet vezetés
bizalmát, a kormányfő támogatójaként lépett fel. 1954 végén, Rákosi pozíciójának megerősödése után az első titkár oldalára állt, de már későn. A KV 1955. áprilisi plénumán kizárták a PB-ből és a Titkárságból, s szeptemberben Moszkvába küldték tanulni a Vorosilov Vezérkari Akadémiára. Kegyvesztettségében az is szerepet játszott, hogy Rákosi a törvénytelenségek felelősségét rá – és az ÁVH volt vezetőjére, a már börtönben ülő Péter Gáborra – igyekezett hárítani. 1956 tavaszán a KV határozata értelmében különbizottságot szerveztek a törvénysértésekben játszott szerepének kivizsgálására. Az elkészült jelentés alapján 1956. júliusban a KV-ból és a pártból kizárták, s honvéddé fokozták le, 1956. augusztusban megfosztották 1944 decembere óta folyamatos parlamenti mandátumától is. Október 13-án letartóztatták, bírósági felelősségre vonása a forradalom miatt húzódott. 1957. március 26-án első fokon hat, április 19-én másodfokon tizennégy év szabadságvesztésre ítélték. 1960. áprilisban egyéni kegyelemmel szabadult, s haláláig a Gondolat Kiadó lektoraként foglalkoztatták.