Apja, Rosenfeld József terménykereskedő volt, anyja, Léderer Cecília a háztartást vezette, a szülők tizenkét gyereket neveltek. Apja ingadozó üzletmenete miatt több alkalommal lakhelyet változtattak: 1904-ben Sopronban kapták meg az értesítést, hogy kérelmükre a család összes tagjának vezetéknevét Rákosira magyarosították. Apja, egy bátyja és egy húga is náci koncentrációs táborban vesztette életét. Két, 1945-ben újra nevet változtató öccse közül Biró Zoltán 1948–1956 között a Magyar Dolgozók Pártja Központi Vezetőségének tagja, a KV osztályvezetője, illetve osztályvezető-helyettese, 1954–1956-ban a Pártfőiskola igazgatója, Biró Ferenc repülőgép-gépészmérnök, 1949–1960 között a Magyar Tudományos Akadémia levelező tagja, 1950-től 1956-ig kohó- és gépipari, illetve középgépipari miniszterhelyettes volt.
Az elemit 1898-ban az adai népiskolában kezdte, majd ugyanabban az évben Sopronban folytatta. 1902-ben a soproni III. számú reáliskola diákja lett. 1905-től a Szegedi Magyar Királyi Állami Főreáliskolában tanult, 1910-ben ott is érettségizett, közben 1907-ben néhány hónapig ismét soproni diák volt. A Királyi József Műegyetem vegyészmérnöki osztályán akart tovább tanulni, de családja anyagi helyzete ezt nem tette lehetővé, így 1910 őszén a budapesti Magyar Királyi Keleti Kereskedelmi Akadémia hallgatója lett. A kétéves képzés gyakorlati orientáltságot, kisebb tandíjat és egzisztenciális biztonságot jelentett. Német, török és francia nyelvet tanult, 1912-ben okleveles kereskedői képesítést szerzett. 1910-ben Szabadkán belépett a Magyarországi Szociáldemokrata Pártba. 1911 őszén néhány hónapon át a Galilei Kör egyik titkára volt, 1912 tavaszán társaival megalakította az ellenzéket támogató Országos Diákbizottságot.
1912-től a Kereskedelemügyi Minisztérium ösztöndíjának köszönhetően Hamburgban, 1913-tól Londonban gyakornokoskodott, a londoni magyar klubban nyomtatásban is megjelent előadást tartott a nemzetiségi elnyomásról. Röviddel az első világháború kitörése előtt hazatért, kézhez vette behívóját, s bevonult a 6. szabadkai honvéd gyalogezredhez. 1914. október végén a fővárosba került, a tartalékos tiszti iskola elvégzése után hadapród őrmesteri rangot kapott. 1915. februárban a keleti frontra vezényelték, áprilisban az Északkeleti- Kárpátokban alakulatával együtt orosz fogságba esett. Májusban előbb a szibériai Csitába, 1917-ben a mandzsúriai határ közelében fekvő Dauriába vitték. A táborban a Vörös Gárda szervezése érdekében agitált, felvette a kapcsolatot a bolsevikokkal. 1918 elején megszökött a fehérek által elfoglalt hadifogolytáborból, és sikerült eljutnia Szentpétervárra, ahonnan egy tiszti hadifogolycsere-akció keretében áprilisban tért vissza Magyarországra. Két hétig a zsolnai átmenőtáborban tartózkodott, májusban a Szabadkán élő családjához utazott, s az őszirózsás forradalom kitöréséig kiképzőtiszt volt az ott állomásozó honvéd gyalogezrednél.
1918 novemberében Budapestre ment, ahol tagja és aktivistája lett a hónap végén megalapított Kommunisták Magyarországi Pártjának. 1919. február 21-én, mint a párt vidéki titkárát, a teljes kommunista vezérkarral együtt őt is letartóztatták. Március 21-én, a Tanácsköztársaság kikiáltásakor szabadult, s az aznap megalakult Forradalmi Kormányzótanács legfiatalabb tagjaként kereskedelemügyi népbiztoshelyettes lett. Április 3- ától június 24-ig a szociális termelés öt népbiztosának egyike volt, közben politikai biztosként májusban az északi, a hónap végétől a déli fronton szolgált. Június végétől a Kormányzótanács Központi Ellenőrző Bizottsága és a Legfelsőbb Népgazdasági Tanács tagja volt, másodmagával megbízták a kerületi népgazdasági tanácsok és a gazdasági hivatalok megszervezésével, július 17-én a proletárdiktatúra karhatalmi szerve, a Vörös Őrség országos főparancsnokává nevezték ki.
1919. augusztus 2-án a tanácshatalom bukása miatt Ausztriába menekült, ahol internálták. 1920. április végén szabadon bocsátották, de egy május 1-jei nyilvános bécsi munkásgyűlésen elmondott beszéde miatt örökre kiutasították az országból. Moszkvába utazott, s 1920. július–augusztusban a KMP képviselőjeként részt vett a Kommunista Internacionálé (Komintern) II. kongresszusán. A következő két évben a kommunista világpárt megbízottjaként Németországban, Csehszlovákiában, Olaszországban és Franciaországban a Komintern intencióinak megfelelő kommunista pártokat szervezett, támogatta a radikális megmozdulásokat, szerepe volt több, a háború után újraalapított munkáspárt szétszakításában. 1921. júliusban a Komintern Végrehajtó Bizottságának egyik titkárává választották, 1922. novemberben a Titkárság póttagja és a Szervező Iroda rendes tagja lett. A magyar párt frakcióharcaiban Kun Béla nézeteivel értett egyet, ugyanakkor igyekezett kívülállónak mutatkozni.
1924. decemberben a KMP újjászervezése céljából titokban Magyarországra utazott. A párt Bécsben megtartott I. kongresszusán (1925. augusztus 18–22.) bekerült a Központi Bizottságba, és megbízták a magyarországi titkárság vezetésével.
Budapestre visszatérve szeptember 22-én letartóztatták, 1926. augusztus 4-én nyolc és fél év fegyházra ítélték. Vácott, majd 1930-tól a szegedi Csillag börtönben raboskodott. Büntetése lejártakor, 1934. májusban a Tanácsköztársaság alatti tevékenységéért ismét perbe fogták, és 1935. február 8- án életfogytiglani fegyházra ítélték. A bírósági eljárások elleni tiltakozásul szervezett nemzetközi akciók révén az egyik legismertebb magyar kommunista politikussá vált. 1935. augusztusban távollétében ismét a Komintern VB tagja lett (1941. június 22-ig). 1940. október 30-án az 1849-ben a cári csapatok által zsákmányolt honvédzászlókért cserébe szabadon bocsátották, s a Szovjetunióba távozhatott. 1940. november 2-án a börtönből vele egy időben kiengedett Vas Zoltánnal együtt Uzsoknál lépték át az akkori magyar–szovjet határt. Moszkvába érkezése után a börtönévei alatt szerzett tekintélye révén a sztálini terror miatt megfogyatkozó magyar kommunista emigráció első számú vezetője lett, ő képviselte a KMP-t a Kominternben, annak 1943. júniusi feloszlatása után pedig a KMP Külföldi Bizottságát irányította. 1944 folyamán elnökletével dolgozták ki a háború utáni Magyarország átalakítására vonatkozó kommunista programokat.
1944. decemberben Szegeden távollétében az Ideiglenes Nemzetgyűlés tagjává választották. 1945. január 30-án érkezett Moszkvából Debrecenbe, az Ideiglenes Nemzeti Kormány székhelyére. 1945. február 22-én Budapestre utazott, ahol egyesítették a volt emigránsokból álló debreceni központi vezetőséget és a budapesti központi bizottságot, s megválasztották a Magyar Kommunista Párt főtitkárává. Az 1945. május 20–21-én rendezett első országos pártértekezleten a párt aktuális programja szerint, amely a proletárdiktatúrába való békés átnövést hirdette, élesen fellépett az azonnali hatalomváltást szorgalmazókkal szemben. 1945. szeptembertől az Ideiglenes Nemzetgyűlés Politikai Bizottságának a tagja volt, ugyancsak ő képviselte a kommunista pártot az államfőt helyettesítő háromtagú Nemzeti Főtanácsban is.
Az MKP számára kudarcot jelentő 1945. november 4-i választások után a szovjet nyomásra megkötött pártközi megállapodás miatt november 15-én ismét koalíciós kormány alakult, amelyben miniszterelnök-helyettesi és államminiszteri posztot kapott. (E tisztségét 1949. szeptember 5-ig töltötte be, azután a Minisztertanács elnökhelyettese volt.) Célja attól kezdve a legnagyobb párt, a Független Kisgazdapárt meggyengítése és politikai ellenfeleinek a közéletből való kiszorítása lett. Ebben segítségére volt a megszálló szovjet hadsereg, az irányítása alatt álló politikai rendőrség, illetve a kommunista vezetésű Belügyminisztérium. 1947 nyarára befejeződött az FKGP politikai, adminisztratív és törvénytelen eszközökkel (a konstruált „köztársaság-ellenes összeesküvési” ügy) végbevitt feldarabolása, amelynek végén sikerült Nagy Ferenc miniszterelnököt emigrációba kényszerítenie. Az 1947. augusztus 31-re kiírt választásokon a pártok közötti versengésből törvénytelen eszközt is igénybe véve (kékcédulás választási csalás) az MKP került ki a legerősebb pártként.
1947. szeptemberben a Kommunista és Munkáspártok Tájékoztató Irodája alakuló ülésén elfogadott határozat nyomán a szovjet érdekszférába tartozó közép- és kelet-európai országokban felgyorsult a kommunista pártok teljes hatalomátvételének folyamata és a többpártrendszer felszámolása. Ennek következő lépéseként Rákosi napirendre tűzte a Szociáldemokrata Párttal való egyesülést, ami valójában munkásegység címén a szociáldemokrácia felszámolását jelentette. A fúzióra 1948. júniusban került sor, Rákosi attól kezdve a Magyar Dolgozók Pártja főtitkára volt, 1950-től – a testület 1953. évi feloszlatásáig – a KV Szervező Bizottsága elnökeként is funkcionált. 1949. februárban ő lett a többpártrendszer maradványainak felszámolására megalakított Magyar Függetlenségi Népfront elnöke is.
1949-re a törvénytelen eljárások elérték a kommunista párt legfelső vezetését. A szeptemberi Rajk-per, a volt belügyminiszter minden valóságalapot nélkülöző elítéltetése és kivégzése nyomán nemcsak a pártot, hanem az egész társadalmat elöntötte az „éberség” szellemében az ellenségkeresés, a továbbra is a Rákosi irányítása alatt álló politikai rendőrség által bevezetett tömeges terror. (Az Államvédelmi Hatóság 1951–1953 között szervezetileg is az ő felügyelete alatt állt.) Politikai döntéseinek egyik mozgatórugója az volt, hogy érezte Sztálin ellenszenvét, és igyekezett a szovjet diktátor valós vagy vélt elvárásait túlteljesíteni. 1950-ben az első ötéves terv elindításával, valamint a tanácsrendszer kialakításával megvalósult a proletárdiktatúra szovjet modellje. Legfőbb szövetségeseivel, a szintén volt moszkvai emigráns Gerő Ernővel és Farkas Mihállyal együtt 1950-ben életre hívták az MDP vezető testületei előtt is titokban tartott Honvédelmi Bizottságot.
Az „egyre éleződő osztályharc” következő állomásaként 1950-ben a volt baloldali szociáldemokrata politikusok, majd 1951-ben a volt hazai kommunisták es
tek a törvénytelenségek áldozatául. Rákosi a diktatúra kiépítésében a szovjet mintát másolta, a sztálini doktrínának megfelelően készült az elkerülhetetlennek tartott újabb világháborúra. Ezt is szolgálta a túlfeszített iparosítási program, valamint a mezőgazdaság erőszakos kollektivizálása. A realitásokat figyelembe nem vevő gazdaságpolitikája a háború utáni stabilizáció eredményeit megsemmisítette, az áru- és élelmiszerhiány miatt 1951-ben újra be kellett vezetni a jegyrendszert. A propagandagépezet által gerjesztett személyi kultusza ugyanakkor töretlenül nőtt, 60. születésnapját számos kiadvány és többhetes ünnepségsorozat köszöntötte. 1952. augusztus 14-én a Minisztertanács elnökének posztját is átvette.
Sztálin halála után a szovjet pártvezetés a kelet-európai csatlós államok közül előbb az NDK-ban, majd Magyarországon is korrekciókba fogott, ez együtt járt Rákosi hatalmának korlátozásával. 1953. június 13-ára Moszkvába rendelték, ahol a küldöttség többi tagjának jelenlétében élesen bírálták. A szovjet pártelnökség utasítása nyomán az MDP KV 1953. június 27–28-i ülésén önkritikára kényszerült, főtitkári címét első titkárra változtatták, július 4-én a kormányfői tisztet Nagy Imrének kellett átadnia. Ugyanakkor elérte, hogy a politikáját elítélő párthatározat nem került nyilvánosságra. Ettől kezdve hatalma visszaszerzésén munkálkodott, szembehelyezkedve Nagy Imre törekvéseivel. Gyógykezelés címén többször is hetekre a Szovjetunióba utazott, ahol fokozatosan sikerült a maga oldalára állítania a szovjet párt vezetőit. Az MDP KV 1955. március 2–4. között tartott ülésén a miniszterelnök „jobboldali elhajló” politikáját elítélő határozatot fogadtatott el, majd április közepén kizáratta Nagyot a PB-ből és a KV-ból, s leváltatta kormányfői posztjáról.
Korábbi teljhatalmát azonban már nem sikerült visszaállítania. A szovjet pártvezetés 1955. májusban rendezte a viszonyt Jugoszláviával, ami után Magyarországon is felmerült Rákosi szerepe a jugoszláv–magyar viszony kiélezésében, amelynek fontos eleme volt 1949- ben a Rajk-per. A Nagy Imre-kormány idején elkezdett rehabilitálásokat hátráltatta, a Szovjetunió Kommunista Pártja 1956. februári, XX. kongresszusa után azonban egyre többször hangoztatták felelősségét a törvénysértő eljárásokban. Rákosi igyekezett mindent az ÁVH már bebörtönzött vezetőjére, Péter Gáborra és Farkasra hárítani, de 1956. május 18-án egy budapesti pártaktíván kénytelen volt elismerni személyes felelősségét a Rajk-ügyben. A KV 1956. július 18-i rendkívüli ülésén – a szovjet pártvezetést képviselő Mikojan kezdeményezésére – felmentették első titkári tisztségéből és PB-tagsága alól. Július 22-én – a hivatalos indoklás szerint gyógykezeltetésre – a Szovjetunióba utazott.
Az 1956-os forradalom és szabadságharc idején a szovjet politikusok folyamatosan konzultáltak vele, de 1957 tavaszára a magyar párt élére állított Kádár János megszilárdította hatalmát, s ezzel Rákosi végleg háttérbe szorult. Még átigazolták a Magyar Szocialista Munkáspártba, de 1957. május 9-én az Országgyűlés megfosztotta 1944 decembere óta folyamatos parlamenti mandátumától és az Elnöki Tanácsban 1955. szeptemberben kapott tagságától. 1957 augusztusában a szovjet vezetés a Fekete-tenger melletti Krasznodart jelölte ki lakóhelyéül. 1960. novemberben felfüggesztették párttagságát, 1962. augusztus 15-én a törvénysértésekben viselt felelőssége miatt kizárták az MSZMP-ből. 1962. szeptembertől egy kirgiz kisváros, Tokmak volt száműzetésének színhelye. 1966. októberben költözhetett Arzamaszba, onnan 1967 őszén Gorkijba, a mai Nyizsnyij Novgorodba. Az MSZMP PB az 1960–1970-es évek fordulóján több ízben foglalkozott hazatelepedési kérelmével, de a politikai tevékenységtől való eltiltást és a házi őrizetet elutasította, így repatriálása meghiúsult. Hamvait a Farkasréti temetőben helyezték el.