鉄道技師の父と教師である母の間にポーランド人として生まれる。
ロコソフスキーの誕生後、一家はロシア支配下のワルシャワに移住し、ロコソフスキーはここで育った。

ロシア帝国軍に入隊し第5竜騎兵連隊の騎兵として軍人としての道を歩み始める。第一次世界大戦では活躍が認められ聖ゲオルギー勲章が授与。

ロシア内戦では1917年に赤軍に入隊。この戦いで下士官から一気に連隊長まで昇進。この時戦功が認められ赤旗勲章を授与。

内戦後、将校としての教育を受けるためフルンゼ軍事アカデミーに進学。同期はジューコフやバグラミャン。またこの時、彼らの教壇に立ったのが縦深攻撃・防御思想、ソビエト連邦作戦術の父の一人ことミハイル・トハチェフスキーである。

1929年、第5クバン騎兵旅団司令官に就任。ソ連と中国の国境紛争「マンジョウリ・ジャライノール攻勢」に参加。騎兵部隊の機動性を活用し、敵の片翼包囲を成功させ勝利に貢献した。

その後師団司令官、軍団長とソ連赤軍のエリート軍人として順調に出世街道を歩み続ける。一時はジューコフの上官を務める事もあった。

赤軍大粛清で無実の罪で逮捕され、レニングラードの刑務所で拘留される。拘留期間に過酷な拷問を受けたが、虚偽の自白も身内を売ることもせず耐え抜き1940年、ジューコフとチモシェンコの嘆願により釈放。療養期間を経て軍務に復帰した。

独ソ戦時、機械化軍団長として戦闘。スターリングラード攻防戦ではパウルスとドイツ第6軍の逆包囲に成功し、第二次世界大戦全体の戦局を転換する勝利をもたらした。
1941年7月、敗走した歩兵師団と戦車師団をまとめロコソフスキー機動集団を編成し、スモレンスクの戦いに参加。最終局面でホト将軍の第3装甲軍に攻撃を加え成功包囲されていた第19軍10万人を救出。
1943年2月、中央戦線の司令官に任命。同年10月、白ロシア戦線司令官に任命。
続けて行われたドニエプル河攻勢で４つの作戦を指揮。中でも第二戦車軍を含めた複数の部隊を深夜の灯火管制の中で100キロ進むという電撃戦によりヴァイス将軍のドイツ第2軍を奇襲し敗走させる。この攻撃によりマンシュタインの南方軍集団・クルーゲの中央軍集団の連絡路が食い破られ、連携を不可能にした。
1944年6月、ロコソフスキーはソ連邦元帥に昇進第1白ロシア戦線の部隊は、ロガチェフ市を解放し、ドニエプル対岸に橋頭堡を確保した。その後、バグラチオン作戦に参加し、ミンスクを解放した。またこの時、破壊されたかつてのタンネンベルク戦勝記念碑の傍にコサック騎兵の一隊を整列させて、あの世にいるサムソノフへ静かな祝報を打った。
1944年11月、第2白ロシア戦線司令官となり、1945年始め、東プロイセン攻勢に参加。ラインハルト将軍率いる中央軍集団を壊滅させた後ベルリンの戦いに参加した。また、この時とある赤軍兵士がロコソフスキーの乗用車を知らず知らずに止めて煽るような態度で対応した所、中からカンカンに怒ったロコソフスキーが出てきたという話がある。

戦後はポーランド国防大臣に就任、その後は紆余曲折あり辞任しロシアに戻る。クレムリンで国防副大臣に就任するも、スターリン批判を進めるフルシチョフと対立し辞任。その後は表舞台から離れ、1968年8月3日、死去。遺体はソ連の要人の例に従い、モスクワの赤の広場のクレムリンの壁墓所に埋葬された。 著書に回想録「兵士の責務」（Солдатский долг）がある。

ロコソフスキーの性格は冷静ながら誠実、謙虚で静かな優しさを持つ性格と言われている。また、社交的で人付き合いもよく、浮気はした、その人柄から赤軍の将兵、果てはスターリンからも名+父称で呼ばれる程の敬意と信頼を受けた。

その一方で最前線に頻繁に赴き、状況を確認し将兵達と苦楽を共にしながら、大粛清の苛烈な尋問や拷問にも耐え抜いた彼の人格は、他のソ連の有名な人物に対する反動もあってか、未だに根強い人気を誇っている。

将官・指揮官の素質として見ても、独ソ戦を通じてでの攻守両方に優れ、縦深戦術理論を巧みに用いた戦い方や手堅い戦術、バグラチオン作戦の独創性・クルスクでの防御からの一転攻勢などを挙げ、高い評価を下す人々も多く
また、「第二次世界大戦での指折りの名将は誰か？」と聞かれた時、彼の名を挙げる人も多い。

また有名な逸話として、これを一つ乗せて置こう。

エフロシーニャ・ブレウス大尉という女性軍医が、ロコソフスキーの司令所を訪ねた。彼女は戦死した夫を故郷ベラルーシに送り届けたいと直談判しに来たのだ。最初は他の兵士の事情も考え特別扱いするわけにもいかず、憤慨し拒絶して送り返すも、再度直談判に来た彼女に説得され根負けしたロコソフスキーは、長く迷い続けた沈黙の後、彼女に静かながら尊敬の意を示し、願いを受け入れ、1機の特別な輸送機をチャーターした。