Sinh năm 1905 trong một gia đình người Cozak ở Kamenskaya thuộc Đế quốc Nga. Bố của ông là một nông dân Cozak, còn mẹ ông xuất thân từ một gia đình nông dân người Ukraina đã từng có một đời chồng. Sholokhov đi học tại các trường phổ thông ở Kargin, Moskva, Boguchar và Veshenskaya đến năm 1918 thì tham gia Hồng quân chiến đấu trong Nội chiến Nga. Khi đó Sholokhov mới 13 tuổi.
Sholokhov bắt đầu sáng tác ở tuổi 17. Ông cho ra đời tác phẩm đầu tiên, truyện ngắn Cái bớt năm 19 tuổi. Năm 1922 Sholokhov chuyển tới thủ đô Moskva với hy vọng trở thành một nhà báo. Trong thời gian đầu ở thủ đô, ông phải kiếm sống bằng những công việc chân tay như công nhân bốc vác, thợ xây và nhân viên kế toán từ năm 1922 đến 1924 trong khi vẫn cố gắng tham gia các lớp học ngắn hạn dành cho các nhà văn trẻ.
Năm 1924 Sholokhov trở về Veshenskaya và bắt đầu tập trung hoàn toàn vào việc sáng tác. Cùng năm này, ông cưới cô Maria Petrovna Gromoslavskaia, hai người sau đó đã có hai người con trai và hai người con gái. Hai năm sau, Sholokhov cho xuất bản tập truyện ngắn Những câu chuyện sông Đông (Donskie Rasskazy) viết về cuộc sống của những người Cozak quê hương ông trong giai đoạn Thế chiến thứ nhất và Nội chiến Nga. Cũng trong năm 1926, nhà văn bắt đầu viết những dòng đầu tiên của bộ tiểu thuyết sử thi Sông Đông êm đềm (Tikhii Don). Bộ tiểu thuyết về cuộc sống của những người Cozak này đã được ông viết ròng rã trong gần 14 năm với 4 tập. Tác phẩm đã trở thành một trong những tiểu thuyết của Văn học Xô viết phổ biến nhất và đã đem lại cho tác giả của nó Giải Nobel Văn học năm 1965. Khi bắt đầu viết tác phẩm đồ sộ này, Sholokhov mới 21 tuổi, vì vậy Sông Đông êm đềm trong nhiều năm đã bị nghi là đạo văn và còn bị đề nghị cắt bớt đi một số đoạn bị coi là "không phù hợp" vào thời bấy giờ. Nhưng nhờ có sự ủng hộ của các nhà văn lão thành như Maxim Gorky và cả của Stalin, tác phẩm mới được in và phát hành rộng rãi, đồng thời đưa nhà văn trẻ trở thành một trong những đại diện xuất sắc nhất của dòng văn học hiện thực xã hội chủ nghĩa[1][2]. Sau này một số ủy ban đã được thành lập với nhiệm vụ điều tra xem "Sông Đông êm đềm" có phải là một tác phẩm đạo văn không và họ đều đi đến kết luận là tác phẩm này đích thực là của Sholokhov, nhất là khi bản thảo tác phẩm được tìm thấy năm 1999[1][2].
Năm 1925, Sholokhov bắt tay vào viết tập đầu tiên của một bộ tiểu thuyết đồ sộ khác, bộ Đất vỡ hoang (Podnyataya Tselina) phản ánh phong trào tập thể hóa nông nghiệp ở nông thôn Nga. Bộ tiểu thuyết đã phải mất gần 30 năm mới hoàn thành đủ hai tập khi bản thảo của tác giả bị thiêu hủy trong thời gian Chiến tranh giữ nước vĩ đại. Đất vỡ hoang đã được trao Giải thưởng Lênin, giải thưởng cao nhất dành cho lĩnh vực Văn học - Nghệ thuật của Liên Xô.
Mikhail Sholokhov ra nhập Đảng Bolshevik năm 1932 và đến năm 1937 ông được bầu vào Xô viết Tối cao Liên Xô. Năm 1939 nhà văn được bầu làm Viện sĩ Viện Hàm lâm Khoa học Xô viết và một thời gian sau là Phó chủ tịch Hội nhà văn Xô viết.
Sau chiến tranh, năm 1956 Sholokhov tiếp tục đề tài chiến tranh khi cho ra đời tác phẩm nổi tiếng Số phận một con người (Sudba Cheloveka) với câu hỏi lớn: "Liệu nhân loại có thể vượt qua thương tổn do chủ nghĩa phát xít gây nên để xây dựng cuộc sống yên bình hay không". Đây là tiểu thuyết xuất sắc của Sholokhov đã được chuyển thể thành tác phẩm điện ảnh của đạo diễn Sergei Bondarchuk với chính Bondarchuk thủ vai chính, tác phẩm cũng được đưa vào nhà trường phổ thông để giảng dạy.
Năm 1966 tiểu thuyết Sông Đông êm đềm cũng được chuyển thể thành bộ phim cùng tên của đạo diễn Sergei Gerasimov. Một năm sau đó nhà văn được phong danh hiệu Anh hùng Lao động Xã hội chủ nghĩa.
Mikhail Sholokhov mất tại Moskva ngày 21 tháng 2 năm 1984 ở tuổi 79.
Tác phẩm
Những câu chuyện sông Đông (Donskie Rasskazy) (1925, tập truyện ngắn)
Thảo nguyên xanh (Lazurevaja Step) (1926, tập truyện ngắn)
Sông Đông êm đềm (Tikhii Don) (1928-1940, tiểu thuyết 4 tập)
Đất vỡ hoang (Podnyataya Tselina) (1932-1960, tiểu thuyết 2 tập)
Họ đã chiến đấu vì Tổ quốc (Oni Srazhalis Za Rodinu) (1942, phần đầu tiểu thuyết)
Khoa học căm thù (Nauka Nenavisti) (1942, tập truyện ngắn)
Slovo O Rodine (1951)
Số phận một con người (Sudba Cheloveka) (1956-1957, tiểu thuyết)
Sobranie Sochinenii (1956-1958, tuyển tập các tác phẩm gồm 8 tập)
Họ đã chiến đấu vì Tổ quốc (Oni Srazhalis Za Rodinu) (1959, phần tiếp theo)
Po Veleniju Duši (1970)