Родился 3 [15] июня 1882, в казачьей семье, на хуторе Шарпаевка Яновской волости Донецкого округа Области Войска Донского (современный Тарасовский район Ростовской области). Так как Греков родился не в законном браке, то долгое время носил фамилию венчанного мужа своей матери Мартыщенко и отчество крестного – Павлович. И только в 1911 г. он получил фамилию и отчество своего родного отца – знатного казака Бориса Грекова. Окончив Каменское училище, он в 15 лет поступил в Одесское художественное училище, где учился у Кириака Костанди, затем через 5 лет поступил по рекомендации в Петербургскую академию художеств, где обучался у И. Репина и Ф. А. Рубо — классика батального жанра. Во время учёбы работал вместе с Рубо над панорамами «Оборона Севастополя» и «Бородинская битва». В 1911 году пишет дипломную картину на сюжет из казачьего быта «Волы в плугу» и удостаивается звания художника. В 1912 году, отбывая годичную воинскую повинность в Лейб-гвардии Атаманском полку, Греков сделал множество зарисовок, отражающих уникальность и самобытность Кирасирского, Павловского и Гренадерского полков. Всю Первую мировую войну он служит конным ординарцем в казачьей сотне на германском фронте, откуда привёз множество зарисовок. Во время знаменитого Брусиловского прорыва, оказавшись в самой гуще сражения, Греков делал наброски прямо с двуколки, собирая материал для будущих батальных полотен. В результате тяжёлого ранения и проблем со здоровьем весной 1917 году был демобилизован и вернулся в Новочеркасск. До прихода Красной Армии писал работы, прославляющие казаков Войска Донского, среди них выполненный по фотографии портрет генерала Каледина - первого после петровских времен выборного атамана Войска Донского, картина «Корниловцы на привале» и монументальное полотно «Смерть Корнилова» (не сохранилось). В начале 1920 г. донской атаман Богаевский предлагал художнику эвакуироваться за границу, но Митрофан Борисович ответил: «Эмигрантом быть не хочу и родину свою не покину». После прихода в 1920 году Красной Армии, записался в неё добровольцем, где ему поручают руководить изокружком на военных курсах. В это время происходит его встреча с Климом Ворошиловым, с которым он поделился планами по созданию цикла картин “Гражданская война” и получил поддержку командования. В 1920-е годы много времени проводил в поездках в Конармию Буденного, что в последствии помогло создать выдающиеся батальные полотна «В отряд к Буденному» (1923), «Тачанка» (1925), «На привале», «На походе. Первая конная» (1927), «Бегство белых из Новочеркасска в 1920 году», «Комбриг ведет в атаку», «Бой за Ростов у села Генеральский Мост», «Бой за Ростов под Большими Салами» (1926). В 1927 году в Новочеркасске прошла первая персональная выставка Митрофана Грекова. В 1929 г. Греков создал первую советскую диораму «Взятие Ростова», посвященную событиям Гражданской войны. К сожалению, работа погибла в годы Великой Отечественной войны. В 1930 году стал членом Ассоциации художников революционной России (АХРР). В 1931 году переехал в Москву. Умер 27 ноября 1934 года в Севастополе, работая над панорамой «Штурм Перекопа».
В начале 1930-х гг. Митрофан Борисович начал работать над грандиозной картиной «Перекоп», состоявшей из четырех диорам. Она должна была стать монументальным произведением советского художественного искусства. Однако во время предварительных зарисовок в Крыму художника нежданно постиг сердечный приступ. 27 ноября 1934 года его не стало. В память о своём друге народный комиссар обороны СССР Климент Ефремович Ворошилов приказал организовать в Особой отдельной кавалерийской бригаде имени Сталина изобразительную мастерскую самодеятельного красноармейского искусства имени М.Б. Грекова. Она и положила начало в будущем знаменитой одноимённой студии военных художников. Именем М. Б. Грекова были названы Ростовское и Одесское художественные училища.
В Новочеркасске работает Дом-музей М. Б. Грекова. Работы художника хранятся в коллекциях Дома-музея, Государственной Третьяковской галереи, Центрального музея Вооруженных Сил Российской Федерации, Центрального военно-исторического музея артиллерии инженерных войск и войск связи