Родился в русской старообрядческой семье. Получил хорошее домашнее образование, в 1917 году в возрасте девяти лет был отдан в частную гимназию. С 1921 года жил вместе с матерью в Москве в Гончарной слободе в здании детского дома «Трудовая семья». В 1924 году окончил школу II ступени, в 1926 году поступил на историко-этнологический факультет МГУ, который окончил в 1930 году по специальности «историк-археолог». Университетскими наставниками Б. А. Рыбакова были академик Ю. В. Готье, профессора С. В. Бахрушин и В. А. Городцов. Работал в Александровском краеведческом музее и Архиве Октябрьской революции в Москве, затем в течение полугода служил курсантом в Красной Армии, в артиллерийском полку 1-й дивизии в Москве (офицер конной разведки).
В 1931 году стал старшим научным сотрудником ГИМ. В 1936—1940 и 1943—1950 годах — старший научный сотрудник ГАИМК (Институт истории материальной культуры АН СССР). Кандидат исторических наук (1939, степень присуждена за монографическое исследование «Радимичи»).
В ходе многолетней работы над собраниями музея Рыбаков подготовил фундаментальный труд «Ремесло Древней Руси», защищённый в 1942 году в качестве докторской диссертации в эвакуации в Ашхабаде, в 1948 году опубликованный отдельным изданием, а в 1949 году удостоенный Сталинской премии. Заведовал отделом раннего феодализма ГИМ (1943—1948) и сектором в Институте этнографии (1944—1946). В конце 1940-х — начале 1950-х годов участвовал в кампании против «безродных космополитов», опубликовав в научных журналах ряд статей о роли евреев и иудаизма в истории Хазарского каганата. В 1940-х годах руководил археологической практикой на историческом факультете МОПИ (ныне МГОУ). В 1951 году вступил в ВКП(б).
Член-корреспондент АН СССР с 23 октября 1953 года по Отделению исторических наук (археология), действительный член АН СССР с 20 июня 1958 года, заместитель академика-секретаря (1967—1973), и. о. академика-секретаря (1970—1971), академик-секретарь Отделения истории АН СССР (1974—1975).
Декан исторического факультета (1950—1952), проректор (1952—1954) МГУ. В 1951—1974 годах — заведующий сектором, в 1956—1987 годах — директор, с 1988 года — почётный директор Института истории материальной культуры (археологии) АН СССР; одновременно — директор Института истории СССР (1968—1970). В 1962—1969 годах — председатель Научного совета по координации работ в области славяноведения АН СССР, с 1966 года — председатель Музейного совета при Президиуме АН СССР. Входил в состав Бюро Национального комитета историков СССР и Исполнительного комитета Международного союза доисторических и протоисторических наук (с 1958 года), член Международного комитета славистов (с 1963 года), сопредседатель комиссии историков СССР и Польши; с 1946 года неоднократно представлял советскую историческую науку на Международных конгрессах. С 1958 года — президент общества «СССР — Греция».
Б. А. Рыбаков был крупным археологом. Его научная деятельность началась с раскопок вятических курганов в Подмосковье. Он проводил масштабные раскопки в Москве, Великом Новгороде, Звенигороде, Чернигове, Переяславле Русском, Белгороде Киевском, Тмутаракани, Путивле, Александрове и многих других местах. Им были целиком раскопаны древнерусские замки Любеч и Витичев, что дало возможность реконструировать облик небольшого древнерусского города. На этих раскопках учились «раскопочному ремеслу» сотни будущих историков и археологов. Многие ученики Рыбакова стали известными археологами, в частности С. А. Плетнёва, специалист по кочевым народам Степи, хазарам, печенегам и половцам.
Всю свою жизнь Рыбаков придерживался антинорманистских убеждений. По оценке Л. С. Клейна, он был «не просто патриотом, а несомненно, русским националистом… ультра-патриотом — он был склонен пылко преувеличивать истинные успехи и преимущества русского народа во всем, ставя его выше всех соседних».
К числу наиболее спорных построений Рыбакова относятся попытки произвести славян от скифов-пахарей, живших в Причерноморье ещё во времена «отца истории» Геродота (V век до н. э.). В монографии «Киевская Русь и русские княжества XII—XIII веков» (1982) он отнёс начало истории славян к XV веку до н. э.
Многие научные труды Рыбакова содержали фундаментальные выводы о жизни, быте и уровне социально-экономического и культурного развития населения Восточной Европы. Так, в работе «Ремесло Древней Руси» (1948) исследователю удалось проследить зарождение и этапы развития ремесленного производства у восточных славян с VI по XV века, а также выявить десятки ремесленных отраслей. Целью Рыбакова было показать, что домонгольская Русь не только не отставала в своём экономическом развитии от стран Западной Европы, как это утверждали ранее многие учёные, но и опережала эти страны по некоторым показателям.
В трудах «Язычество древних славян» (1981) и «Язычество Древней Руси» (1987) Б. А. Рыбаков фактически реконструировал дохристианские верования восточных славян, вызвав в свой адрес обвинения в фантастических спекуляциях и отсутствии единой методологии. К примеру, в образе Змея Горыныча академик видел смутное воспоминание славян о каком-то доисторическом животном, например, о мамонте.
Скончался Б. А. Рыбаков 27 декабря 2001 года. Похоронен в Москве, на Троекуровском кладбище.