Библиотека была открыта в 1922 году как Неофилологическая библиотека. В 1924 году её переименовали в Библиотеку иностранной литературы (БИЛ), она постепенно соединила в одном лице публичную, научную и учебную библиотеку и лекторий. В этом же году библиотека переехала из помещения в Денежном переулке в здание Исторического музея на Красной площади, а затем в перестроенное здание церкви Св. Бессребреников Косьмы и Дамиана в Столешниковом переулке.

В 1943—1949 годах читальные залы и научные отделы библиотеки размещались в особняке в Лопухинском переулке. В 1948 году она получила статус всесоюзной государственной и превратилась из БИЛ во ВГБИЛ, ей было поручено руководить формированием фондов иностранной литературы в публичных библиотеках страны и оказывать им методическую помощь.

В 1949 году библиотеке передали здание бывшей торговой конторы русского фабриканта и мецената Саввы Морозова на улице Разина (ныне Варварка), построенное, кстати, на фундаменте разрушенного Аглицкого подворья. Тогда библиотека получила от читателей ласковое прозвище «Разинка».

В 1967 году Библиотека переехала в здание на Ульяновской (ныне Николоямской) улице, специально построенное для неё по проекту, разработанному в архитектурной мастерской Д. Н. Чечулина. После распада СССР она из всесоюзной сделалась всероссийской, что, впрочем, не сказалось на аббревиатуре её названия.

Нынешняя Библиотека иностранной литературы — публичная библиотека широкого гуманитарного профиля, одновременно выполняющая миссию международного культурного центра.
Маргарита Ивановна Рудомино (1900—1990) — советский библиотекарь и библиотековед, основатель и директор (1922—1973) Библиотеки иностранной литературы (с 1991 года библиотека носит её имя).