Библиотека основана в 1922 году, официальное открытие состоялось 23 мая 1923 года. Основу фондов библиотеки составляли собрания Бакинского отделения Императорского технического общества и Бакинского общественного собрания.

В 1939-м библиотеке присвоены статус республиканской и имя великого азербайджанского просветителя, драматурга и мыслителя Мирзы Фатали Ахундова.

С 1960 года библиотека располагается в здании, построенном по проекту Микаэля Алескеровича Усейнова.

В 2004 году по постановлению Кабинета министров библиотеке был присвоен статус национальной библиотеки.

Национальная библиотека в соответствии с политикой Азербайджанской Республики по библиотечному делу собирает и сохраняет национальные издания, произведения Азербайджанских авторов и литературу об Азербайджане, изданную за рубежом. В соответствии с законом «О библиотечной работе» и «Об издательской работе» в Национальную библиотеку поступают обязательные бесплатные экземпляры всех опубликованных в республике изданий.

Среди редких книг: первая книга на азербайджанском языке (1779), иностранные издания XVI—XVIII вв.еков, в том числе эльзевиры, книги и периодические издания, начиная с 1631 года, русские издания преимущественно до 1850 года, периодические издания на русском языке XVIII и начала XX века.
Национальная библиотека является ведущим научно-методическим центром Азербайджана по библиотековедению, библиографоведению и книговедению, оказывает комплексные услуги читателям по получению необходимой информации, осуществляет функции межбиблиотечного абонемента, международного и внутреннего депозитарного центра.

Специализированный отдел иностранной литературы с 2005 года начал вновь осуществлять международный книгообмен, наладил связи с 60 библиотеками мира.