Престольный праздник 20 мая.
Расположен храм на окраине города, именуемой "Баилов мыс" и прилегающей к нефтепромышленному району "Биби-Эйбат".
Здание храма - каменное, двухпрестольное, в византийском, так называемом Тоновском, стиле, о пяти главах, из коих две с западной стороны служат колокольнями. Начата постройка храма в 1868 г. в присутствии в Бозе почившего генерал- адмирала Его Императорского Высочества Великого князя Алексия Александровича; 28 ноября 1871 г. освящен во имя Святителя Алексия, Митрополита Московского. Средствами к постройке послужили: деньги, отпущенные Морским министерством, и частью церковные суммы. В 1898 г. освящен в честь Рождества Пресвятой Богородицы придел с южной стороны храма. Вмещает храм до 1000 человек.
Среди многих дорогих и ценных священных икон и принадлежностей храма, - как предметы старины имеются:
В 1911 г. (ко дню Св. Пасхи) на пожертвованные причтом, чинами порта и флотилии и некоторыми прихожанами средства бронзо-вызолоченная одежда на Св. престол "во изъявление и к вящшему укреплению чувств любви и преданности Государю Императору и Его престола Наследнику"; по сторонам престола изображения: а) Моление о Чаше, б) Св. Крест,Бакинская портовая церковь. в) Св. Алексий, Митрополит Московский и г) Св. Николай Чудотворец; наверху гравированное изображение "Положение Иисуса Христа во гроб".
По штату при церкви положены: два священника и псаломщик. Для всего причта построены казенные квартиры.