Перед Великой Отечественной войной начал осуществляться второй этап по созданию Военно-Морской базы в Йоканьге, уже переименованной в Гремиху.
В 1940 году советское правительство решило для защиты коммуникаций на подходе к Белому морю в этих местах создать базу Северного Флота. Сюда были направлены первые строители. В этом же году здесь появились первые корабли Северного пограничного отряда.
22 июня 1941 года, в день начала Великой Отечественной войны, командующий Северным флотом контр-адмирал А.Г.Головко, подписал приказ о создании Йоканьгской Военно-морской базы. В состав базы тогда входили сторожевые суда рыболовецкого флота и катера. В распоряжение командира Йоканьгской ВМБ были переданы подводные лодки 3-го дивизиона бригады подводных лодок базы города Полярный. Была сформирована 14 местная стрелковая рота.
Задачей кораблей была охрана горла Белого моря от мыса Святой Нос до мыса Канин Нос от проникновения кораблей и подводных лодок противника, несение дозорной службы и конвоирование транспорта в своей зоне. Подводные лодки противника, ни разу за всю войну не заходили в Белое море, но в северной части горла появлялись постоянно. С конца 1941 года корабли Йоканьгской Военно-морской базы в своей зоне стали встречать и сопровождать корабли северных конвоев. За годы войны суда Йоканьгской ВМБ сопроводили 700 транспортов и доставили более 2 млн. тонн груза.
Корабли бросали якоря на рейде, потому что не было ни пирсов, ни причалов, ни жилья, ни электричества. На первом месте стояли, прежде всего, боевые задачи.
Летом 1942 года в Гремиху прибыла первая часть военных строителей. Строительный батальон численностью около 1000 человек, построил военные объекты, укрепления огневых точек, полевой аэродром.
Тогда же в Гремихе был построен водопровод, организованы ремонтные мастерские. В 1943 году база обзавелась собственным сухим доком. За годы войны здесь были обустроены несколько береговых батарей, надёжно прикрывавших базу с моря.
Местное население Гремихи внесло немалый вклад в борьбу с немецкими агрессорами. В первые же дни войны была создана рота народного ополчения. Саамы становились бойцами оленно транспортных отрядов. Бойцы на оленьих упряжках доставляли к линии фронта боеприпасы, горючее, продовольствие, эвакуировали раненых.