Первый герб Николаева разработан по приказу императора Александра І и утвержден им в 1803 году (напомним, что сам город был основан в 1789 году). На щите, разделенном на три треугольных зоны, в черном треугольнике посередине был изображен золотой лучащийся крест над серебряной кадильницей. В левом голубом треугольнике располагалась архиерейская митра, и в правом треугольнике на золотом фоне – посох. Именно митра и посох ассоциируются со Святым Николаем. Крест и кадило олицетворяют торжество христианства на землях, которые не так давно были отвоеваны у мусульманской Турции. Сверху герб был увенчан золотой короной, обозначающей статус Николаева как губернии, и вокруг герба струилась красная Александровская лента.
Однако в 1883 году герб Николаева меняется в связи с произошедшей реформой геральдической службы России. К этому времени город расцвел, преобразился и превратился в крупнейший центр кораблестроения в России, а также стал крупным портом и оплотом Черноморского флота. Эти особенности легли в основу нового герба города. На лазурном щите во главе красовалась золотая мирта на двух перекрещенных посохах (к посоху Св. Николая добавился посох Св. Григория), а внизу на волнах – золотой корабль с черными веслами. Сверху щит украшала серебряная трезубчатая башня в виде короны, окруженная двумя якорями, перевязанными Александровской лентой. В верхнем левом углу располагался герб Херсонской губернии, в состав которой в то время входил Николаев.
В советское время этот богатый герб с христианской символикой был упразднен как пережиток прошлого, и в 1969 году был разработан новый герб Николаева в крайне скромном исполнении. На красно-синем фоне гордый серебряный парусник, напоминающий очертаниями фрегат «Св. Николай» (первое судно, построенное в Николаеве), возвышался над половиной золотой шестерни. Верхний левый угол занимали непременные атрибуты советской власти: серп и молот золотого цвета. В таком виде этот геральдический символ просуществовал до 1997 года, когда 26 сентября на сессии городского совета со всей торжественностью был утвержден новый герб города.
Современный герб Николаева – копия изображения второго герба образца 1883 года, из которого изъят герб Херсонской губернии.