В начале Второй мировой войны большая часть еврейского населения г. Немиров осталась под немецкой оккупацией, поскольку германская армия стремительно наступала, а органы советской власти не проводили целенаправленной эвакуации еврейского населения. Немиров оказался в немецкой зоне оккупации Рейхскомиссариата Украина в отличие от большей части Винницкой области, вошедшей в состав Транснистрии, которая продолжалась с июля 1941 к марту 1944 гг.
Главной опорой формировавшейся немецкой оккупационной администрации в Немирове была айнзацкоманда 5 айнзацгруппы «С» СС, которая обеспечила окончательное решение еврейского вопроса, путём выявления и регистрации еврейского населения для последующего его массового уничтожения.
Нацисты с самого начала заставляли евреев выполнять работу в немецких воинских частях. Через месяц три боковые улицы были огорожены и создали гетто.
На протяжении трёх дней было изъято ценных вещей в счёт суммы 100 тысяч рублей. В сентябре месяце 1941 года было отобрано сначала всё нетрудоспособное еврейское население города Немиров 3460 человек, разбито на две группы и расстреляно в 0,5 км от г. Немирова, в яме бывшего кирпичного завода (в двух могилах).
7 ноября 1941 года прибыл в Немиров специальный отряд фашистов, окружил г. Немиров, собрал всё еврейское население, из которого были отобраны самые лучшие квалифицированные специалисты, а остальные в количестве 2860 человек на протяжении одних суток были отправлены в вышеуказанное место и расстреляны.
24 ноября 1941 года фашисты, заранее окружив гетто большими силами, вывели за город в район глинища и расстреляли более 8400 человек, стариков, женщин и детей.
В мае 1942 года в г. Немиров немецко-фашистские оккупанты привезли из румынской территории (по правую сторону реки Южный Буг) 1000 человек еврейского населения, которых тоже расстреляли. Кроме этого, был произведён расстрел 127 человек пленных, которые были истощены и не могли работать.
26-27 июня 1942 года евреев, выживших после массовых убийств, заставили зайти в местную синагогу, где нацисты расстреляли около 1500 из них и отправили часть молодых людей в рабочей лагерь.
8 мая 1943 года нацисты убили последних 250 заключённых лагеря, оставив только 360 еврейских квалифицированных ремесленников Немирова, которых расстреляли летом 1943 г.
Согласно проведённому 29-30 июля 1997 года исследованию имеющихся в г. Немиров массовых захоронений (commission survey numbers UA01320501 – 29.07.1997, UA01320502 – 29.07.1997, UA01320503 – 30.07.1997, UA01320504 – 30.07.1997), специалисты JPCU пришли к выводу: «В Немирове (Винницкая область) четыре братские могилы. Ни одна из них не охраняется, но все отмечены табличками с упоминанием Холокоста. Нацисты убивали жителей Немировского гетто в период с 1942 по 1944 год. Организованы индивидуальные экскурсии, частные посетители приходят туда, время от времени посещают местные жители. Власти очищают иногда некоторые могилы и работают над сохранением надгробий. В одной из могил к северу от Немирова, возле карьера, местные евреи каждый год в период с 1950 по 1980 год работали над восстановлением камней, присутствующих на этом месте. Ни один из объектов не подвёргся вандализму, но стены или заборы их не защищают» (Gruber, Samuel D., «Jewish Cemeteries, Synagogues, and Mass Grave Sites in Ukraine» (2005). Full list of publications from School of Architecture. Paper 94. http://surface.syr.edu/arc/94).
Фактически отсутствующая информация о существовании в г. Немиров еврейского кладбища, созданного в период 1941-1944 гг., ведёт к потери его особого исторического значения в развитии еврейства, а также общественной ценности как культурного, исторического и образовательного ресурса.