Виктор Драгунский родился 1 декабря[1] 1913 года в Нью-Йорке, в еврейской семье. Его родители, эмигранты из Гомеля, прибыли в США и поселились в Бронксе незадолго до рождения сына. Отец Юда Фалькович Перцовский (1894—1918) и мать Рита Лейбовна Драгунская (1895—1967, родом из уездного городка Старобыхова Могилёвской губернии) поженились 26 февраля 1913 года ещё в Гомеле.[2][3][4] Не прижившись в Америке, в июле 1914 года семья вернулась в Гомель.
В 1918 году отец Виктора умер от тифа (по другим данным, погиб при невыясненных обстоятельствах). Отчимом стал ревком города Ипполит Иванович Войцехович, красный комиссар, погибший в 1920 году. В 1922 году появился другой отчим — актёр водевильного еврейского театра (труппы Клары Юнг) Менахем-Мендл Хаимович Рубин (1894—1962)[5][6], вместе с которым семья ездила в гастрольные поездки по стране. В 1925 году переехали в Москву, где Рубин с Ильёй Триллингом (1895—1947)[7] организовали собственную труппу. В дальнейшем Менахем Рубин оставил семью и стал режиссёром еврейского театра в Америке.
Виктор рано начал работать. В 1930 году, уже работая, он стал посещать «Литературно-театральные мастерские» А. Дикого. В 1935 году начал выступать как актёр в Театре транспорта (ныне Театр им. Н. В. Гоголя).
Одновременно Драгунский занимался литературной работой: писал фельетоны и юморески, придумывал интермедии, сценки, эстрадные монологи, цирковые клоунады. Сблизился с цирковыми артистами и даже какое-то время работал в цирке. Постепенно пришли роли. Он сыграл несколько ролей в кино.
С 1940 года публикует фельетоны и юмористические рассказы, позже собранные в сборник «Железный характер» (1960); пишет песни, интермедии, клоунады, сценки для эстрады и цирка.
Во время Великой Отечественной войны был в ополчении. В 1943 году от ран в госпитале у деревни Печки Людиновского района Калужской области погиб его сводный брат Леонид Михайлович Драгунский (Рубин) (1924—1943)[9]<span>[10]</span>