Po utracie dobytku,
rodzina Penning przeprowadziła się do Gdańska, gdzie przy Kohlengasse prowadziła gospodę.
W późnieszym okresie, przy Tischlergasse, otworzyli podobną działalność. Zamieszkali wówczas na ulicy Sandweg.
Z powodu braku oczekiwanych profitów, ojciec Eduard podjął decyzję o przeprowadzce do Wilna, gdzie przejął
małe gospodarstwo rolne w Besdanina. Równocześnie pracował jako murarz.
13 letni Georg pomagał rodzicom w trudnej sytuacji materialnej.
Razem z siostrą pracował przy obróbce drewna.
Niespełna 3 lata później, w 1887 r. rozpoczął on naukę zawodu szklarza u brata matki w Königsberg Unterkatenberg 19.
Gdy ukończył pierwszy rok nauki rodzice wrócili z Wilna do Niemiec.
Ciężka praca i życiowe niepowodzenia spowodowały ciężką chorobę ojca, który po roku umarł.
Dwa lata później odeszła matka. W wieku 18 lat Georg Pennig został sam. Miał on tylko
jeden cel, zostać malarzem.