Józef Chyliński urodził się 20 pażdziernika 1904 r. w Jabłonowie Pomorskim. Po zdaniu matury ukończył Szkołę Podchorązych Piechoty w Komorowie koło Ostrowi Mazowieckiej. Pózniej , z bardzo dobrą opinią, został wyznaczony na dowódcę plutonu 3. Kompanii Strzeleckiej w 8. Pułku Piechoty Wielkopolskiej w Poznaniu. W 1930 r. zdobył puchar za zajecie drugiego miejsca w pięcioboju nowoczesnym w zawodach, które odbyły się w dowództwie Okręgu Korpusu VII w Poznaniu. Po odbyciu rocznego kursu oficerskiego w Centralnym Instytucie Wychowania Fizycznego, od września 1933 r. do 1935 r. był dowódcą 1. Kompanii Strzeleckiej w macierzystej jednostce. Jednocześnie ukończył kurs dowódców kompanii piechoty w Centrum Wyszkolenia Piechoty w Rembertowie. Z najwyższą oceną przesunięty został na dowódcę ckm, a po ćwiczeniach pułkowych przydzielony do prac specjalnych w sztabie gen. Tadeusza Kutrzeby.
W pierwszych dniach września 1939 r. organizował VI Batalion Strzelców do dyspozycji dowódcy Armii "Poznań" i na czele 1. Kompanii walczył nad Bzurą. W boju pod Kiernozią kolo Łowicza ,18 września, został ranny, lecz mimo to walczył w obronie Modlina, gdzie powtórnie został ranny w dniu kapitulacji Modlina, 27 wrzesnia.
W obozie jenieckim w Działdowie został zaprzysiężony przez mjr. Józefa Ratajczaka, póżniejszego komendanta Okregu ZWZ Pomorze, do tajnej organizacji konspiracyjnej. po zwolnieniu z obozu przebywał w warszawie i należał do Oddziału I Organizacyjnego Dowództwa Głównego Służby Zwycięstwu Polski. 20 pażdziernika 1939 r. został oddelegowany na Pomorze w celu rozpoznania i nawiązania kontaktów konspiracyjnych.