Sejarah mencatat bahwa pada tahun 1919 ada usaha membeli sebidang tanah untuk dibangun gereja, tetapi kemudian tanah ini dijual lagi karena dianggap kurang cocok.
Diatas tanah tersebut kemudian didirikan Bioskop Sampurna (Ada di sebelah pertokoan Johar / Matahari Mall).
Pada tanggal 4 September 1926, dibeli lagi sebidang tanah sawah dari Raden Ario Widjoyo Koesoemo. Letaknya di Schoolstraat no.20 dan kini menjadi Jl. R.A. Kartini no. 26, 28, 30.
Pada tanggal 16 Juli 1927 dilakukan peletakan batu pertama pembangunan Pastoran dan Gereja oleh Pastor Clemens Van Der Pas O.Carm. dan pada 11 Maret 1928 bangunan pastoran dan gereja diresmikan dengan pemberkatan meriah juga oleh beliau yang pada saat itu telah menjadi Monsignor.
Baru kemudian pada tanggal 4 Juni 1928, Jember diresmikan menjadi sebuah paroki yang berlindung di bawah naungan Santo Yusup. Pastor Paroki pertama yang menetap di Jember adalah Pastor Lucas van der Linden O.Carm.
Gereja Paroki Santo Yusup Jember dibangun dengan corak seni Gothik. Menara lonceng dan bangunan dibangun dengan tembok batu bata merah expose dengan jendela-jendela kaca berwarna. Atap menggunakan atap sirap.