Đầu thế kỷ 20, Chợ Lớn rất phồn thịnh, giáo dân cũng đông hơn nên linh mục Gioan Baotixita Huỳnh Tịnh Hướng chọn xây dựng một nhà thờ mới trên khu nghĩa trang người Hoa vì… vị trí đẹp và giá cả hợp lý. Dù không có thông tin về người thiết kế nhà thờ này, nhưng có thể đó cũng chính là cha Huỳnh Tịnh Hướng, người tự học kiến trúc và thiết kế nhà thờ Cha Tam (đường Học Lạc, Q.5) hồi đầu thế kỷ 20.
Nhà thờ mới mang tên Jeanne d'Arc - nữ anh hùng lãnh đạo quân Pháp chống quân Anh. Năm 19 tuổi, bà bị hỏa thiêu vì tội dị giáo. Năm 1920 bà được Giáo hội phong thánh. Có ý kiến cho rằng cha Hướng đặt tên nhà thờ và chọn Jeanne d'Arc làm thánh bổn mạng vì bà là biểu tượng của sự bất khuất chống ngoại xâm mà lúc đó VN cũng đang bị Pháp đô hộ.
Khánh thành năm 1928, công trình mang phong cách kiến trúc Neo Roman (*) kết hợp với một chút nét Gothic (cửa sổ kính màu). Vòm cổng chính có tượng thánh bổn mạng Jeanne d'Arc. Không gian bên trong chia làm năm gian, sơn màu nhạt, có tầng lửng chạy dọc theo giáo đường. Hệ thống lam gió ở cửa sổ và trên tường bao ngoài việc giúp thông thoáng còn tạo "độ xốp" cần thiết giúp công trình bớt nặng nề. Nhà thờ có năm quả chuông đúc từ năm 1930, mỗi quả đều có chạm khắc hoa văn và tên riêng (có thể là tên người góp tiền làm chuông).
(*): Phát triển nửa cuối thế kỷ 19 ở châu Âu, Mỹ. Lấy cảm hứng từ kiến trúc Roman. Hình thức chắc, nặng, kết cấu vòm nửa trụ, cửa nhỏ nhưng các vòm và cửa sổ được đơn giản hóa hơn.