Деревня Дуды в Ивьевском районе впервые упоминается в летописных источниках в XVI веке. Яном Ка́ролем Ходке́вичем, военным и политическим деятелем Великого княжества Литовского, были выделены средства на обустройство деревянного храма. В 1772 году Гераним Зенкевич и его жена Барбара, к которым перешло владение деревней, построили новый деревянный католический костел в Дудах на месте прежнего. Освященный в честь Рождества Пресвятой Девы Марии и святого Юзафата, он сохранился до наших дней. Рядом с храмом была поставлена двухъярусная деревянная колокольня. В 1930 году был надстроен третий ярус.
За свою многолетнюю историю храм не подвергся разрушениям, поэтому он сохранился в своем первозданном виде. Только в 1959 году костел был закрыт советскими властями и переоборудован в склад. В 1983 году здание было возвращено Католической Церкви, в 1990 году оно было отреставрировано.
Костел украшают три деревянных алтаря. В центре главного алтаря находится икона «Богоматерь с младенцем» в барочной резной раме. Во время богослужений в костеле раздаются звуки органа.
Территория вокруг храма окружена каменной оградой. Вокруг костела находится старинное кладбище.
Храм Рождества Пресвятой Девы Марии, памятник деревянного зодчества в стиле барокко, включён в Государственный список историко-культурных ценностей Республики Беларусь.
