Сегодня мы точно не знаем, когда в Елфимове догорела последняя буда. Очевидно, поташный завод на месте Елфимова существовал недолго, всего два-три десятилетия; к 1710 году промысел этот в Елфимове остановился, вероятно, в связи с истреблением окрестных лесов, и бывшие майданные крестьяне вернулись к жизни простых земледельцев. Долгое время их происхождение не вызывало ни у кого особого интереса. Однако в 1835 г. по особенностям говора, русский писатель и этнограф Владимир Иванович Даль распознал в елфимовцах т.н. «мензелинскую шляхту», и обратился с просьбой к Павлу Ивановичу Мельникову-Печёрскому исследовать их происхождение. По свидетельству Мельникова-Печёрского «Во время 10-летнего пребывания в Нижнем Новгороде, В.И. Даль собрал множество материалов для географического указания распространения разных говоров. Нижегородская губерния в этом отношении представляет замечательное разнообразие. В ней, как впрочем и везде, по говорам можно добраться до исторического, так сказать, наслоения народностей, т.е. можно заметить где остались первобытные русские насельники, где поселились новгородцы, северяне, белорусы». «Отличительная черта выговора укояновских будаков это «дзяконье», затем замена «о» и «в» и иногда «л» звуком» «у», который, к тому же, почти всегда следует за «а»; они произносят также предлог «с» как «з»: «ваулк» вместо «волк», «дзядя» вместо «дядя», говорят «кручек» (крючёк), «лгёц» (лжёт), «ион» (он), «хвист» (хвост) и пр»15.
Многие слова, употребляемые в южновеликорусских и белорусских губерниях, сохранялись в речи будаков до начала XX века: «квакуха» - наседка, «закутать» - затворить, «помалу» - тихонько, «сечка» - тяпка, «поретуйся» - подвинься, «гомонить» - шуметь и другие16. В ходе исторического развития будаки испытали сильное влияние русской культуры, при этом язык и собственная материальная культура будаков размывались, во многих чертах постепенно теряли свой прежний белорусский колорит. Но все же ряд интересных особенностей языка и быта долгое время сохранялся: «. . . ныне они почти обрусели, и хотя отличаются особым говором, но чистое своё наречие окончательно утратили. Мужчины ходят по-русски, у женщин же остался свой особый костюм, <...> остался свой выразительный тип – какая-то приятность в лице, глаза весёлые, блестящие, лукавые. От русских это племя выделяется беззаботностью и нелюбовию к промыслам. Упрямство и состоятельность поражают наших крестьян, которые почему-то называют малороссов «поляками» и об их упорстве говорят: «Прямая Польша»17. Похожее описание будаков приводит и знаменитый русский писатель Владимир Галактионович Короленко. По его свидетельствам, вплоть до начала XX века будаки – обрусев, почти позабыв уже свою родину, сохраняли самобытность: «. . . одежда с поясами и «поньками» (cуконная или шерстяная домотканная юбка в узорную клетку) из самодельного сукна, головные платки (название такого платка — «Ширинка»), повязанные узлом наверху головы, вроде малороссийской кички, мягкий говор, порой с малорусским на «о», порой с белорусским произношением, кой-где мазаная хатка, кое-где обрывок песни, и всюду типические, сохранившие свои отличия физиономии (преимущественно у женщин), – говорят о какой-то иной родине. Но определенные воспоминания об этой старой родине исчезли».