Родился 2 декабря 1970 года в селе 2-й Хомустах Намского улуса. Родители, Березкин Борис Степанович и Березкина Татьяна Васильевна, работали в совхозе «Комсомольский». Отец одним из первых в республике создал фермерское хозяйство, которое вскоре стало крупным даже по современным меркам.
Все трое детей Березкиных окончили школу с медалями. В 1988 году Эрнст поступил в Ленинградский финансово-экономический институт имени Вознесенского, который закончил по специальности «социально-экономическое планирование». После завершения ВУЗа в 1993 году Березкин проходит первую свою «трудовую школу» под руководством Федоровой Зинаиды Степановны в Фонде управления Государственным имуществом при Правительстве Республики Саха (Якутия).
С августа 1996 г. — заместитель Генерального директора по экономике ОАО «Якутгазпром». Вступил в должность в тяжелые времена взаимных неплатежей. Сумел вывести газовую промышленность Якутии из глубочайшего кризиса, создав условия для взыскания долгов и получения инвестиций.
С 1998 года — заместитель министра финансов Республики Саха (Якутия). В марте 2000-го по предложению Первого Президента республики Михаила Ефимовича Николаева назначен заместителем Председателя Правительства РС (Я). В должности зампреда курировал вопросы северного завоза и финансовую сферу, по его предложениям в экономику республики были привлечены десятки миллиардов федеральных средств.
В 2002 году назначен Министром финансов Республики Саха (Якутия). Созданная под его руководством программа реформирования государственных финансов республики была признана лучшей в России, был восстановлен кредитный рейтинг республики и значительно снижен государственный долг.
С января 2005 г. по июнь 2007 г. — первый вице-президент по финансам и экономике АК «АЛРОСА». Уволился по собственному желанию ввиду несогласия с политикой нового руководства компании.
Березкин Эрнст Борисович никогда не состоял в политических партиях, не шел на поводу «политической моды». Тем не менее, жители Губинского избирательного округа (в настоящее время округ называется Набережный) города Якутска дважды поддержали «самовыдвиженца» Березкина и избирали его своим депутатом в III и IV созыв Ил Тумэна.
2014 год — заместитель начальника Управления федеральной автодороги «Вилюй».
Женат. Супруга Березкина Любовь Георгиевна работает I заместителем министра финансов республики. В семье трое детей; старший Роман закончил ВУЗ и работает, Алексей и Владимир учатся в школе. Жизненные принципы: работать с профессионалами, принимать взвешенные решения, нести ответственность за них.
В начале февраля 2023 года в соцсетях появилась информация, согласно которой Березкин может стать одним из кандидатов на пост главы Якутии.