Здравствуйте Дмитрий! Такое совмещение возможно только с согласия работника с доплатой, устанавливаемой по соглашению сторон. Если Вы принципиально настроены то, от выполнения дополнительной работы можете отказаться, либо потребовать официального ее оформления и доплаты.
В то же время если вы бригадир не освобожденный, то это не дает вам права не выполнять никаких работ!