Hombre no creo que se pueda negar a formar parte del Comité de SS si se lo manda la Dirección de la empresa, pues en realidad es ella, la Dirección quién le está eligiendo para representar a la dirección.
Lo que creo es que no debería elegirle a usted como representante de la Dirección, ya que el el técnico de prevención de la empresa, debe coordinar, controlar, asesorar, etc., sobre Prevención, pero nunca debe hacerla, excepto para contadas excepciones, como puede ser la Formación, la Coordinación contra Incendios, etc.
En cuanto a si falta a alguna o algunas reuniones algún miembro pues estará incumpliendo una obligación que ha adquirido en razón del nombramiento como mienbro del Comité de SS. Puede ser considerado como una falta laboral que corresponde a la Dirección valorarla.