Mercado de balcão é um ambiente onde você pode comprar e vender ações não listadas em bolsa. Digamos que eu tenho uma empresa e voce quer entrar de sócio, mas quer que o negócio fique registrado na B3 (como se fosse um cartório). Essa negociação é chamada mercado de Balcão. Ativos que são comprados na B3 como títulos públicos, não estão listados em Bolsa (você não pode digitar um título público no Metatrader e comprar). Esses títulos são negociados fora do ambiente de Bolsa, ou seja, Balcão. Valores mobbiliários são ativos de renda fixa e renda variável que você compra e vende no mercado financeiro. Existem dezenas deles. CDB, Debênture, Ações, Fundos Imobiliários, etc.
Opções são instrumentos que derivam das Ações. Mas isso é bastante complicado de explicar aqui. Ao longo do TNT você terá um módulo para aprender Opções. E já adianto que é muito legal