Realmente não sei se há como usar internet sem modem, mesmo que seja o servidor quem esteja discando, fazendo controle, dhcp, etc.
Acredito que não seja possível, pois sempre precisará de uma placa de conversão de telefone para ethernet, além de outros recuros que os modems possuem, como redução de ruído, busca de frequência de dados, etc.
Abraços,
Marcelo