はい、含まれています。
新規VMを作成する際のサイズ選択画面は以下です。この画面の、右端に「コスト」カラムがあり、この画面で料金が確認可能です。しかし、画面下の赤点線枠に気になる表示があります。

赤点線枠には以下のように表示されています。
示されている価格は、USD での見積もり価格であり、Azure インフラストラクチャのコストと、サブスクリプションおよび場所に対する割引のみが含まれます。価格には、適用されるソフトウェアのコストは含まれません。最終的な料金は、コスト分析と課金のビューに現地通貨で表示されます。
この文章を、読んだ場合、「Windwos OS利用料金も価格には含まれていない」と解釈するのが一般的ではないでしょうか?(筆者はそのように解釈しました。。。)
しかしながら、実際には、Windows OSの利用料金は含んで表示されます。基本的には、Azure VM のサイズ選択画面で表示される価格は「インフラ(CPU・メモリ・ディスクなど)の利用料のみ」を示す概算であり、通常は OS ライセンス料は含まれません。ただし Windows OS の場合のみ VM 料金に OS 利用料が加算されて表示される仕組みのようです。Linux や商用 OS(Red Hat, SUSE など)は Marketplace 提供元のライセンス扱いになるため、Azure ポータルのサイズ選択画面には反映されず、別途課金される仕組みです。
全てのOSを試したわけではありませんが、少なくとも、WindwosOSの場合は、画面上の注意喚起表示(「適用されるソフトウェアのコストは含まれません」という表示)と矛盾するようなコスト表記となる為、ご注意ください。

(←参考になった場合はハートマークを押して評価お願いします)