この記事は更新から24ヶ月以上経過しているため、最新の情報を別途確認することを推奨いたします。

先進認証でも基本認証でも、こちらに掲載している手順でExchange OnlineにPowershellで接続可能です。
なお、公式ドキュメントは以下です。
Exchange Online PowerShell に接続する
基本的には上記ドキュメントを参照すれば間違いないですが、少し分かり辛い部分もあるので抜粋してみました。

事前準備：Exchange Online PowerShell V2 モジュールをインストールします。

Install-Module -Name ExchangeOnlineManagement

参照：
EXO V2 モジュールをインストールする

モジュールインストール済みであれば、①、②を実行すれば接続可能です。

①モジュール読込み

Import-Module ExchangeOnlineManagement

②接続
「XXXXXX@YYYYYY.ZZZ」の部分は適宜書き換えて下さい
ログイン画面が表示されるので、ID・PWを入力してください。多要素認証が有効な場合は追加の認証も聞かれます。

Connect-ExchangeOnline -UserPrincipalName XXXXXX@YYYYYY.ZZZ -ShowProgress $true

③確認
接続出来た後は、接続先が意図したテナントであるか確認する為、以下コマンドをうってみるのがよいと思います。

Get-AcceptedDomain

④切断
作業が完了したら必ず切断することをおススメします。

Disconnect-ExchangeOnline