おそらくチャットに関しては使われれば使われるほどチーム名が増えるし、チャネル名も増えてくると思います。そうするとチーム名やチャネル名に絵文字を入れたいなんて時もあるかもしれないです(ない?)。それが良いか悪いかは人それぞれ環境それぞれなので知りませんが。
チャットの本文に絵文字を入れられる事はわかっていますが、チーム名やチャネル名に絵文字は入れられないと思っていました。でも、入れられる方法を見つけたので紹介します。ただし、利用は自己責任で!
まずPCからできない検証。
▼テナントの設定で禁止されていなければ、チャットなら絵文字は挿入可能です

で、ここから挿入する際にマウスホバーすると表示される中に「ショートカット」って書かれてるんですよね。で、例えば上のスクショだと「星」のショートカットは「(star)」なので
▼「(star)」と打つと星の絵文字に変換されました

また、コロン( : )+アルファベットでも絵文字を入力する事ができるようです。
▼「:a」と入力すると色々出てきます

という予備知識も入れたところで、では、チーム作成時のチーム名の入力欄を見ると…
▼チーム名(説明も)では絵文字を入れるUIはありません

では、上述の予備知識から絵文字のショートカットは使えるか?
▼新規チーム作成で「(star)」と入力して作成

▼チーム名に絵文字が入る事はありませんでした

なのでショートカットでも絵文字は無理でした。
チャネル名は?というと…
▼やはりダメでした

という事で僕の中ではチーム名やチャネル名には絵文字は入れられない!という結論です。
いや、待てよ?モバイルアプリは???
▼モバイルアプリからチームの編集で iOS の絵文字を入れます

▼おっ!絵文字入れられた!

▼チャネルは?新規チャネル作成でチャネル名に絵文字を入れると???

▼おっ!チャネル名も絵文字入れられた!

PCから見るとどうなのか??
▼PCのデスクトップアプリを見ると絵文字が表示されてる!!!

という事で、チーム名やチャネル名に絵文字を入れたい場合は、モバイルアプリから入れる事ができる事がわかりました。
ついでに…
▼チームの裏にある SharePoint のチームサイト(笑)

こちらもチーム名やドキュメントライブラリのフォルダ(チャネルと連動)にも絵文字が表示されていました!
こんなところに絵文字が入って正しく動くかどうかはなんか不安ですが、今のところは特に問題ありません。ですが、念のため、自己責任でお願いします。
…(ここで終わらせる予定が)…
あれ?ふと思いついた。絵文字って文字コードが割り当てられているから…モバイルから入力した絵文字は、PCから再度チーム名やチャネル名を編集する時にどうなるんだろう?
▼チャネル名を編集し、ケーキの絵文字をドラッグしてコピーし、

▼ペーストできるじゃん!

▼無事に変更できました

という事は…
例えばこういうサイトで…
絵文字一覧 | Let’s EMOJI
https://lets-emoji.com/emojilist/emojilist-1/
▼この「テキスト」という列の絵文字をコピーすると…

▼PCからでも絵文字を入れる事ができた!

という事で、モバイルアプリからしか絵文字を入れられないという結論で書きだした本記事は、記事を作りながら色々変わり、最終的にはPCからでも絵文字を入れる事ができるという結論になりました。
僕が絵文字についての知識がないのでコツコツと検証した結果で記事にしたけど、他にも簡単に絵文字を入れられるとか、絵文字を入れるのは技術的に良くないなどの話がある場合は、ご連絡お待ちしています。