センチメントモデルの調整

学習の目的

この単元を完了すると、次のことができるようになります。

  • センチメント調整について説明する。
  • センチメントモデルにアクセスする。
  • センチメントモデルを調整する。

Social Studio のセンチメントモデル

自社のブランドについて世間の人々がどのように感じているかを知りたいと思ったことはありませんか? センチメント分析は、投稿の語句を分類するプロセスで、世間の人々のセンチメント、つまり感情を理解するのに役立ちます。Social Studio にはスコアリングアルゴリズムが含まれており、投稿を処理して全体的なセンチメントを判断できます。ただし、センチメントには注意が必要です。ブランド固有の考慮事項によって、デフォルトのディクショナリの語句や加重が不正確になる場合があります。そこで「センチメント調整」が役立ちます。センチメント調整は、Social Studio のデフォルトのディクショナリをブランドに合わせて調整するプロセスです。Social Studio に含まれるセンチメントモデルは調整可能なため、投稿のセンチメントをより正確にモニタリングし、レポートできます。 

センチメント分析とは? 

センチメントモデルの調整方法を学習する前に、センチメント分析のしくみを大まかに理解しておくと役立ちます。

  • ソーシャルウェブからコンテンツを受信すると、Social Studio は大量のデータを収集し、毎秒 3000 件以上の投稿を分析します。
  • コンテンツは、スパムフィルター、言語検出、正規化によって事前処理されます。
  • センチメントエンジンは、コンテンツを評価し、センチメント値を割り当てます。

では、センチメント分析はどのように機能するのでしょうか? 

「The party was really great... until the electricity went out. :( No music, but we enjoyed the rest of the night by candlelight」 (パーティーすごくよかった...停電するまではね。:(音楽がなかったけど、あの後もキャンドルライトで楽しかったよ)」という投稿例は分解、トークナイザー、ディクショナリ、強調語、否定語の点から分析されます。

“The party was really great... until the electricity went out.:( No music, but we enjoyed the rest of the night by candlelight.”:(パーティーすごくよかった...停電するまではね。:(音楽がなかったけど、あの後もキャンドルライトで楽しかったよ。) 

メモ

メモ

これは、単にエンジンのしくみを表したものです。実際の計算はさまざまであり、正確でない場合があります。

「No」と不機嫌な顔の絵文字「:(」には否定値が割り当てられる一方で、「really」「great」には肯定値が割り当てられます。センチメントエンジンがすべてのスコアを計算し、全体として肯定スコア、つまり肯定センチメントであることを判断します。

各語句には、品詞や語句の種別に応じた加重が割り当てられます。そして、スコアによって、センチメントがどれほど肯定、否定とみなされるか、またはどちらでもないとみなされるかが決定されます。 

評価プロセスを詳しく見てみましょう。

  1. トークナイザー — 空白トークナイザーが最初にコンテンツを分割し、空白ごとに区切ってトークンを作成します。
  2. 品詞 — 次に、文が解析され、各語句の文法的な位置付けが識別されます。この識別によって、語句がセンチメントを持っているかどうかが決定されます。
  3. ディクショナリ — Social Studio は、事前定義された語句のリストが含まれたデフォルトのセンチメントディクショナリを使用します。各語には、-1 ~ +1 の範囲の加重が割り当てられています。Social Studio は、文を取得すると、一致する語句を検出し、それらの一致の平均センチメントを分析し、肯定、どちらでもない、否定のいずれかのセンチメントの分類を割り当てます。
  4. 強調語と否定語 — Social Studio では強調語と否定語についても考慮されます。強調語 (really (すごく) など) は、加重をさらに高くしたり低くしたりします。否定語 (not (ない) など) は、語句が肯定であるか否定であるかを変更します。たとえば、「That meal was really not bad at all.」 (その食事はまったく悪くなかった。) には、強調語と否定語の両方が含まれていて、bad という語のセンチメント加重に肯定的な影響を与えています。

センチメント分析が常に正しいとは限りません

次の例を考えてみます。sick (病気) という語は、多くの場合、健康状態が悪いことを指すため、否定的なスコアが付けられます。ただし、服装や体験を肯定的に説明するために sick が俗語として使用される例があります。「Einstein’s sneakers were sick!」 (Einstein のスニーカーはヤバかった!) というような場合です。別の例は cancer (癌) という語です。これは多くの場合否定的なスコアが付けられます。ただし、医療の飛躍的進歩というコンテキストでは、cancer は、中立または肯定としてスコアされる方が適切です。 

ソーシャル投稿のコンテキストに応じて、このようなキーワードをセンチメントモデルがどのように加重しているるかを確認することが重要です。長期的にこのモデルを調整していくことで、受信する投稿に基づいて、より正確なセンチメントが得られるようになります。 

メモ

メモ

YouTube の利用規約に従うため、YouTube のコンテンツは Social Studio で機械学習センチメントによってスコアリングされません。YouTube のコンテンツは [どちらでもない] とマークされるか、スコアが付けられません。ただし、センチメントに手動でスコアを付けることはできます。

センチメントモデルへのアクセスと調整

センチメントモデルにアクセスして調整するには、Social Studio のスーパーユーザーか管理者である必要があります。管理者でなくても問題ありません。Social Studio アプリケーションにこのページが表示されないということだけを知っておいてください。[管理] の [センチメントモデル] セクションに、すべてのフィードバックとスター付きまたはスターなしの投稿を表示できます。

Social Studio のセンチメントモデルインターフェース。

フィードバック項目は、Social Studio ユーザが [エンゲージ] と [分析] で投稿を評価し、センチメントを手動で調整したときに作成されます。センチメントモデルでは、フィードバック項目のリストに元のセンチメント加重、投稿、強調表示された語句が表示されます。これらの語句は、現在センチメントモデルディクショナリで使用されている語句を示しています。また、申請者のフィードバックメモも表示され、センチメントモデルを調整するための有用なインサイトを得ることができます。

システム管理者は、いくつかの方法でセンチメントモデルを調整できます。 

スター付き、強調表示された語句、[モデルを管理] ボタンにコールアウトが付いているセンチメントモデルの管理画面。

(1) 投稿をセンチメントモデルでの基準として使用するために、スターを付ける。

フィードバック項目をレビューするときには、トレンド、つまりビジネスにとって重要で、よく見かける投稿を探します。フィードバック項目がそれらの両方の条件を満たす場合は、金色のスターを付けて、センチメントモデルをカスタマイズするために使用するサンプルセットに追加します。スター付きの投稿は、ビジネスに関連するコンテンツのタイプの見本であり、正確なスコアリングを行うために重要です。センチメントを調整する前に、該当する言語で金色のスターが付いた項目を 200 個以上蓄積します。

(2) 強調表示された語句をレビューする。

フィードバック項目のリストで強調表示された語句に注目します。センチメントモデルのディクショナリには、現在それらの語句が含まれています。この情報を使用して、センチメントモデルに追加したり修正したりする語句を特定します。

(3) モデルを管理する。

金色のスターによる基準の設定方法に慣れたら、[モデルを管理] をクリックすると、現在のモデルがスター付き投稿の一致率 (%) と共に表示されます。モデルには、肯定、どちらでもない、否定のセンチメントについて精度スコアと回収率スコアが計算されて表示されます。通常、全体的なスター付き投稿との一致率として約 79% を目指します。  

メモ

メモ

センチメント分析についての詳細は、「ソーシャルメディア向け人工知能」を参照してください。

センチメントの最大活用

センチメントモデルを操作するときには、正確性を高めるために、次のヒントを考慮してください。

センチメントは測定困難である

皆さんもご存知のとおり、人間は完全にいつでも同意するとは限りません。たとえば、このモジュールを受講している全員が 100 件のツイートをレビューして、そのセンチメントにスコアを付けると、同意する割合は約 79% になります。センチメントのスコアリングを行うときには、それを覚えておきましょう。100% は期待しないでください。そんなものは存在しません。また、Social Studio の分析対象には、皮肉や複数の意味がある言葉が含まれています。これは、特にソーシャルメディアのコンテンツでは困難です。 

センチメントはブランドの 1 つの測定値にすぎない

センチメントは多くの測定値のうちの 1 つであると考えてください。全体像を捉えるには複数のメトリクスが必要です。センチメントは優れたメトリクスですが、唯一のメトリクスではありません。たとえば、体の健康状態を測定する場合、体重は、考慮すべき多くの要素のうちの 1 つです。

データが多いほど正確性が向上する

分析するデータ量が多いほど、トレンドを正しく把握している確率が高まります。このプロセスには時間をかけ、モデルを調整するのは約 6 ~ 12 か月ごとにのみ行います。センチメントモデルを頻繁に調整しすぎると、センチメントモデルの焦点が定まらなくなり、センチメントの全体的なスコアリングに影響することがあります。

これで作業は完了です。

Social Studio とは何か、それをどのように操作するかを学習しました。また、ワークスペースとユーザの管理方法を理解しました。さらに、トピックプロファイルについて学習し、センチメントモデルのこともわかりました。自分を褒めてあげましょう。 

リソース