幾何学的変換を使用したウェーハマップの故障パターン分類 | 深センボールドベンチャーソリューションズ株式会社

Scientific Reports volume 13、記事番号: 8127 (2023) この記事を引用

349 アクセス

1 オルトメトリック

メトリクスの詳細

ウェーハマップの欠陥パターン分類は、主要な根本原因情報を提供することで生産歩留まりと品質を向上させるために、半導体製造プロセスにおいて不可欠です。しかし、大規模な生産状況では、現場の専門家による手動診断は困難であり、既存の深層学習フレームワークでは学習に大量のデータが必要です。これに対処するために、ウェーハマップの欠陥パターンがラベルの回転と反転に影響を及ぼさないというラベル付けルールに基づいた新しい回転および反転不変法を提案し、データが少ない状況でもクラス判別性能を達成します。この方法では、ラドン変換とカーネルフリップを備えた畳み込みニューラルネットワーク (CNN) バックボーンを利用して、幾何学的不変性を実現します。ラドン機能は、並進不変 CNN の回転等変ブリッジとして機能し、カーネルフリップモジュールによりモデルをフリップ不変にすることができます。私たちは広範な定性的および定量的実験を通じてこの方法を検証しました。定性分析の場合、モデルの決定を適切に説明するために、マルチブランチのレイヤーごとの関連性の伝播を提案します。定量分析については、アブレーション研究により提案手法の優位性が検証されました。さらに、回転および反転拡張テストセットを使用して、分布外データに対する回転および反転不変式に対する提案手法の一般化パフォーマンスを検証しました。

ウェーハビンマップパターンの分類は、根本原因分析（RCA）を可能にすることで半導体製造プロセスの歩留まりと品質を向上させるための重要なアプローチとして注目を集めています1、2。さまざまな電気製品に必要な機能を実現するための電子回路で構成される集積回路（IC）チップのサイズは継続的に小さくなり、その製造プロセスはますます複雑になり、プロセス上の欠陥の原因を解析することがますます困難になっています3。半導体製造プロセスの後の段階、つまりパッケージングに先立って、各チップがウェーハ・ダイ・レベルで正常であるかどうかをバイナリで評価するために、さまざまな電気的および熱的テストが実施されます。そして、ウエハ上にチップごとに欠陥が表示され、欠陥パターンが形成される。この欠陥パターンは手順全体の最終結果であるため、欠陥パターンとプロセスの履歴および詳細との相関関係を分析することが可能であり、プロセス内で RCA が可能になります。したがって、ウェーハマップの欠陥パターン分類は、半導体業界が目標とする品質の向上と同時に生産歩留りの向上にも強く結びついているため、この分野では特に重要です。

パターンベースの欠陥分類に加えて、分類プロセスの自動化に対する需要が高まっています。ウェーハマップパターンのラベリングプロセスは、その分野の専門家によって直接行われるため、労力とコストがかかり、診断パフォーマンスはエンジニアによって異なります。さまざまな分野におけるデータベースの分類モデルの優れた自動化機能により、ウェーハマップ分類モデルを使用した自動ラベル付けに関する最近の研究が行われています。既存のアプローチは、データ駆動型の推論メカニズムに応じて、(1) 機械学習ベースと (2) 深層学習ベースの 2 つのカテゴリに分類できます。

ウェーハ欠陥パターン分類のための機械学習ベースのアプローチでは、さまざまな予測モデルを利用して、ウェーハマップから得られたいくつかの手作りの特徴に基づいてクラス識別特徴を抽出します。 Yuan et al.4 は、サポートベクタークラスタリングとベイジアン法を使用した空間欠陥パターンの分類を提案しました。 Wu et al.5 は、ラドンとスケール不変の特徴のセットを使用するサポートベクターマシン (SVM) ベースの方法を提案しました。彼は、ラドンベースの特徴を使用して回転等価応答を取得できることを実証しました。 Yu と Lu6 は、幾何学的特徴やラドン特徴を含む複数の特徴に基づいたウェーハマップ欠陥の検出と認識に、局所的および非局所的な共同線形判別分析を使用することを提案しました。 Saqlain et al.7 は、ラドン特徴を含むさまざまな特徴を使用した投票アンサンブル分類器を提案しました。有用な機能を採用したさまざまなモデルが、ドメイン知識に基づいてこれらの方法について積極的に検討されてきました。ただし、機械学習ベースのモデルは浅いため、推論パフォーマンスの点で制限が存在します。

計算資源の発展により推論モデルの深さが増すにつれ、専門家の介入なしに生データから意味のある特徴を自動的に学習し、パターン分類のパフォーマンスを向上させることができる深層学習ベースの方法がウェーハ欠陥パターン分類のために積極的に研究されてきました。この深層学習ベースの方法は 2 つのステップに従います。まず、深層学習フレームワークをウェーハマップの欠陥パターン問題に単純に適用します。 2 番目に、データ不足やメモリ効率などの実際的な問題に対処します。前者に関しては、初期の研究では、画像分類における深層学習モデルの中でも優れた性能を示す畳み込みニューラルネットワーク（CNN）モデルをウェーハマップ分類に採用しました8,9。 Kyang et al.10 は、複数の CNN モデルを使用して、ウェーハビンマップにおける混合タイプの欠陥パターンを提案しました。 Yu et al.11 は、ウェーハマップパターンを認識および分類するための 2 つの段階を提案しました。ただし、多くの場合、製造プロセス全体を通じて、クリーンでラベル付けされた高品質のウェーハマップデータを十分に取得することが制約となります。したがって、従来の CNN モデルに追加のアプローチを含むモデルが必要です。後者に関しては、ウェーハマップの事前定義されたラベル付けルールに従って、ラベルが回転や反転の影響を受けないという事実に基づいたモデルがいくつかの研究で提案されています。 Kang et al.12 は、離散的な角度方向に沿った拡張を通じて回転および反転不変表現を学習するデータ拡張方法を提案しました。 Kahng et al.13 は、データ拡張コンテキストにおける回転不変性を含む、口実不変表現の自己教師あり学習を提案しました。その結果、データが限られた状況でも高い分類パフォーマンスを達成することができました。ただし、以前に提案されたこれらの方法には、回転および反転の不変性がモデルアーキテクチャに直接組み込まれていないため、制限があります。つまり、これらの不変性を認識するモデル機能がその設計に具体的に組み込まれていないことを意味します。代わりに、これらの方法はデータの増強と追加のパラメーターに依存していますが、これは非効率的であり、メモリ効率の問題に対処するには不十分である可能性があります。これは、「関連研究」で説明したように、コンピュータービジョンの分野の回転変数 CNN ですでに注目されています。

この論文では、回転と反転に対して不変であるウェーハ欠陥パターンを分類するための新しい方法を提案します。製造プロセスや装置によるウェーハ欠陥パターンの方向のばらつきを考慮すると、正確かつ堅牢な分類には、回転と反転の不変性を達成することが重要になります。さらに、これらの不変性を分類方法に組み込むことにより、私たちのアプローチは限られたデータから関連する特徴を効率的に抽出することができ、データ不足の問題を軽減するのに役立ちます。回転と反転の不変性を実現するために、CNN フレームワーク内で以前に機械学習で使用されていた手作りの特徴であるラドン特徴の等変特性を利用します。さらに、ネットワーク内でカーネルを設計することでフリップ不変性を実現し、データ拡張への依存を最小限に抑えます。モデルを検証するために、定性分析と定量分析の両方を実行します。定性分析では、モデルの決定を解釈するためのマルチブランチ層ごとの関連性伝播 (マルチブランチ LRP) メソッドを導入します。これは、特にカーネルフリップモジュールのようなマルチブランチ構造を持つモデル向けに設計されています。私たちは、アブレーション研究を使用した定性的および定量的評価の両方を通じて、ラドン変換とカーネルフリップの個々の影響を実証します。また、回転および反転拡張データセットの下でのモデルの目に見えない汎化パフォーマンスも評価します。

CNN は本質的に、変換重みの共有とプーリング操作を通じて変換不変の特徴を学習する強力な機能を備えています。ただし、回転や反転など、他の形式の空間不変性を実現するには、CNN フレームワークの制限が残ります。これらの課題に対処するために、(1) いくつかの変換されたコピーで入力画像の特徴を拡張し、(2) ネットワーク内の特定のトレーニング可能なモジュールを使用して CNN に必要な変換不変性をエンコードすることで、多くの研究が行われてきました。

前者は、入力データの拡張とネットワークの内部フィルターによる特徴の拡張に分類できます。多くの初期の研究では、入力データはさまざまなアプリケーションのために直接拡張されました。 Laptev et al.14 は、回転拡張されたトレーニングデータセットに基づいて各入力の重み共有 CNN 上で抽出された完全接続層への最大プーリングによって高度に活性化された変換不変特徴を取得する変換不変プーリング (TI プーリング) 層を提案しました。。 Cheng et al.15 は、同様の方法である回転不変 CNN (RICNN) を提案しました。これは、物体検出タスクのトレーニングサンプルを回転的に強化することによって既存の CNN をトレーニングします。 Cheng et al.16 は、やはり RICNN としてデータ拡張戦略を使用しますが、フィッシャー識別層を追加した、回転不変およびフィッシャー識別 CNN (RIFD-CNN) を提案しました。ただし、入力データを直接拡張するには重大な制限があり、より一般化可能な回転を得るには基本的により大きなメモリサイズとネットワーク容量が必要になります。このため、ネットワークの内部フィルターによる機能拡張が、さまざまな方法で最近かなりの注目を集めています。 Dieleman et al.17 は、拡張画像ごとに異なる視点を抽出するための CNN の複数分岐構造を提案しました。その後、Dieleman18 は、周期対称性に対してさまざまな演算を実行することで、この概念を拡張しました。 Cohen et al.19 は、対称群とその群に対するプーリング操作を利用した、群理論に基づく群等変 CNN を提案しました。 Marcos et al.20 は、フィルタのグループの重みをグループの正準フィルタのさまざまな回転コピーに関連付けることによって、回転不変法をモデルに明示的に組み込むことを提案しました。 Gao et al.21 は、CNN で回転とフリップの不変性を実現するためのカーネルの回転とフリップのセットを提案しました。要約すると、特徴拡張方法は、ネットワーク内のデータ変動に対して複数のブランチをサンプリングする構造に従います。この主な制限は、データ変動の一般化とブランチの数の間のトレードオフ関係です。

2 番目の作業は、CNN 内の特定のトレーニング可能なモジュールを利用して、CNN に必要な変換不変性をエンコードすることです。 Worrall et al.22 は、通常の CNN フィルターを円高調波で置き換えることによって回転の不変性を実現し、最大の応答と方向を返す高調波ネットワークを提案しました。 Jaderberg et al.23 は、学習可能なモジュールを使用する空間変換ネットワーク (STN) を提案し、入力データの空間操作を明示的に許可して、ネットワーク内の後続の層でのポーズの変動を低減します。 Esteves et al.24 は、正準座標表現を組み合わせた STN の拡張バージョンである極座標変換ネットワーク (PTN) を提案しました。 Dai et al.25 は、モジュール内の空間サンプリング位置を拡張するというアイデアに基づいて、変形可能な畳み込みと RoI プーリングを備えた変形可能な CNN を提案しました。これらの作業には、追加モジュール用の追加のトレーニング可能なパラメーターが必要なだけでなく、CNN に適応するための複雑な構造も必要であるという制約があります。

この研究では、データ不足の課題を考慮して、ウェーハマップの欠陥パターンを分類するための新しい回転および反転不変 CNN アプローチを提案します。これを達成するには、手作りの機能をディープラーニングフレームワークに組み込むことをお勧めします。具体的には、ウェーハ分類タスクの以前の機械学習コンテキストで一般的に使用されていた手作りの特徴であるラドン特徴の回転等変特性を利用して、CNN フレームワークで回転不変性を取得します。さらに、2 つの分岐構造のみを備えたカーネルフリップモジュールを導入することで、フリップ不変性を実現します。このモジュールは、各分岐によって生成された反転コピーのデータ変化を学習します。注目に値するのは、私たちの方法は、回転等変機能と反転カーネルの最小限の分岐を利用して、回転不変性と組み合わせて確保することにより、全方向で反転不変性を実現しているということです。このアプローチにより、よりコンパクトで効率的な表現が可能になり、データ拡張ベースの方法と比較してパフォーマンスが向上し、トレーニング時間が短縮される可能性があります。

問題の説明を理解しやすくするには、まず等変性と不変性の概念を理解することが重要です。マッピング関数 \(\Phi\)、入力セット {\({X}_{i}\)} からの入力 \(X\)、およびグループ \(G\) が与えられると、 \( \Phi\) は、入力の変換が出力の変換 \({T}_{2}\in G\) に関連する場合、\({T}_{1}\in G\) の下で等変します。式で述べられています。 (1)。逆に、式 1 で表されるように、\(\Phi\) は、出力領域の変換関係から独立している場合、\(T\) の下で不変です。 (2)。

回転とフリップの不変性を取得する提案されたメカニズムを明確に説明するために、ラドン変換、カーネルフリップ、および CNN バックボーンモジュールを含む提案されたアプローチの原理を定式化しました。ウェーハ欠陥パターンの画像データとそのラベルセットは \(\left({X}_{i}, {y}_{i}\right)\) として存在し、幾何学的変換は平行移動として表されます: \({T} _{T}\) 回転: \({T}_{R}\) 、反転: \({T}_{F}\)、各変換の各グループは \({G}_{ T}、{G}_{R}、\)、および \({G}_{F}\)。ラベリング規則関数 \(({\Phi }_{label}\)) は、式 1 に従って与えられます。 (3) \({G}_ の \(T={T}_{R}\cdot {T}_{F}={T}_{F}{\cdot T}_{R}\) の場合] {R}\cup {G}_{F}\)、\({T}_{R}\cdot {T}_{F}\) は \({T}_{R}\ の関数構成を表します) ) と \({T}_{F}\) であり、私たちの目的は、この関数を近似するモデルを構築することです。

ラベル推論に使用する CNN モデル (\({\Phi }_{CNN})\) には、翻訳不変の特徴を学習する固有の機能があり、次の特性を示します。

ただし、CNN モデルは回転不変ではありません。

式のコンテキストを提供するには、 (5) では、\({T}_{R}\cdot {X}_{i}\) を入力 \({X への回転変換 \({T}_{R}\) の適用を表すとします。 }_{私}\）。この理解により、CNN モデルにおける回転不変性の欠如に対処するための中間ステップとして、モデルが回転等変マッピング関数ラドン変換 \(({\Phi }_{Radon})\) を使用していることを説明できます。

その結果、次のようになります。

私たちが提案するモデルでは、回転と反転の不変性の両方を達成することを目指しています。フリップ不変性の欠如に対処するために、カーネルフリップ (KF) モジュールを CNN アーキテクチャに組み込みます。

ここでは、ラドン特徴効果を考慮して反転軸を \(\uppi\)/2 だけ変更することで、ウェーハマップの反転対称性が維持されます。

回転変換と反転変換を組み合わせることで、モデルは本質的にすべての可能な反転方向を考慮できます。グループ理論 26 によれば、回転グループと反転グループの結合は、反転軸の方向に関係なく同じままです。

その結果、私たちのモデルは、最小限の数の反転されたカーネルブランチを使用しながら、すべての可能な回転および反転変換を考慮して、回転および反転の不変性を効果的に抽出できます。私たちが提案する方法については、次のセクションで詳しく説明します。

提案された回転および反転不変表現の学習方法は、図1に示すように、2つの主要モジュールとCNNバックボーンで構成されます。最初に、ラドン回転不変モジュールがウェーハマップを断層撮影画像に変換し、回転を平行移動に変換します。その後、カーネルフリップ操作の 2 つの分岐を通じて、フリップされた特徴セットが取得されます。反転された特徴セットのペアの間で高度に活性化された特徴に対して max-out 操作を採用することにより、バックボーン CNN (翻訳不変特徴を取得する機能により、翻訳不変とよく呼ばれます) は、回転等変および反転等変特徴によるウェーハラベル特性。

私たちの手法の概要。上: 提案されたモデルアーキテクチャは、回転と反転の等変特徴を取得するためのラドン変換およびカーネルフリッピングモジュールと、それに続く平行移動不変バックボーン CNN ベースの分類器で構成されます。下: カーネルフリッピングによって引き起こされるマルチブランチ構造のマルチブランチ LRP メソッド。モデル予測の解釈に使用されます。ウェーハマップとヒートマップの画像は、Python 3.8.4 と、http://mirlab.org/dataSet/public/ で入手可能なリリースされた WM-811K ウェーハデータセットを使用して視覚化されました。ラドンおよび逆ラドン変換は scikit-image ライブラリバージョン 0.20.0 を使用して実行され、LRP ヒートマップは提案されたマルチブランチ LRP 方法を使用して取得されました。

我々の提案手法では、ウェーハマップに対する回転等変特性を持つラドン特徴量を入力表現として採用しています。ラドン変換とは、回転 \(\theta\) の投影像により正弦波断層像 \({P}_{\theta }\left(r\right)\) を取得する方法です。ラドン変換は、断層撮影 \({P}_{\theta }\left(r\right)\) を取得するための順投影です。 f(x,y) が元の画像の場合、ラドン変換関数は次のように与えられます。

上記の投影は、元の画像の回転の影響をラドンフィーチャの平行移動に変換します。図 2a、b の最初の行を比較すると、元のウェーハマップの回転がラドンフィーチャの移動に対応していることがわかります。その結果、ラドン変換は回転に相当するブリッジとして機能し、平行移動不変の CNN バックボーンモデルを使用して回転不変の表現を取得できるようになります。さらに、図 2a、b の 2 番目の行を比較すると、ウェーハマップ上の垂直方向の反転がラドンフィーチャ上の水平方向の反転に対応していることがわかります。これは、フリップ軸の \(\uppi /2\) の変化を考慮すると、ラドン特徴のフリップ等分散がウェーハマップのフリップ等分散であることが本質的に保証されていることを意味します。

(a) WM-811k の Edge-loc クラスのウェーハマップの回転と反転の例の図、および (b) 各ウェーハマップの対応するラドン変換。この図のすべての画像は、Python 3.8.4 を使用して視覚化されました。ラドン変換は、scikit-image ライブラリバージョン 0.20.0 を使用して実行されました。

カーネルフリップモジュールは、カーネルの複数のフリップバージョンを使用して入力特徴のフリップコピーを生成することで、フリップの等分散性を学習することを目的としています。私たちが提案する方法では、反転カーネルの 2 つのブランチ (元のブランチと 1 軸反転ブランチ) のみを使用します。処理されたラドン特徴が、いくつかの層を通過した後、このモジュールに入力されると、重み共有反転カーネルは、トレーニング可能なパラメーターの数を増やすことなく、反転された特徴セットを出力し、モデルの効率を確保します。ラドンベースの特徴に関するこのフリップ変動を学習することにより、私たちのモデルは回転等分散に加えてフリップ等変特性を取得することができます。「関連研究」で説明したように、狭いブランチ構造の主な考慮事項として、汎化パフォーマンスとブランチの数の間にはトレードオフが存在します。したがって、単一のブランチを追加するだけでは、フリップ等変パフォーマンスが低下する可能性があります。ただし、「問題の定式化」で説明したように、回転等変表現でフリップ等分散を求めることは、全方向のフリップ等分散に対応します。反転された特徴セットを生成した後、最大出力モジュールは、ネットワーク内の効率的なメモリフローとドロップアウト効果を目指しながら、最もアクティブな特徴を要素ごとに取得して CNN 分類モジュールに渡します。最後に、ラドンモジュールとカーネルフリップモジュールから取得した回転とフリップの等変特徴により、CNN 分類器で回転とフリップの不変性を学習できるようになります。

この研究では、元のウェーハマップベースの予測に従ったラドン特徴に基づく推論への影響を認識するだけでなく、提案したモデルが意図したとおりに機能することを検証するために、定性的な方法で方法を評価するためにLRPを採用しました。。 LRP は主に、深層学習ベースのモデルに対する解釈可能性ベースのアプローチを使用してモデル推論を理解するために使用されます。式 (1) で説明される深いテイラー分解法に基づいています。 (13) のように、関連性スコアは出力予測によって取得できます。ここで、a はテイラー級数の根点、\(\epsilon\) はテイラー級数の高次多項式項の置換項です。前のレイヤへの関連性伝播を順次繰り返すことにより、最終的に入力レイヤの関連性スコアを取得できます。

この手法をモデルに適用するには、モデルが多分岐モデルであるため、関連性スコアをそのまま伝播することが難しいという構造上の考慮事項があります。私たちの知る限り、LRP 手法はこれまでマルチブランチ CNN などの複雑な構造で使用されたことはありません。ここでは、図1に示すように、マルチブランチ構造に対する新しいLRP手法を提案します。関連性スコアがカーネルフリッピングモジュールに到着すると、各カーネルを通過した後に2つの関連性スコアが生成されます。分離された関連性スコアの伝播により、入力層でのモデルの判断根拠とは無関係な複数の関連性スコアが得られます。この構造的な問題を解決するために、両方の関連性スコアと両方のカーネルをチャネル軸によって連結します。次に、連結された関連性機能とカーネルを通じて関連性を伝播し、結合された関連性スコアを生成します。

一般に、ウェーハマップパターンは、クラスターの位置と形状に基づいて 7 つのクラスに分類されます。これらのクラスには、特定のプロセス条件と効果があります27: センター、ドーナツ、エッジロック、リング、ロック、スクラッチ、ランダムです。例えば、センタータイプはプラズマ領域28や薄膜堆積の問題の影響を及ぼし、エッジロックタイプは拡散プロセス中の加熱ムラと同様の影響を及ぼします。したがって、これらを分類してプロセスの状態を把握し、プロセス劣化の原因を推定することが重要な課題と考えられています。既存の機械学習ベースのウェーハ仕分けタスクは、主に 2 つのシナリオ、つまり個別のファブデータとオープンデータ 27 に基づいて研究されており、それぞれに長所と短所があります。プライベートデータの使用は、当面の問題を最適化するのに有利ですが、方法論的な一般化は困難です。ただし、公的に入手可能なデータは他の方法と比較するのが容易であり、この方法の一般化が主張できることを意味します。したがって、検証に使用することが望ましいです。

現実世界のファブデータ WM-811K は、機械学習と深層学習によるウェーハ分類タスクで頻繁に使用されています29。データ表現のために、各ウェーハマップはさまざまなサイズの 2D 画像として形成されます。図 3 に示すように、WM-811K には、前述の 7 つのクラスと追加のニアフルクラスとなしクラスを含む合計 9 つのクラスが含まれており、総量は 172,950 です。このうち、ラベル付きデータは 25,519 件あり、データの約 14.8% にすぎません。さらに、表 1 に示すように、データ分布は非常に不均衡です。つまり、フルに近いクラスはわずか 0.1% しか占めていません。評価のための適切なデータ処理については、「実験のセットアップ」で説明します。

今回の検討にはWM-811Kのウェハパターンを使用しました。「実験のセットアップ」で説明されているように、ほぼ完全なパターンとなしのパターンは除外されます。

提案手法の有効性を評価するために、図 3 に示すように WM-811K の 7 つの典型的なクラスを利用し、各クラスのバランスの取れたデータ分布を設定しました。 WM-811K を使用したウェーハマップパターン分類に関するこれまでの研究は 2 つのカテゴリに分類できます。最初のケースでは 9 つのクラスが使用されますが、2 番目のケースでは、クラスが含まれていないのか、またはほぼ完全なクラスが含まれているかに応じて、7 つまたは 8 つのクラスのみが使用されます。 Mohamed et al.30 は、none クラスを使用すると、いくつかの理由でモデルのトレーニングとパフォーマンス分析の両方に影響を与える可能性があるため、その悪影響を強調しました。したがって、後者のアプローチに従って、「ニアフル」クラスと「なし」クラスを除く 7 つのクラスを使用して、データの不均衡の問題とは別に、データ不足への対処に焦点を当てました。次に、各クラスのバランスの取れたデータサイズで 100 ～ 6,400 の範囲の小規模なデータセットを使用して、7 つのクラスのトレーニングデータセットとテストデータセットをサブサンプリングしました。データを前処理するために、最初にウェーハマップのサイズを (64, 64) に変更し、ウェーハマップの背景を削除して、ウェーハマップサイズの変化による欠陥点のみを保持しました。これにより、サイズ変更後に側面の形状がわずかに異なる可能性があります。したがって、モデルのトレーニングに悪影響を及ぼします。

アブレーション研究を通じて提案されたモデルを比較評価するために、4 つの比較モデルを確立しました。 1 つ目のベースラインモデルは、表 2 に詳細を示すように、ベースラインネットワークへの入力としてウェーハマップを利用しました。2 つ目のモデルであるラドンモデルは、同じベースラインネットワークにウェーハマップを入力する前にラドン変換を実行しました。 3 番目のモデルであるカーネルフリップモデルは、ベースラインネットワーク内に 2 つの分岐を持つカーネルフリップモジュールを持ち、入力としてウェーハマップを使用しました。最後に、提案されたモデルには、ラドン変換とカーネルフリップモジュールの両方がベースラインモデルに組み込まれており、これについても表 2 で詳しく説明します。

実験では、初期学習率を 0.0003 に設定し、モデルの重みの更新に Adam オプティマイザーを使用しました。学習率の減衰は、減衰率 0.99 で各エポックに使用されました。過学習を防ぐために、検証損失が 30 エポックの間減少しなかった場合、トレーニングステップは早期に停止されました。使用された損失関数は、分類タスクに適したクロスエントロピー損失です。それぞれの実験は、異なるランダムシードを使用して 20 回繰り返されました。結果は、すべての反復測定の平均および標準偏差として報告されます。

提案した手法の性能を評価するために、定量的分析と定性的分析の両方を実施しました。まず、提案手法の妥当性を検証するために、LRP 法を用いた定性分析を実行しました。具体的には、LRP ヒートマップを視覚的に検査して、モデルが意思決定を行うためにウェーハマップのさまざまな部分にどのように焦点を当てているかを分析しました。さらに、これらの変換がウェーハマップに対するモデルの注意にどのような影響を与えるかを評価することにより、元のウェーハマップの回転と反転が提案されたモデル推論に及ぼす影響を検証しました。これらの実験を通じて、ベースラインと提案された方法の定性的パフォーマンスを比較しました。提案手法の LRP ヒートマップはラドンの特徴に基づいているため、ベースラインとの直接比較は困難でした。したがって、投影スライス定理を使用して、ラドン特徴ベースの推論から得られた関連性スコアに逆ラドン変換を適用し、元のウェーハマップとラドン特徴ベースの推論の間の一貫性を検証しました。これにより、提案された方法をベースラインと比較することができました。

次に、提案されたモデルのパフォーマンスを評価するために定量的な分析を実行しました。最初に、全体とサブクラスの両方の全体的なパフォーマンスに対する各モジュールの影響を分析することにより、提案された方法の妥当性を検証するためにアブレーションスタディを実行しました。さらに、混同行列を使用して、各クラスの提案されたモデルのパフォーマンスに対する回転と反転の影響を評価しました。回転や反転のばらつきの度合いはウェーハマップパターンによって異なり、ばらつきが少ないクラスもあれば、ばらつきが大きいクラスもある。たとえば、センタークラスとドーナツクラスには全方向に均一な欠陥点が含まれているため、回転と反転の変動はわずかですが、スクラッチクラスは方向と方向に関係なく曲線または直線の形状で存在するため、反転と回転の変動が大きくなります。位置。

最後に、モデルの一般化パフォーマンスを検証するために、元のテストセットと未確認の (配布外の) 拡張テストセットで、提案モデルと比較モデルのパフォーマンスを徹底的に比較しました。具体的には、回転および反転変換の目に見えない分布に一般化するモデルの能力を評価しました。元のテストセットはトレーニングでは使用されなかったので見えないと考えることができますが、それでも元のデータセット内の分布に限定されていました。提案されたモデルの一般化に対する堅牢性を評価するために、テストセットを直接回転および反転して、元のデータセットの分布を超えて拡張することでデータセットを生成しました。回転拡張テストセットには 90°、180°、および 270° の回転拡張テストセットが含まれ、反転拡張テストセットには水平および垂直に反転されたテストセットが含まれていました。次に、回転と反転の 2 つの拡張方法を統合しました。拡張テストセットには元のテストセットが含まれていないことに注意することが重要です。この比較により、提案されたモデルアーキテクチャの妥当性を確認し、目に見えない状況に対するその堅牢性を検証することができました。

まず、取得した LRP ヒートマップを使用してラベル分類のモデル決定がどのように行われるかを確認します。図 4 は、各クラスのベースラインモデルと提案されたモデルの関連性スコアを比較しています。 2 番目の列を調べると、ベースラインモデルが主にウェーハマップ上に表される視覚的パターンに関係していることが明らかです。一方、ラドンモデルの決定を直接解釈することは困難であるため、5 番目の列に示すように、逆ラドン変換による変換された関連性を使用して比較されました。その結果、提案モデルはウェーハマップ上の欠陥パターンにも対応していることが判明した。これは、モデルがラドンの特徴のみに基づいて評価された場合でも、ウェーハマップに含まれる形状情報が保持されることを示しているため、重要な発見です。さらに、予測結果を比較すると、提案されたモデルが主な欠陥の位置のみに焦点を当てていることが明らかであり、これにより分類パフォーマンスが向上していることがわかります。特に、結果は、C3 や C7 などのクラスについて、提案されたモデルがベースラインと比較して明確なパターンの位置により多くの注意を払っていることを示しています。この観察は、C3、C5、および C7 には回転と反転の変換に幅広いバリエーションがあり、ベースラインモデルがクラス識別機能を学習することが困難になっているという事実と一致しています。対照的に、提案されたモデルは、回転および反転変換に関して堅牢な学習を示しており、これが観察されたパフォーマンスの向上の背後にある理由である可能性があります。この発見は、提案された方法が、多様な画像変換の存在下でより堅牢で識別可能な特徴を学習するのに効果的であるという証拠を提供し、これは困難な現実世界のシナリオに特に役立ちます。

サイズ 6400 サンプルのトレインセットでトレーニングされたモデルを使用した、すべてのクラスのベースラインと提案された手法のレイヤーごとの関連性ヒートマップ分析。 1 列目と 3 列目は、それぞれベースラインモデルと提案モデルの入力に対応します。 2 番目と 4 番目の列は、モデル決定に対する LRP 解釈の結果を示しています。 5 番目の列は、提案された方法の LRP 結果の逆ラドン変換結果を表示します。これは、元のウェーハマップの形状と一致するように表されます。この図のすべての画像は、Python 3.8.4 を使用して視覚化されました。ラドンおよび逆ラドン変換は scikit-image ライブラリバージョン 0.20.0 を使用して実行され、LRP ヒートマップは提案されたマルチブランチ LRP 方法を使用して取得されました。

図 5 は、マルチブランチ LRP 法によってテストセットを回転および反転しながら、ベースラインモデルと提案モデルの関連性スコアを比較しています。ウェーハマップとラドンフィーチャの行 1 ～ 4 は、ウェーハマップの回転がラドンフィーチャの平行移動として機能することを示し、行 5 ～ 8 は、ウェーハマップの垂直方向の反転がラドンフィーチャの水平方向の反転として機能することを示しています。提案されたモデルによって得られた LRP ヒートマップに基づいて、活性化領域は回転ウェーハマップでは水平方向に変換され、同様に垂直方向に反転されたウェーハマップでは水平方向に変換されます。さらに、提案モデルのヒートマップに対して逆ラドン変換を実行することにより、関連性スコアが元のウェーハマップの欠陥パターンを示していることが確認されました。その結果、提案されたモデルのラドン変換ベースのカーネルフリッピング法は、ウェーハパターン分類のための回転およびフリップ不変性の取得に大きく貢献します。

サイズ 6400 のサンプルのトレインセットでトレーニングされたモデルを使用した、ベースラインのレイヤーごとの関連性ヒートマップ分析と、回転または反転したテストウェーハマップの提案手法。 1 列目と 3 列目は、それぞれベースラインモデルと提案モデルの入力に対応します。 2 番目と 4 番目の列は、モデル決定に対する LRP 解釈の結果を示しています。 5 番目の列は、提案された方法の LRP 結果の逆ラドン変換結果を表示します。これは、元のウェーハマップの形状と一致するように表されます。この図のすべての画像は、Python 3.8.4 を使用して視覚化されました。ラドンおよび逆ラドン変換は scikit-image ライブラリバージョン 0.20.0 を使用して実行され、LRP ヒートマップは提案されたマルチブランチ LRP 方法を使用して取得されました。

もう 1 つの注目すべき点は、元のウェーハマップが回転および反転されるたびに、ベースラインモデルの関連性スコアはさまざまな異なる位置に注目しますが、提案されたモデルは元のウェーハマップの欠陥点により重点を置いているということです。これは、提案されたモデルが入力ウェーハの回転と反転の変動に対して高いロバスト性の分類パフォーマンスを備えていることを示しています。これは、「定量分析」で後述するように、元のテストセットと拡張されたテストセットに対して向上した分類パフォーマンスを示す理由でもあります。

図 6a と表 3 は、さまざまな列車セット設定に対する比較モデルの分類精度の比較を示しています。ラドンモデルとカーネルフリップモデル、および提案されたモデルは、ベースラインモデルよりも高い分類精度を示します。特に、ラドンモデルはカーネルフリップモデルよりも優れたパフォーマンスを示しており、ウェーハマップパターンがフリップよりも回転に対してより多くの変動を示すことを示しています。すべての方法の中で、提案されたモデルが最も高いパフォーマンスを達成し、回転と反転の両方で不変性が保証されていることを示しています。

(a) さまざまな編成サイズの比較モデル間の分類精度の比較、(b) ベースラインと提案手法のクラスごとの精度の差、(c) ベースラインモデルの混同行列、(d) 提案手法の混同行列サイズ6400の列車セットのモデル。

図 6b ～ d は、クラス精度の観点からベースラインモデルと提案モデルの比較を示しています。図 6b は、混同行列 (図 6c、d) の対角要素であるクラス精度間の違いを示しています。図 6b は、提案されたモデルがベースラインモデルよりもすべてのクラスの精度が高いことを示しています。特に、C3 (edge-loc)、C5 (loc)、C6 (random)、および C7 (scratch) がすべてのクラスの中で大幅に増加しています。この傾向は、このクラスが他のクラスよりも回転と反転の分散がかなり大きいという事実と一致しています。したがって、提案モデルの高精度は回転と反転の不変性に由来していることが確認できます。

表 4 は、拡張テストセットの比較モデルの分類精度を比較しています。行 1 ～ 2 では、ベースラインモデルとカーネルフリップモデルがフリップ拡張テストセットの下で評価されます。行 3 ～ 4 では、ベースラインモデルとラドンモデルが回転拡張テストセットの下で評価されます。行 5 ～ 6 では、ベースラインモデルと提案されたモデルが、回転および反転拡張テストセットの下で評価されます。すべてのケースにおいて、比較モデルはベースラインモデルよりも高い精度をスコアします。これは、提案されたモデルとそのアブレーションモデルが、回転または反転の目に見えない拡張状況に対して不変に回転または反転として機能することを意味します。

図 7 は、サイズ 6400 のトレインセットにおける元の状況と未確認の拡張状況の比較モデルの分類精度を示しています。図 7a は、ベースラインモデルとカーネルフリップモデルの両方の元のテストセットとフリップ拡張テストセットの評価結果を示しています。図７ｂは、ベースラインモデルとラドンモデルの両方の回転拡張テストセットの評価結果を示し、図７ｃは、ベースラインモデルと提案モデルの両方の回転および反転拡張テストセットの評価結果を示す。図 7 に示すように、ラドン、カーネルフリップ、および提案されたモデルはすべて、各拡張テストセットでベースラインモデルよりも高い精度を達成しています。ただし、3 つのケースすべてにおいて、2 つの状況の間では精度がわずかに低下します。ベースラインモデル間の削減ギャップが他の比較モデルよりも大きいことは注目に値します。これは、提案モデルの方が、目に見えない拡張状況における汎化性能の性能劣化に強いと解釈できる。

サイズ 6400 のトレインセットでの元のテストセットと拡張テストセットの比較モデルの精度。(a) 反転された拡張テストセットで比較されたベースラインモデルとカーネルフリップモデル、(b) 回転された拡張テストセットで比較されたベースラインモデルとラドンモデル、 (c) 回転および反転された拡張テストセットで比較されたベースラインモデルと提案されたモデル。

図 8 は、サイズ 6400 のトレインセットでの提案モデルとベースラインモデル間の各クラスの汎化パフォーマンスを比較しています。図 8a は、図 8b (元のテストセット) と図 8b (元のテストセット) に示されているベースラインモデルのクラス精度の違いを示しています。 8c (回転および反転された拡張テストセット)。図 8d は、提案されたモデルの図 8e (元のテストセット) と図 8f (回転および反転された拡張テストセット) の間のクラス精度の差の違いを示しています。図 8g は、図 8d と図 8a の違いを示しています。これは、提案されたモデルが各クラスのベースラインモデルよりも一般化が優れていることを示しています。図8dから、提案されたモデルは、すべてのクラスの目に見えない拡張データセットの一般化の観点から、パフォーマンスの低下に対してより高い耐性を持っていることがわかりますが、クラスC3（エッジロック）、C5（ロック）、およびC7 （スクラッチ）大幅な増加を示します。回転および反転に敏感なクラスに対するこの驚異的な一般化パフォーマンスは、提案されたモデルが回転および反転の不変性を効果的に保持していることを示しています。さらに、この傾向は、「分類パフォーマンスの比較」で説明した元のテストセットの結果と一致しています。

(a) サイズ 6400 のトレインセットにおける、(b) 元のテストセットと (c) 回転および反転された拡張テストセット間のクラス精度のギャップ。(d) (e) 元のテストセット間のクラス精度のギャップ。 (f) サイズ 6400 の列車セットにおける、提案されたモデルの回転および反転された拡張テストセット。 (g) (d) と (a) の差。それぞれのベースラインモデルと比較して、提案されたモデルによる汎化パフォーマンスの向上を示します。クラス。

この論文では、ラドン変換とカーネルフリップ技術の組み合わせを利用して、ウェーハマップの欠陥パターン分類における回転とフリップの不変性を達成するための新しい方法を紹介します。ラドン機能は、元のウェーハマップの回転を平行移動に変換することで回転の不変性を保証し、カーネルフリッピングアプローチはフリップの不変性を提供します。提案手法では、これら 2 つのモジュールを適切に組み合わせることで、反転カーネルブランチの数を最小限に抑えた効率的なネットワーク構造を採用します。 WM-811K データセットを使用して、定性的評価と定量的評価の両方でモデルを広範囲に検証します。私たちが提案したモデルの解釈可能性は、新しく提案されたマルチブランチ LRP 手法を使用してその決定を検証することによって実証されます。提案されたモデルは、回転と反転の不変性を確保することに成功することで、限られたデータ状況でも高い検出パフォーマンスを実現します。さらに、回転および反転拡張テストセットを使用して、分布外データの回転および反転不変量に関する提案された方法の一般化パフォーマンスを評価しました。私たちの研究は、ウェーハのラベリングの特性を適切に反映し、将来のウェーハ診断の適切なベースラインとして機能する、効率的なエンドツーエンドの深層学習モデルを提供します。

現在の研究中に生成されたデータセット、および/または現在の研究中に分析されたデータセットは、MIR Corpora リポジトリ (オンライン: http://mirlab.org/dataSet/public/) で入手できます。

Tong, L.-I.、Wang, C.-H. & ファン、C.-L. Hotelling T/sup 2/管理チャートを使用して、IC 製造における欠陥を監視します。 IEEEトランス。半導体。メーカー 18、140–147 (2005)。

記事 Google Scholar

キム、B.、チョン、Y.-S.、トン、SH、チャン、I.-K. & Jeong、M.-K. 複数の空間マップを使用して DRAM ウェーハの異常を検出するためのステップダウン空間ランダム性テスト。 IEEEトランス。半導体。メーカー 29、57–65 (2015)。

記事 Google Scholar

亀山和也、小杉裕子、岡橋哲也、泉田正人、ニューラルネットワークを用いた半導体外観検査における自動欠陥分類。電子情報通信学会論文誌情報システム。 81、1261–1271 (1998)。

Google スカラー

Yuan, T.、Bae, SJ & Park, JI サポートベクタークラスタリングを使用した半導体製造におけるベイジアン空間欠陥パターン認識。内部。 J.Adv. メーカーテクノロジー。 51、671–683 (2010)。

記事 Google Scholar

ウー、M.-J.、ジャン、J.-SR、チェン、J.-L。大規模なデータセットに対するウェーハマップの故障パターン認識と類似性ランキング。 IEEEトランス。半導体。メーカー 28、1–12 (2014)。

Google スカラー

Yu, J. & Lu, X. 局所および非局所の結合線形判別分析を使用したウェーハマップ欠陥の検出と認識。 IEEEトランス。半導体。メーカー 29、33–43 (2015)。

記事 Google Scholar

Saqlain, M.、Jargalsaikhan, B. & Lee, JY 半導体製造におけるウェーハマップ欠陥パターン識別のための投票アンサンブル分類器。 IEEEトランス。半導体。メーカー 32、171–182 (2019)。

記事 Google Scholar

中沢、T. & Kulkarni、DV 畳み込みニューラルネットワークを使用したウェーハマップの欠陥パターンの分類と画像検索。 IEEEトランス。半導体。メーカー 31、309–314 (2018)。

記事 Google Scholar

Devika, B. & George, N. 半導体ウェーハ欠陥検出のための畳み込みニューラルネットワーク。 2019 年の第 10 回コンピューティング、通信、ネットワーキング技術に関する国際会議 (ICCCNT)。 1–6 (IEEE、2019)。

Kyon, K. & Kim, H. 畳み込みニューラルネットワークを使用したウェーハビンマップ内の混合タイプの欠陥パターンの分類。 IEEEトランス。半導体。メーカー 31、395–402 (2018)。

記事 Google Scholar

Yu, N.、Xu, Q. & Wang, H. 畳み込みニューラルネットワークに基づくウェーハ欠陥パターンの認識と分析。 IEEEトランス。半導体。メーカー 32、566–573 (2019)。

記事 Google Scholar

Kang, S. 畳み込みニューラルネットワークによる回転不変ウェーハマップパターン分類。 IEEE Access 8、170650–170658 (2020)。

記事 Google Scholar

Kahng, H. & Kim, SB ウェーハビンマップの欠陥パターン分類のための自己教師あり表現学習。 IEEEトランス。半導体。メーカー 34、74–86 (2020)。

記事 Google Scholar

Laptev, D.、Savinov, N.、Buhmann, JM & Pollefeys, M. Ti プーリング: 畳み込みニューラルネットワークの特徴学習のための変換不変プーリング。コンピュータービジョンとパターン認識に関するIEEE会議議事録。 289–297。

Cheng, G.、Zhou, P. & Han, J. VHR 光学リモートセンシング画像における物体検出のための回転不変畳み込みニューラルネットワークの学習。 IEEEトランス。地理学。 Remote Sens. 54、7405–7415 (2016)。

記事 ADS Google Scholar

Cheng, G.、Zhou, P. & Han, J. Rifd-cnn: 物体検出のための回転不変およびフィッシャー識別畳み込みニューラルネットワーク。コンピュータービジョンとパターン認識に関するIEEE会議議事録。 2884 ～ 2893 年。

Dieleman, S.、Willett, KW & Dambre, J. 銀河形態予測のための回転不変畳み込みニューラルネットワーク。月ない。 R・アストロン。社会 450、1441–1459 (2015)。

記事 ADS Google Scholar

Dieleman, S.、De Fauw, J、Kavukcuoglu, K. 畳み込みニューラルネットワークにおける周期対称性の利用。機械学習に関する国際会議で。 (PMLR、2016)。

Cohen, T.、および Welling, M. グループの等変畳み込みネットワーク。機械学習に関する国際会議で。 (PMLR、2016)。

Marcos, D.、Volpi, M.、Tuia, D. テクスチャ分類のための回転不変畳み込みフィルターの学習。 2016 年の第 23 回パターン認識国際会議 (ICPR)。 2012 ～ 2017 年 (IEEE、2016)。

Gao, H. & Ji, S. 高密度予測のための効率的で不変の畳み込みニューラルネットワーク。 2017 年の IEEE データマイニング国際会議 (ICDM)。 871–876 (IEEE、2017)。

Worrall, DE、Garbin, SJ、Turmukhambetov, D. & Brostow, GJ 高調波ネットワーク: 深い平行移動と回転の等価性。コンピュータービジョンとパターン認識に関するIEEE会議議事録。 5028 ～ 5037。

Jaderberg, M.、Simonyan, K.、Zisserman, A. 空間変換ネットワーク。神経情報処理システムの進歩。 Vol. 28 (Curran Associates, Inc.、2015)。

Esteves, C.、Allen-Blanchette, C.、Zhou, X.、Daniilidis, K. 極地変圧器ネットワーク。 arXiv プレプリント arXiv:1709.01889 (2017)。

Dai、J.ら。変形可能な畳み込みネットワーク。コンピュータビジョンに関するIEEE国際会議の議事録に掲載。 764 ～ 773 年。

三村正史、戸田博司、リー群のトポロジー、I および II。 Vol. 91 (アメリカ数学協会、1991)。

マクシム、K.ら。少量のデータを使用したディープラーニング手法に基づいてウェーハマップの欠陥を分類します。 2019 年国際工学および電気通信会議 (EnT) に参加。 1–5 (IEEE、2019)。

Hansen, C. & Thyregod, P. 集積回路製造におけるウェーハマップの使用。マイクロ電子。安心。 38、1155–1164 (1998)。

記事 Google Scholar

ウー、M.-J.、チャン、J.-S. & チェン、J.-L. 大規模なデータセットに対するウェーハマップの故障パターン認識と類似性ランキング。 IEEEトランス。半導体。メーカー 28(1)、1–12 (2014)。

Google スカラー

Alawieh, MB、Boning, D. & Pan, DZ 深層選択学習を使用したウェーハマップの欠陥パターン分類。 2020 年の第 57 回 ACM/IEEE デザインオートメーションカンファレンス (DAC)。 1–6 (IEEE、2020)。

リファレンスをダウンロードする

この研究は、一部は韓国政府科学情報通信省（MSIT）から資金提供された韓国国立研究財団（NRF）助成金（番号2020R1A2C1009744）によって財政的に支援され、一部は民間軍事技術協力研究所から資金提供を受けました。補助金番号 19-CM-GU-01 に基づき、韓国政府防衛調達計画管理局および産業通商資源省、および一部は韓国政府が資金提供する韓国エネルギー技術評価計画研究院 (KETEP) 補助金によるもの [産業通商資源部 (MOTIE)] 補助金 20206610100290 に基づく。

浦項科学技術大学 (POSTECH)、韓国、浦項市機械工学科

チョン・イルジュ、イ・スヨン、パク・ゴンヒョク、キム・イルジョク、ホ・ヒョンソク、イ・スンチョル

浦項科学技術大学 (POSTECH)、韓国・浦項市人工知能大学院

イ・スンチョル

延世大学校先進技術融合研究教育院、50 Yonsei-ro、Seoul、Republic of Korea

イ・スンチョル

PubMed Google Scholar でこの著者を検索することもできます

方法論、執筆-原案、執筆-レビューおよび編集、IJ; 概念化、形式分析、SYL および KP。データキュレーション、調査、IK、HH。監督、資金調達、SL

イ・スンチョルさんへの手紙。

著者らは競合する利害関係を宣言していません。

シュプリンガーネイチャーは、発行された地図および所属機関における管轄権の主張に関して中立を保ちます。

オープンアクセスこの記事はクリエイティブコモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブコモンズライセンスへのリンクを提供し、変更が加えられたかどうかを示します。この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブコモンズライセンスに含まれています。素材が記事のクリエイティブコモンズライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Jeong, I.、Lee, SY、Park, K. 他幾何学的変換不変の畳み込みニューラルネットワークを使用したウェーハマップの故障パターン分類。 Sci Rep 13、8127 (2023)。 https://doi.org/10.1038/s41598-023-34147-2

引用をダウンロード

受信日: 2023 年 2 月 16 日

受理日: 2023 年 4 月 25 日

公開日: 2023 年 5 月 19 日

DOI: https://doi.org/10.1038/s41598-023-34147-2

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

コメントを送信すると、利用規約とコミュニティガイドラインに従うことに同意したことになります。虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。