Skip to content
Popular Search tm5modbusvisionprofinettm-

Meaning of Precision / Recall in AI

Table of Contents

系統檢測能力評估指標 #

  • NG產品 :

 

 

 

 

 

 

 

 

  • OK產品 :

 

  • Positive : 實際所關注的類別，本例為NG產品
  • Negative : 與關注類別相對的產品，本例為OK產品
  • True Positive(TP) = NG產品，且被系統正確判定為NG產品
  • True Negative(TN) = OK產品，且被系統正確判定為OK產品
  • False Positive(FP) = OK產品，但被系統判定為NG產品
  • False Negative(FN) = NG產品，但被系統判定為OK產品

當檢測系統輸出 = NG

當檢測系統輸出 = OK

召回率與精確率 #

  • 召回率 = TP/(TP+FN)
  • 精確率 = TP/(TP+FP)

當檢測條件 = 中等 #

  • 召回率 = TP/(TP+FN) = 8/9 = 0.89

=> 每100瑕疵品，會有11件流出

  • 精確率 = TP/(TP+FP) = 8/10 = 0.80

=> 每100件被系統判斷為瑕疵的產品，實際上其中只有80件為瑕疵品

當檢測條件 = 嚴格 (提高檢測條件，確保NG產品不外流) #

 

  • 召回率 = TP/(TP+FN) = 9/9 = 1.00

=> 瑕疵品都能100%檢出，不會流出

  • 精確率 = TP/(TP+FP) = 9/12 = 0.75

=> 每100件被系統判斷為瑕疵的產品，實際上其中只有75件為瑕疵品

 

情境 #

  • 一、假設工廠生產良率為80%，即每一百件有80件良品， 20件NG
    • 導入一召回率89%、精確率80%的檢測系統，當生產100件產品，20件NG品中會有 2.2( = 20*(1-0.89))件NG品流出，會有25 ( = 20/0.80)件被系統判為NG，需要人員複判

系統導入效益：

      1. 有11%的NG品會流出
      2. 人員檢測由百百檢，減少為100件檢須檢測25件，Workload減少至原本的 25%
  • 二、假設工廠生產良率為80%，即每一百件有80件良品， 20件NG
    • 導入一召回率100%、精確率75%的檢測系統，當生產100件產品，不會有瑕疵品流出，會有26.67 ( = 20/0.75)件被系統判為NG，需要人員複判

系統導入效益：

      1. NG品不會流出
      2. 人員檢測由百百檢，減少為100件檢須檢測26.67件，Workload減少至原本的 26.67%
  • 三、假設工廠生產良率為99%，即每一百件有99件良品， 1件NG
    • 導入一召回率100%、精確率75%的檢測系統，當生產100件產品，不會有瑕疵品流出，會有1.33 ( = 1/0.75)件被系統判為NG，需要人員複判

系統導入效益：

      1.  NG品不會流出
      2. 人員檢測由百百檢，減少為100件檢須檢測1.33件，Workload減少至原本的 1.33%

 

 

What are your Feelings

Powered by BetterDocs