배깅된 예측에 대한 개념적 질문

[#1]

나는 회귀 모델에서 일상적으로 얻는 표준 오류와 비교할 수 있는 기계 학습 모델의 불확실성 측정값을 찾는 동안 오랫동안 고군분투했습니다. 최근에야 나는 프로파일러의 일부 기능, 특히 배깅된 예측 기능에 대해 알게 되었습니다. 하지만 나는 이러한 예측을 해석하는 방법(또는 해석해야 하는지)을 정말로 이해하지 못합니다. 기계 학습 모델(예: 신경망)을 실행하고 프로파일러에서 배깅된 예측을 저장하면 배깅 평균, 배깅 평균의 표준 오차 및 배깅 표준 편차를 얻습니다. 이를 회귀 모델(예: 다중 회귀)과 비교하여 다음과 같은 관계를 관찰했습니다.

• NN의 예측된 배깅 평균은 다중 회귀의 예측 공식과 매우 유사합니다.
• 다중 회귀 모델의 평균 예측 구간은 예상한 대로 개별 예측 구간보다 훨씬 좁습니다. (제가 보고 있는 예에서 평균 예측의 표준 오차는 개별 예측의 표준 오차 크기의 약 1/10입니다.) .
• NN의 배깅 평균의 표준 오차는 배깅 표준 편차보다 훨씬 작습니다(제가 보고 있는 예에서는 크기의 약 1/10).

이러한 관찰은 나로 하여금 NN의 배깅 평균의 표준 오차를 회귀 모델의 평균 예측의 표준 오차와 유사하다고 생각하게 만듭니다. 마찬가지로 배깅된 표준 편차는 회귀 모델의 개별 예측에 대한 표준 오차와 유사할 수 있습니다.

그러나 NN의 표준 오류와 회귀 모델은 서로 전혀 유사하지 않습니다! 따라서 내 질문은 내 해석이 의미가 있는지 또는 배그 평균의 표준 오류가 정확히 어떻게 해석되거나 사용될 수 있는지입니다.

어떤 통찰력이라도 미리 감사드립니다. 내 질문에 도움이 될 경우를 대비해 구체적인 예를 첨부했습니다(이것은 다중 회귀 모델 및 NN의 예측이 포함된 내 모델링 예의 검증 데이터 세트입니다).

[#2]

부록 - 첨부한 파일에서 다중 회귀의 표준 오류를 (과대) 추정했습니다.저장된 95% 신뢰 구간을 사용하여 추정했습니다.표준오류를 직접 저장한 수정본을 첨부합니다.NN의 표준 오차는 검증 세트 내에서 명백한 상관관계가 거의 없는 다중 회귀(평균)의 절반도 안 되는 것처럼 보이기 때문에 제 질문은 남아 있습니다.두 모델 모두 데이터에 매우 적합합니다.그래서 배깅 평균의 표준오차에 대한 해석도 다중회귀에서 예측의 표준오차가 해석되는 것과 같은 방식으로 예측과 관련된 표준오차로 적절하게 해석되는지 궁금합니다.

[#3]

예.

Neural 플랫폼은 소수의 숨겨진 노드만 있는 경우에도 복잡한 모델을 사용합니다. 회귀 모델에 많은 항을 추가한다고 상상해 보십시오. RMSE는 어떻게 됩니까? 그러면 SE는 어떻게 됩니까? 회귀 모델의 복잡성이 NN의 복잡성과 비슷합니까?

나는 당신이 NN이나 다른 ML 방법을 오용하고 있다고 말하는 것이 아닙니다. 그것들은 추론에 관한 것이 아니라 모두 예측에 관한 것임을 기억하십시오. 따라서 추정치의 불확실성은 중요하지 않으며 정확성/재현성/일반화가 전부입니다. 따라서 예측 모델(설명 모델이 아님)은 모델을 선택하기 위해 총 MSE(편향 + 분산)의 측정을 사용하고 선택된 모델을 확인하기 위해 '정직한 평가' 또는 교차 검증을 사용합니다.

그러나 요점은 평균 응답 예측이 유사하더라도 서로 다른 모델의 SE가 동일할 이유가 없다는 것입니다. 이 차이는 응용 프로그램에서 하나의 모델에 이점을 제공할 수 있습니다.

[#4]

마크, 고마워.어느 정도 도움이 됩니다.NN이 더 작은 표준 오류를 제공하는 이유를 설명할 수 있습니다(두 모델이 데이터에 잘 맞을 때 차이의 크기에 여전히 놀랐지만).그러나 각 예측과 관련된 표준 오류에 상관 관계가 거의 없는 이유를 실제로 설명하지 못하는 것 같습니다.내가 게시한 데이터는 두 모델 간의 각 관찰의 표준 예측 오류 사이에 사실상 의미 있는 관계가 없음을 보여줍니다.이제 다중 회귀 모델의 경우 다른 관찰과 관련된 표준 오류를 결정하는 것이 무엇인지 어느 정도 알 수 있지만 NN의 경우 실제로는 그렇지 않습니다.아마도 그것이 그들이 서로 관련이 없는 이유일까요?이것은 NN 모델의 해석 가능성 부족과 관련된 차원입니까?

[#5]

NN은 매우 비선형적인 앙상블 모델입니다. 2차 항이 있을 수 있는 회귀 모델과 비교하십시오. 표준 오차는 이 두 종류의 모델에서 매우 다릅니다.

저는 개인적으로 NN을 해석할 수 없거나 선형 회귀 모델을 해석할 수 있다는 개념에 동의하지 않습니다. (어리석다고 생각합니다.) 예측 변수 X의 효과는 이를 포함하는 모든 항의 선형 조합입니다. 예를 들어, '2차 효과'에 대해 이야기하는 것은 넌센스입니다. 모형에는 2차 항만 있습니다. 그렇다면 X + X*X2 + X*X + X*X*X로 모델에 나타날 때 X의 효과를 어떻게 해석합니까? 우리는 이러한 용어로 생각하는 데 익숙합니다. 우리는 그것에 대해 수년 동안 노출되었고 그것에 대해 생각할 시간이 있었습니다. NN은 비선형 활성화 함수를 통해 동일(선형 예측기)에 더 가깝고 각 노드에 대해 더 많은 것을 추가합니다. 우리는 더 열심히 생각해야 합니다.

아니오. 모든 종류의 함수(모델)와 함께 작동하는 프로파일러가 있습니다.

[#6]

나는 당신이 말하는 것을 따르고 있지만 내 질문이 다른 것이 된 것 같습니다.NN을 제외합시다.프로파일러는 다중 회귀 플랫폼에서도 사용할 수 있으므로 배깅된 예측의 표준 오류가 회귀 모델에서 저장된 표준 오류와 어떻게 비교되는지 확인하기 위해 몇 가지 실험을 했습니다.완벽하지는 않지만 상관 관계가 있습니다.개별 예측 표준 편차는 예상대로 평균 예측 표준 편차보다 훨씬 크며 이는 배깅된 평균을 저장할 때 얻는 두 가지 표준 오류에도 적용됩니다.그러나 나를 놀라게 하고 이해하지 못하는 것은 배깅된 예측(개별 또는 평균 버전) 저장의 표준 오류가 회귀 모델의 표준 오류보다 훨씬 작은 이유입니다.내 이해(잘못되었을 수 있음)는 예측의 표준 오차가 이론적으로 회귀 모델에서 파생되고 배깅된 예측에서 부트스트래핑의 결과라는 것입니다.이론적으로 그것들은 유사해야 합니다(적어도 충분한 부트스트랩 샘플이 있는 경우 - 100과 1000을 사용했으며 둘 다 비슷한 결과를 제공합니다). 하지만 그렇지 않습니다.

따라서 프로파일러의 표준오차는 회귀모델의 표준오차와 질적으로 다른 것으로 보인다.왜 그런가요?

[#7]

" 내 이해(잘못되었을 수 있음)는 예측의 표준 오차가 이론적으로 회귀 모델에서 파생되고 배깅된 예측에서 부트스트래핑의 결과라는 것입니다.이론적으로 그것들은 유사해야 합니다(적어도 충분한 부트스트랩 샘플이 있는 경우 - 100과 1000을 사용했으며 둘 다 비슷한 결과를 제공합니다). 하지만 그렇지 않습니다. "

어떤 이론을 말하는 건가요?

[#8]

나는 다중 회귀에 대한 예측 신뢰 구간이 오류 구조 및 무작위 샘플링에 대한 가정에서 파생된 공식을 통해 파생된다고 생각합니다(궁극적으로 중앙 극한 정리의 기초가 되는 논리에서 파생됨).다른 한편으로, 저는 Bagged 예측이 부트스트래핑(신뢰 구간 유도에 대한 비모수적 실증적 접근 방식)에서 파생되었다고 생각합니다.또한 기본 데이터의 분포가 비정상적이거나 불충분한 샘플 크기가 부트스트랩에 사용되지 않는 한 이 두 가지 접근 방식이 일반적으로 비슷하다고 생각합니다.

제가 첨부한 파일에서는 이러한 문제가 발생하지 않는다고 생각합니다.평균 예측은 2가지 접근 방식과 거의 동일하지만 프로파일러의 표준 오류는 이론적으로 도출된 값보다 훨씬 작습니다.이것이 내가 프로파일러 표준 오류의 의미를 오해하고 있다고 생각하게 만드는 것입니다.그렇지 않다면 왜 이론적으로 도출된 표준 오차를 사용하겠습니까?

[#9]

" 나는 다중 회귀에 대한 예측 신뢰 구간이 오류 구조 및 무작위 샘플링에 대한 가정에서 파생된 공식을 통해 파생된다고 생각합니다(궁극적으로 중앙 극한 정리의 기초가 되는 논리에서 파생됨).다른 한편으로, 저는 Bagged 예측이 부트스트래핑(신뢰 구간 유도에 대한 비모수적 실증적 접근 방식)에서 파생되었다고 생각합니다.또한 기본 데이터의 분포가 비정상적이거나 불충분한 샘플 크기가 부트스트랩에 사용되지 않는 한 이 두 가지 접근 방식이 일반적으로 비슷하다고 생각합니다. "

예! 즉, CI에 대한 이론적 표현과 동일한 선형 회귀 모델에 대한 부트스트랩 CI를 사용하는 경우 CI ESTIMATES가 일치해야 합니다.

[#10]

표시

그런 다음 내가 게시한 마지막 예제 데이터 세트를 살펴보라고 요청합니다.신뢰 구간(표준 오차)은 거의 일치하지도 않습니다.이는 간단한 선형 회귀를 위한 것이며 예측 표준 오류를 프로파일러에서 배깅된 예측을 저장하여 얻은 것과 비교합니다.후자는 전자보다 훨씬 작습니다.그것이 내가 혼란스러운 이유입니다.