Data Scientists Need Design of Experiments

anne_milley · Feb 10, 2023 04:11 PM

我們很高興在我們的第一個節目中邀請到令人驚嘆的父女二人組 Chris Nachtsheim 博士和 Abby Nachtsheim 博士從統計上來說2023 年。我們很享受過去與克里斯一起舉辦的活動，就像這樣很棒全體會議講話在過去的美洲探索高峰會上（非常值得再次觀看！）。我們非常有興趣了解更多有關艾比迷人計畫的資訊。

Chris 是明尼蘇達大學卡爾森管理學院供應鏈與營運系 Frank A. Donaldson 營運管理系主任。他的研究興趣涵蓋工業實驗的最佳化設計、預測建模和品質管理。他與人合著了多本書籍，並在統計文獻中發表了大量文章。他是美國統計協會會員，並獲得了許多獎項，其中包括：

四次獲得美國品質協會布倫博獎
兩次獲得勞埃德·納爾遜獎
三度獲得傑克約登技術計量學最佳說明性論文獎。

艾比是洛斯阿拉莫斯國家實驗室統計科學小組的統計學家。她定期與物理學家、化學家、生物學家、電腦科學家和工程師合作，為複雜的跨學科問題開發解決方案。她的研究興趣集中在實驗設計和分析上，並為洛斯阿拉莫斯國家實驗室的廣泛應用提供能源部專業知識。她也是國家統計界的活躍成員，目前擔任美國統計協會雙城分會主席。

undefined

他們的統計演講全體會議非常吸引人，聊天中的許多 Zoom 反應和評論證明了這一點，例如：

「我*愛*能源部！它確實改變了我的研發科學家的工作效率。”
“喜歡艾比作品的合作！！！”
“很有啟發性的演講，謝謝！”
“這真是太了不起了。”
“遺憾的是 DOE 在數據科學中沒有更多地使用，因為它對於創建盡可能信息最豐富、最具代表性的訓練數據集非常有幫助。”
“感謝你們進行了精彩的討論。”

他們的全體會議也激發了許多好問題，其中一些問題在我們有限的問答時間內沒有得到解答，但艾比和克里斯善意地同意回答觀眾在這篇文章中提出的更多好問題。

對於這些擁有實驗或因果建模部門的公司來說，他們可能還需要哪些其他技能，特別是當實驗可能不可行時？

您需要對回歸和預測建模有很好的理解，可能還需要能夠使用 R 和/或 Python 進行編碼，並且p也許熟悉一些因果建模技術。重要的是，要充分理解觀察研究和實驗研究之間的差異。實驗給出了因果關係。觀察性研究給出假設。

您能否使用化學配方的 Plackett-Burman 設計來評估各個成分？或應該始終使用混合設計？我在 DOE 混合物助手下使用了 Minitab 的篩選器和建模工具，但沒有使用混合物設計，因為我通常評估篩選器的三個以上因素和建模的大約 3-4 個因素。

是的，您可以使用 Plackett-Burman 設計來設計化學配方。如果組分百分比的總和等於 100% 或某個其他常數（例如，總混合物的 40%），則您需要 1) 使用混合物實驗，或 2) 保留其中一個組分並使用更標準的設計，例如Plackett -Burman。省略一個被稱為鬆弛變數方法。當然，如果組分百分比總和不是固定常數，則混合設計不適用。

使用 DOE 而非隨機梯度下降進行超參數調整有哪些優點/缺點？這些方法可以一起使用（也許 DoE 首先？）神經網路？可以考慮他們嗎？複雜的案件可以考慮他們嗎？

隨機梯度下降是一種重要的最佳化技術，通常用於將神經網路中的（可能數百萬個）參數擬合為一組固定的超參數。但我不會將它用於超參數優化——相對於使用設計的實驗來說，它會很昂貴。

PCA/PLS 怎麼樣？他們可以得到能源部的「協助」嗎？

從與明尼蘇達大學 Dennis Cook 教授對此主題的討論中，我們知道 DOE「不」協助 PLS（偏最小平方法）是有理論原因的。儘管有可能，但我們不知道 DOE 和 PCA 之間有任何有用的聯繫。

您認為在現代能源部工作的統計學家對大數據產生影響的最大機會在哪裡？我知道 A/B 測試似乎正在成為一個具有巨大潛力的新領域（請參閱 Nicholas Larsen、Jonathan Stallrich、Srijan Sengupta、Alex Deng、Ron Kohavi 和 Nathaniel Stevens，“在線控制實驗中的統計挑戰：A/B 測試方法回顧」。

DOE 的統計學家可以對 A/B 測試產生重大影響，既可以透過有效使用受試者，也可以透過實施能夠估計因素之間交互作用的多因素實驗，即超越 OFAAT 測試。但我們懷疑最大的影響將來自參與人工智慧模型的開發和測試。

成功的公司是否使用實驗？

絕對地。根據產品的不同，程度可能會有所不同，但實驗在最好的公司中得到了廣泛的應用。關於這一點有很多文獻。從最近的一個地方開始哈佛商業評論文章：舍普納，F.；湯克，S.； LOVEMAN，GW 像科學家一樣行事。哈佛商業評論, [sl] , v. 100，n。 3，第 3 頁。 120-129，2022 年。

在我聽到的討論中，機器學習聽起來比能源部「更受歡迎」。您如何描述基於 DOE（而非 ML）建模的好處以及使用 DOE 收集資料以進行 ML 分析的方法？

我們不認為 ML 和 DOE 是相互競爭的方法。DOE 只是一種收集資料的有效方法，用於了解各種可控因素如何影響感興趣的回應。機器學習是一種將高度複雜的模型擬合（通常）大量現有資料的方法。數據可以是觀察數據，也可以是設計實驗的結果。

DOE 資料分析與資料科學課程課程應包含哪些主題？例如，我們是否應該專注於 A/B 測驗等通常不在標準 DOE 課程中的主題？

除了 A/B 測試之外，DOE 主題還應包括因子實驗的設計和分析、分塊、協方差分析和篩選設計。充分理解主效應和交互作用之間的差異至關重要。

您如何評估 DOE 的品質？

實驗前還是實驗後？在實驗之前，有許多衡量設計優劣的標準統計指標，包括檢測我們想要看到的效果的功效、因素之間的正交度、預期精度、穩健性、誤差自由度、D-效率等非統計：我們控制了嗎全部影響反應的因素有哪些？我們隨機化了嗎？響應測量可靠嗎？實驗後：統計模型預測可靠嗎？實驗可複製嗎？

最大熵設計對於估計機械/確定性模型的參數有用嗎？

我們討論的最大熵設計在該應用中沒有用。我們的設計旨在區分兩個或多個模型，這可能是機械性/確定性的。

您如何尋找 DOE 的相關因素？我的經驗是，我們經常運行 DOE，並意識到我們錯過了一些晦澀但重要的因素，然後需要重新運行設計。

這是一個大問題，我們也有過這樣的經驗。作為實驗設計者，我們必須依靠主題專家來事先確定重要因素。所以首先，如果可以的話，與真正聰明的人一起工作。如果存在許多不確定性，您可以廉價地篩選大量潛在因素，並將集合減少到相關因素。然後從那裡出發。

您對如何將 DOE 納入資料科學專案和課程有具體建議嗎？

重點關注 A/B 和 A/B/n 測試，同時也介紹了析因實驗、分塊、協方差分析和篩選設計的概念。充分理解主效應和交互作用之間的差異至關重要。

如果您已經擁有大量觀測資料集，我們還需要 DOE 嗎？

觀察性研究無法證明因果關係，而且大多數觀察性資料集都是設計非常糟糕的研究，通常無法複製。如果您想可靠地識別因果關係，您需要 DOE。觀察性研究有助於確定後續實驗的潛在因素。

我們在直播期間提出但沒有現成答案的一個問題是：「是否有參與者正在與美國能源部合作和/或對美國能源部改善醫院運作感興趣？一個有用的資源可能是：服務業實驗設計：批判性文獻綜述與未來研究方向。如果閱讀這篇文章的其他人知道將 DOE 應用於醫院營運的更多資源，我們邀請您在評論中分享。謝謝！

非常感謝克里斯和艾比花時間分享更多他們的統計專業知識。我們希望您能觀看點播插曲從統計學角度來看，設計實驗的一些真正鼓舞人心的應用使我們所有人受益。

Victor_G · ‎02-13-2023

Thanks @anne_milley for this fascinating session of Statistically Speaking !

It was amazing to see in how many diverse projects Dr. Abby Nachtsheim was involved and how she succeeded in building appropriate designs and analyzing the results. This father-daughter statisticians duo is highly impressive !

I really hope this session will convince Data Scientists or anyone working with data about the importance and use of Design of Experiments. DoE and Machine Learning are two powerful complementary approaches, that can work in a synergistic way (for example with the building of Space-Filling designs and the modeling done with Support Vector Machines, Neural Networks, Tree-based methods, ...) to provide robust and precise solutions.

For the creation of representative and informative training sets for ML, or for the optimization of hyperparameters of different algorithms, DoE can also have an high impact and represent higher chances of success.

Some publications about optimizations of algorithms with DoE approaches:

anne_milley · ‎02-13-2023

Hi @Victor_G!. So glad you joined and found it so interesting (Such brilliance clearly runs in the family). And thanks for your feedback, enthusiasm, and for sharing such great additional resources!