Hello, and  welcome  to  my  presentation  about  JMP  in  qualification  and  validation  of  biological  assays.  I've  divided  this  presentation  into  five  parts.  At  first,  I  want  to  give  you  a  small  introduction  about  my  person  and  the  company  I'm  working  for,   VelaLabs.  The  second  part  is  a  general  introduction  about  method  qualification  and  method  validation  like  we  perform  it  at   VelaLabs  often.  The  third  part  is  how  we  collect  and  summarize  the  data.  Then  I  will  continue  with  the  JMP  data  table  where  I've  created  some  scripts  to  evaluate  the  data  generated  during  qualification  and  validation.  The  last  part,  I  will  talk  about  some  additional  robustness  parameters  where  different  functions  of  JMP  are  used.

My  name  is  Alexander  Gill,  and  I'm  at  VelaLabs  since  2019.  I'm  a  laboratory  expert  in  the  l igand binding assay  group .  I'm  mostly  responsible  for  method  development,  qualification,  and  validation  for   Biacore assays  and  ELI assays.  VelaLabs is  a  contract  laboratory  for  quality  control u nder  GMP  conditions.  We  have  four  operational  departments:  the  ligand binding assay  group,  the  physico- chemical  group,  and  the  cell- based  assay  group,  and the  microbiological  group.

Method  qualification  and  validation  is  important  in  the  life  cycle  of  pharmaceuticals  and   biologicals.  Here,  the  life  cycle  of  such  drugs  is  shown  from  the  pre- clinical  phase  over  the  clinical  phases  and  the  application.  During  the  pre- clinical  phase,  developed  methods  are  suitable  which  are  on  the  scientifically  sound.  Afterwards,  for  the  clinical  trials  phase  1  and  phase  2,  we  use  mostly  qualified  methods.

For  method  qualification,  we  show  with  some  suitable  parameters  the  performance  of  the  assay.  If  the  assay  is  then  validated,  derived  from  the  data  generated  during  qualification,  we  create  limits  which  must  be  reached  during  method  validation.  The  validated  method  afterwards  is  used  for  clinical  trials  phase  3,  new  drug  application,  and  also  for  batch  release  in  post-marketing  afterwards.

Here,  I've  shown  some  examples  for  the  performance  parameters.  The  accuracy  shows  if  the  method  has  any  bias  or  shift,  or  especially  it  lacks  bias  or  shift/  the  intermediate  precision  is  the  variability  between  runs  where  we  show  that  different  operators  and  different  devices  on  different  days  do  not  influence  the  result.  The  repeatability  is  the  variability  within  one  run  where  we  try  to  keep  the  differences  between  the  reported  values  as  small  as  possible.

The  linearity  shows  the  dose  response  of  the  assay  over  the  whole  assay  range.  During  the  robustness,  we  show  that  different  parameters  can  or  cannot  influence  the  result.  For  example,  different  ligand  lots  or  different  models  of  devices.  Then  the  sensitivity  to  detect  stability- indicating  changes,  there  we  use  mostly  stress  samples  to  show  that  they  can  be  easily  distinguished  to  non- stress  samples.  Specificity  is,  for  example,  a  blank  subtraction  or  positive  or  negative  controls.

The  data  collection  is  mostly  performed  in  Microsoft  Excel  because  it's  more  accessible  within  our  company.  I  will  come  later  to  this.  We  also  collect  the  reported  value,  which  is  the  final  outcome  of  the  assay.  The  reported  value  is  calculated  using  a  validated  software  like  PLA,  SoftMax  Pro,  or  the  Biacore  Software.  This  is  to  ensure  the  data  integrity.  Every  step  where  a  human  is  involved  in  the  evaluation  has  to  be  checked  by  a  second  operator.  As  I  use  a  relative  potency  assay  as  example  for  this  presentation,  I've  also  shown  here  what's  the  reported  value  for  this  assay.  It's  the  relative  potency  with  the  95 %  confidence  interval  as  a  quality  parameter.

Here  are  the  reasons  why  we  use  Microsoft  Excel  for  the  data  collection  because  it's  available  on  every  PC  within  our  company  and  every  employee  has  basic  knowledge  about  it.  The  raw  data  from  the  validated  softwares  are  also  often  exported  in  Excel.  What  is  really  important  that  the  data  in  Excel  are  organized  in   datasets,  so  they  can  be  transferred  to  JMP  more  easily.

Here  is  a  basic  experimental  design  for  a  method  qualification  or  validation.  The  first  six  runs  are  basically  designed  around  the  intermediate  precision  where  we  use  50%,  100%,  and  200 %  sample  mimics  in  each  of  these  six  runs.  These  runs  are  spread  above  two  devices,  two  operators,  and  performed  on  three  different  days.  We  report  the  mean  relative  potency  for  each  of  these  dosage  points,  the  standard  deviation,  the  coefficient  of  variation,  and  the  95 %  confidence  interval.  For  accuracy,  we  use  the  same   dataset  as  for  intermediate  precision,  but  we  calculate  the  mean  recovery,  and  therefore  standard  deviation,  C V,  and  95 %  confidence  interval  both  for  all  18   datasets  together  and  also  for  each  dosage  point  separate.

The  seventh  run  is  for  the  determination  of  repeatability  where  we  use  six  100 %  sample  mimics  within  one  run  and  also  report  the  mean  relative  potency,  standard  deviations,  CV,  and  the  95 %  confidence  interval.  Then  for  linearity,  which  is  here  in  run  1,  we  use  the  sample  mimics  for  intermediate  precision  and  additionally  use  75 %  and  150 %  sample  mimic  within  this  one  run  to  show  that  the  results  are  linear  over  the  whole  assay  range.  Therefore,  we  report  the  correlation  coefficient,  the  slope,   Y-intercept,  and  residual  sum  of  squares.  For  robustness,  in  this  case,  we  show  a  lower  and  a  higher  immobilization  level  and  also  use  two  different  lots  of  the  ligand.

Then  now,  I'll  show  you  the  Excel  table  where  we  can  see  here  in  the  first  few  columns  the  metadata  for  each  data set,  then  the  reported  value  with  the  95 %  confidence  interval,  the  slope  ratio,  which  is  additional  quality  parameter  and  shows  afterwards  if  the  analyte  is  comparable  to  the  reference.  The  column  for  recovery  is  empty  because  the  recovery  will  be  calculated  in  the  JMP  software.  Here,  the  matrix  where  it's  defined  which   datasets  are  used  for  which  parameters.

Then  there  are  two  different  possibilities  to  transfer  this  data  into  the  JMP  software.  One  is  with  this  function  where  a  data  table  can  directly  be  created  out  of  this  table.  But  in  this  case,  I  won't  use  this  function  because  I  have  already  created  a  JMP  table  with  all  the  scripts  I  need.  I  just  copy  all  the  data.  But  for  this  procedure,  it's  important  to  show  all  available  digits  of  the  reported  values  because  only  the  shown  digits  are  pasted  afterwards  into  the  JMP  software.

I  now  copy  with  CTRL+ C  all  this  data  and  then  go  to  the  JMP  data  table  where  I  can  paste  all  this  data.  Then  we  get  here  an  alert  because  in  the  column  Recovery,  I  created  a  formula  to  calculate  the  recovery.  I  don't  want  to  paste  the  data  in  here,  but  the  Excel  table  does  not  contain  data  in  this  column.  We  click  Okay,  and  everything  is  pasted  as  we  wanted.

For  what  purposes  JMP  can  be  used  under  GMP  conditions?  We  use  it  during  the  method  development  phase  for  design  of  experiments,  for  example,  to  investigate  more  different  parameters  of  the  method  within  one  set  of  experiments.  Then  use  it  for  the  statistical  data  analysis  and  also  for  comparability  studies.  For  example , if  a  customer  wants  to  compare  a  biosimilar  with  the  originator.

During  qualification  and  validation,  JMP  can  also  be  used  for  the  design  of  experiments.  For  example,  for  the  intermediate  precision  parameters  or  to  spread  the  robustness  parameters  over  the  qualification  runs.  Then  I  will  show  afterwards  for  the  determination  of  assay  performance  in  qualification  and  for  the  check  of  the  assay  performance  during  validation.  But  for  this,  an additional  QC  check  is  required  afterwards  if  all  the  calculations  are  performed  in  the  right  way.  This  is  very  important  that  JMP  is  not  really  usable  for  the  determination  of  reported  values.  Therefore,  as  I  mentioned  before,  we  used  mostly  validated  softwares.

Now  we  go  to  the  JMP  data  table  where  I  will   first  show  you  how  I  create  most  of  the  script.  Therefore,  I  use  distribution.  For  example,  if  I  create  the  accuracy  at  50 %,  I  select  the  Recovery  and  choose  it  for  the  Y  columns.  Then  I  click  Okay.  Then  we  have  here  all  available   datasets.  To  limit  these  datas ets,  I  create  a  local  data  filter  and  use  Accuracy  and  edit.  If  it  then  choose  all  the  columns  indicated  with  an  X,  we  have  reduced  the  data sets  to  18.

To  reduce  it  further  for  only  the  50 %  sample  mimics,  I  add  with  the  AND  function  an  additional  filter  for  the  nominal  potency,  which  I  then  limit  to  the  sample  mimics  with  about  50 %  nominal  potency.  Then  you  see  we  have  only  six   datasets  left  with  mean  recovery  of  99 %  and  a  coefficient  of  variation  of  about  6 %  and  the  confidence  interval.  To  save  this  script,  I  go  again  to  the  red  triangle  here  and  save  the  script  to  data  table.

For  example,  as  accuracy  50 %  2,  because  I've  already  created  a  similar  script  here.  The  difference  for  the  intermediate  position,  if  we  open,  for  example,  here  the  intermediate  position  at  100 %  is  only  that  we  not  use  the  recovery  here,  but  the  relative  potency  and  have  also  again  the  same  parameters  reported.

For  repeatability, w e  choose  only  one  run  with  the  six  100 %  sample  mimics.  We  report  also  the  same  data  like  the  mean  relative  potency,  the  standard  deviation,  the  95 %  confidence  interval,  and  also  the  coefficient  of  variation.

What's  also  very  interesting  here  is  the  linearity  where  we  use  a  different  function.  I  created  this  using  a  Y  by  X  plot  and  plotted  the  relative  potency  by  the  nominal  potency  and  created  a  linear  fit  through  all  these  data  points.  Then  we  report  the   Y-intercept,  the  slope  of  the  linear  fit,  the  RS quare  or  coefficient  of  correlation,  and  also  the  sum  of  squares  error  or  residual  sum  of  squares.  Then  we  go  back  to  the  presentation.

For  additional  robustness  parameters,  we,  for  example,  show  the  performance  of  the   assay using  different  material  lots.  For  them,  we  show  if  they  have  equal  variances.  If  the  variances  are  equal,  we  use  the  T-t est.  If  not,  we  use  the  Welch- test.  For  example,  for  ELISA  methods, w e  also  measure  sometimes  the  plates  on  two  different  models  of  plate  readers  to  show  if  both  models  can  be  used.  This  is  then  analyzed  using  a  paired  T- test.

At  the  end,  I  want  to  thank  you  for  your  attention.  If  you  have  any  further  questions,  you  can  type  it  into  the  Q&A  or  contact  me  directly.