Hello,  everyone.  My  name  is  Tom  Witkos,  and  today  we're  together  with  Hadley   Myers from  JMP.  We'll  be  presenting  to  you  about  speeding  up  assay  development  with  automated  workflow  for  assessing  plate  bias  of  microtiter  plate  assays.  First,  I  would  like  to  start  with  acknowledgements  of  several  team  members  from   AstraZeneca,  Deepika,  and  Barbara,  who  has  helped  us  with  explaining  certain  concepts  and  also  testing  the  JMP  plugin.

During  the  presentation,  I  would  briefly  introduce  to  you  what  the  potency  testing  of  biologics  mean,  how  we  use   microtiter plates  in  our  work,  and  also  statistical  analysis  such  as  plate  bias  and  uniformity  that  are  very  important  for  assay  development.  U ltimately,  we  will  present  to  you  the  JMP   Add-in  that  Hadley  and  I  have  written  that  allows  us  to  perform  this  analysis  in  a  much  more  streamlined  and  more  powerful  manner.

First,  I  would  like  to  put  potency  assays  into  drug  R&D  perspective.  There  are  a  number  of  biological  assays  used  both  at  the  pre- clinical,  clinical,  and  commercial  stages.  First,  we  typically  have  screening  and  selection  assays  at  the  pre- clinical  stage.  Those  types  of type  of  assays  are  trying  to  answer  the  question,  which  molecule  has  a  biological  activity? I dentify  candidates  for  drugs.

When  the  candidate  drug  has  been  already  identified,  we  would  move  to  something  which  we  would  call  potency  assays.  Here  we  only  work  with  a  certain  drug  candidate,  only  one.  We  manufacture  many  different  lots  of  this  molecule  that  are  going  to  be  used  in  clinical  trials  and  ultimately  as  well,  lots  that  would  be  made  post- approval  of  the  drug  in  the  commercial  setting.  H ere,  the  question  that  we  are asking  is,  is  the  biological  activity  at  a  similar  level  between  lots?  A ll  we  care  about  is  the  lot- to- lot  consistency,  whether  it's  preserved  or  not.

A s  such,  potency  testing  is  a  critical  property  of  the  drug,  and  it's  part  of  something  which  we'll  call  CMC,  Chemistry  Manufacturing  Process  and  Controls.  Analytical  testing,  such  as  the  biological  activity  tests  that  our  team  is  in  charge  of  developing,  are  quite  important  to  feed  into  the  optimization  of  the  manufacturing  process  at  pretty  much  every  stage.  B oth  at  the  upstream  and  downstream  stages.  W hen  the  biologics  are  being  manufactured  and  then  further  purified,  as  well  as  at  the  stages  of  developing  formulation  and  also  packaging  for  these  drug  molecules.

Screening  and  potency  assays  both  measure  biological  activity,  but  they  do  it  in  a  slightly  different  manner.  Within  the  screening  bio  assays,  we  have  quite  a  few  compounds  that  are  not  going  to  have  any  biological  activity  or  very  little.  Some  with  moderate  and  also  a  few  compounds  with  quite  high  biological  activity.  Because  we  are  focusing  on  identification  of  candidate  drug  molecules,  the  differences  that  we  see  in  the  biological  activity  are  going  to  be  very  high.

Basically,  our  assays  need  to  resolve  lock  scale  differences  between  different  drugs  regarding  their  biological  activity.  For  the  CMC  potency  assays,  we  already  have  the  candidate  drug  nominated.  W hile  making  different  lots  of  the  same  molecule,  we  would  expect   when  the  manufacturing  process  is  well  optimized  and  controlled,  that  the  differences  that  we  observe  in  the  biological  activity  are  going  to  be  small.  W e  need  to  quite  precisely  resolve  small  differences  within  the  twofold  change  between  different  lots  of  the  same  drug.

There  are  a  number  of  different  potency  assays  set  ups.  Without  going  into  too  big  details,  ultimately,  what  we  try  to  do  is  measure  biological  activity  by  quantifying  the  target  binding, m ainly  the  protein  that  our  drug  interacts  with.  T hat  can  be  either  as  part  of  the  recombinant  protein  or  being  presented  by  the  cells  that  express  a  certain  target  on  the  surface,  as  well  as  quantification  of  effect  of  that  target  binding. I n  this  case,  that  will  be  ultimately  cell- based  report  essays  where  we  will  be  looking  at  the  activation  or  incubation  of  certain  signalling  pathways  due  to  the  interaction  of  the  drug  with  a  certain  receptor.

A s  you  can  see,  regardless  of  the  assay  types,  in  all  of  these  settings,  we  use  micro titer  plates.  Most  commonly,  we  use  96- well  plates,  but  a  higher  number  of  well  plates  are  also  possible  to  be  used.  Within  one  assay  run,  so  within  one  experiment,  we  use  either  one  or  multiple  plates,  and  that  would  depend  on  in-plate  and  place- to- plate  variability.  Ultimately,  within  one  microtiter  plate,  every  single  well  can  be  seen  as  a  separate  mini  reaction.

In  this  particular  case,  we  have  a  very  common  protein  target  where  our  drug  interacts  to.  T hen  the  amount  of  the  bound  drug  is  detected  with  the  secondary  antibody.  In  this  example  as  well,  every  component  is  the  same  across  all  the  wells.  The  only  difference  being  a  gradient  in  the  concentration  of  our  given  molecule.  T hat  will  be  delivered  in  something  which  we  call  dilution  series.  O n  each  plate,  we'll  have  dilution  series  of  reference  material  and  also  of  our  tested  samples  of  unknown  biological  activity.

By  having  a  dilution  series,  we  would  expect  to  see  a  dose- response  curve.  W hat  you  can  see  here  in  case  of  the  binding,  what  we  would  expect  is  that  the  more  drug  we  put,  the  higher  the  response  we  should  be  able  to  observe.  We  would  then  fit  that  data  into  a  model.  Most  likely  it's  going  to  be  a  non-linear- 4PL  model.  T hen  we  would  work  with  these  fits,  and  we  do  a  pairwise  comparison  of  fits  between  the  reference  standard  and  our  tested  molecules,  where  we  would  share  the  lower  and  upper  asymptotes  and  the  growth  rate,  so  the  slope  of  those  curves.

Given  that  the  curves  look  similar  to  each  other,  we  would  be  able  to  calculate  the  inflection  point.  In  this  case,  it's  going  to  be  either  EC  50  or  IC  50,  depending  whether  we  are  looking  at  the  activation  or  inhibition.  And  that  difference  in  the  EC  50  or  IC  50  between  these  two  curves  would  then  can  be  mathematically  converted  into  something  we  term  %  relative  potency.  T hat's  our  ultimate  readout.  Within  potency  assay  development,  there  are  a  number  of  experiments  that  we  need  to  perform  in  order  to  achieve  an  assay  that  can  be  used  for  biologics  testing  and  can  ultimately  be  validated.

For  example,  here  we  would  start  with  screening  reagents  and  assay  conditions,  both  done  in  the  one  factor  at  the  time  and  the  Screening  DoE  fashion.  Then  we  would  establish  a  proof  of  concept  dose- response  curve.  We  would  look  at  the  plate  layout  and  then  lock  it  together  with  its  experimental  conditions.  A ll  of  these  steps  can  be  analyzed  in  JMP.  F or  today's  presentation,  I'm  going  to  focus  on  quite  crucial  part  of  this  assay  development  step,  which  is  establishing  the  plate  layout.  L ooking  at  some  time  through  the  term  plate  uniformity  and  plate  bias.

First,  let's  talk  about  plate  bias.  Let's  step  back  for  a  moment  and  think  of  a  situation  where  we  have  have  every  single  well  being  identical.  Meaning  that  we  even  have  a  constant  concentration  of  our  drugs  across  both  rows  and  columns.  I n  ideal  world,  we  would  expect  to  see  no  variability  between  the  wells,  as  you  can  see  here  on  the  plate  map  generated  by  JMP.  In  reality,  we  know  that  some  variability  is  inevitable.  However,  we  really  need  to  understand  its  sources  and  the  variability  needs  to  be  controlled  in  order  to  have  a  precise  and  accurate  measurement  of  the  biological  activity.

Scale  really  matters  in  these  types  of  plate  maps  that  can  be  very  easily  generated  using  JMP.  H ere  I  created  two  different  data  sets  and  then  visualize  them  using  JMP.  A s  you  can  see,  just  by  looking  at  the  plate  maps,  you  could  see  a  very  random  pattern  in  response  both  across  columns  and  wells.  Here  I'm  showing  you  an  analysis  by  the  plate  row,  but  then  the  moment  you  scale  it  up,  you  can  clearly  see  that  the  upper  essay  is  much  more  accurate  and  precise  and  have  lower  variability  compared  to  what  we  could  see  in  the  lower  part  example.

JMP  offers  really  this  great  graphical  and  statistical  tools  that  when  combined  together  are  very  useful  for  this  type  of  analysis.  Patterns  of  variability  can  really  be  non- random  as  well.  Here,  following  in  our  example,  we  still  have  a  constant  concentration  of  our  drug,  and  we  can  see  the  changes  in  both  either  average  responses  or  in  variability.  In  the  top  example,  you  can  see  a  drift  in  the  average  response  when  we  move  across  plate  rows.

I n  the  bottom  example,  you  see  that  even  though  the  average  variability  across  the  plate,  row  wise,  is  still  the  same,  we  can  clearly  see  that  with  the  plate  row  changes,  we  also  see  a  magnitude  of  the  changes  in  terms  of  the  variability  within  the  row. T hat's  something  that  we  really  need  to  pay  a  big  attention  to  because  ultimately  on  our  plates,  we  always  have  to  have  certain  wells  where  we  are  going  to  deliver  our  dilution  series  of  reference  material  and  our  tested  samples.

F or  the  plate  uniformity,  I'm  going  to  present  you  briefly  a  case  study  with  a  non- cell  based  binding  assay  where  we  have  a  recombinant  target.  T hat's  a  recombinant  protein  which  is  coded  on  the  microtiter  plates.  W e  come  up  with  our  drug,  again,  in  the  form  of  dilution  series.  I n  this  case,  the  biologic  is  a  monoclonal  antibody.  W e  are  able  to  use  a  detection  reagent  coupled  with  an  enzyme,  where  after  addition  of  the  clear  substrate,  the  substrate  gets  catalyzed  by  the  enzyme  in  presence  of  our  drug  in  order  to  yield  a  colorful  product.

A s  you  can  see,  there  are  multiple  steps  and  multiple  washes  alongside.  Many  binding  assays  would  have  similar  set  up,  but  they  can  differ.  T hese  differences  can  be,  for  example,  in  liquid  volumes,  incubation  times,  buffers,  reagent  conditions,  and  plate  types  used.  B ecause  of  that,  plate  uniformity  has  really  been  conducted  for  every  assay  we  develop.  Because  there  are  many  potential  sources  of  variability,  including  the  operator.

We  already  had  a  workflow  in  place  in  our  team  to  do  that,  but  that  was  really  cumbersome,  which  I  hope  you  would  be  quite  clear  when  we  dive  into  this  slide.  What  we  had  to  do  is  manually  export  the  plate  response  data  from  our  plate  reader  into  the  Excel  sheet.  We  had  to  manually  rearrange  the  data  into  dilution  series  and  then  break  it  down  per  plate.  We  were  calculating  EC  50  or  IC  50  in  a  different  third  party  software.  Those  measured  inflection  points  had  to  be  then  manually  re-exported  from  that  software  back  into  Excel.

We  had  to  manually  arrange  the  data  back  in  the  Excel  in  a  format  that  would  be  digestible  for  a  simple  Fit  Y  by  x  analysis   in  JMP.  T ogether  with  Hadley,  we  were  able  to  develop  a  JMP  plugin,  which  is  able  to  do  everything  and  even  more  than  that  in  just  one  step  without  the  need  of  using  any  pieces  of  software  whatsoever.  A s  you  can  see  here,  the  whole  workflow  is  broken  down  into  three  steps.

First  is  the  data  import  into  JMP.  We  are  able  to  import  multiple  plates  at  once.  We  are  able  to  generate  plate  heat  maps  just  to  visually  export  the  data  and  potentially  detect  and  eliminate  outliers  that  would  otherwise  skew  our  data  analysis  and  potentially  lead  to  misconclusions.  T hen  we  are  able  to  look  at  the  curve  bias  analysis  going  by  plate  rows  or  plate  columns.  I f  anything  looks  potentially  suspicious  or  we  want  to  do  a  deeper  dive,  we  fully  employ  JMP  interactiveness.  Just  by  hovering  over  a  certain  data  point,  we're  able  to  look  at  the  curves  and  that  particular  infliction  point  calculation  comes  from.

I  hope  it  will  be  much  clearer  in  a  moment  when  Hadley  is  going  to  demonstrate  the  JMP  plugin  in  JMP.  Hadley,  the  floor  is  yours.

All  right,  thank  you  very  much.  Thomas  and  hello,  everyone.  I'm  going  to  go  ahead  and  share  my  screen.  Before  I  jump  directly  into  the  ad,  I'd  like  to  show  you  that  the  ad  takes  advantage  of  a  number  of  features  in  JMP.  First  one  is  the  Fit  Curve  platform  available  from  Specialized  Modeling.  How  the  Fit  Curve  works.  Actually,  maybe  I'll  show  it  in  bio  assays  a  bit  better.  How  Fit  Curve  works  is  that  it  allows  you  to  calculate  information  about  your  known  curve  shapes.  For  example,  the  growth  rate,  or  in  our  case,  the  one  that  we  were  interested  in  was  the  inflection  point,  fit  a  variety  of  different  types  of  curves.  For  example,  the  sigmoidal  curves,  which  is  what  we  were  using  here.

The  other  one  that  it  makes  use  of  is  the  map  shapes.  Map  shapes  tells  the  software  to  recognize  a  certain  value  in  a  column  as  a  figure  on  a  map  and  to  reproduce  that  figure  in  Graph  Builder.  You  can  see  that  here.  JMP  comes  preloaded  with  many  default  shapes,  for  example,  country  names,  and  there  are  some  others  as  well.  The  microtiter  wells  are  not  included  with  JMP  by  default.  If  anybody  is  interested  in  using  them,  you  can  find  them  over  on  the  community.  I  think  that  there's  a  link  to  this  location  where  you  can  download  these   well shapes, these map shapes  in  our  presentation  on  the  same  page.

Without  further  ado,  let's  jump  into  some  of  what  the   Add-in  does.  If  I  were  to  open  up  this  example  here  where  you  could  see  the  name  of  the  cell,  the  plate  that  it  came  from,  the  data,  and  then  the  plate  row  column,  and  then  the  concentration  value.  The  first  thing  we'd  like  to  do  is  to  visualize  this.  The   Add-in  allows  us  to  do  that  by  clicking  on  the  Generate  Cell  Maps  button  where  I  can  put  in  the  data,  the  plate  name,  and  the  cell  name, press OK.

Here  you  can  see  all  the  different  map  shapes  and  use  these  to  very  quickly  identify  outliers  or  any  special  thing  that  may  be  happening  over  the  plate  that  you  can  recognize  visually.  Right  away,  we've  gotten  some  value  of  this.  What  I'd  like  to  say,  though,  is  that  the  data,  when  it  comes  out  of  the  machine  at  a  day's  end,  I  was  told  this  in  quite  such  a  nice  format,  it  actually  looks  like  this.  It's  these  CSV  files,  and  you  can  see  all  of  that  information  here.  The  very  first  step  is  to  take  all  of  this  data  and  to  get  it  into  JMP.  Of  course,  JMP  can  read  CSV  files,  so  that's  not  such  a  big  problem.  There  it  is.

Once  we've  done  that,  we  need  to  grab  the  individual  data  from  the  plates  themselves.  There's  a  number  of  plates  here.  Here  we  can  use  the   Add-in  for  some  help.   I'm  going  to  grab  this.  By  the  way,  for  anyone  watching  this,  if  you  have  similar  data  or  similar  needs  and  are  interested  in  developing  these   Add-ins  yourself,  you  can  always  reach  out  to  your  local  JMP  team  for  help.  They'd  be  happy  to  show  you  how  to  do  these  and  work  with  you  to  do  them  as  well.  N ow  that  I've  highlighted  all  of  these,  I've  selected  them  in  the  table,  I'm  going  to  go  ahead  and  import  this  data.  N ow  it's  in  the  right  format  and  I  can  go  ahead  and  generate  my  map  shapes.

The  other  thing  that  I  can  do  is  calculate  all  my  EC  50  values  or  anything  else  that  I'd  like  to  calculate.  In  order  to  do  that,  I  need  to  grab  the  concentrations.  As  I  understand  that  the  concentrations  that  are  used  change  from  example  to  example,  so  there  wasn't  an  option  to  automate  this.  But  the  people  running  these  know  what  they  are  for  their  specific  example,  so  they  can  grab  them  and  then  import  them  like  that.  N ow  what  we'll  do  is  we'll  go  ahead  and  generate  all  of  our  EC  50  values.  Generate  inflection  point  table.  H ere's  my  data.  Here's  my  concentration.  Here's  my  plate,  and  here's  my  row  information.  I'll  press  OK.  Now  I've  got  a  table  of  all  of  the  EC  50  values.

This  is  very  nice.  I  can  do  some  analysis   JMP if  I  want  to.  The  other  thing  you'll  notice  is  that  it's  created  a  Fit  Group  script  here,  which  I  can  use  to  explore  the  estimates  by  plate  row,  and  by  plate  themselves.  This  is  plate  row.  If  we're  looking  at  it  by  row,  if  we're  looking  at  by  column,  it  would  be  plate  column.  This  is  very  nice,  but  what  it  does  is  it  takes  advantage  of  another  JMP  feature  called  Graphlets,  which  allows  you  to  generate  or  open  up  and  run  any  any  platform  in  JMP  from  any  platform  in  JMP,  either  that  platform  or  another  platform.

In  this  case,  we'd  like  to  run  Fit  curve  from  our  Fit  Y  by  x  Fit  Group  report.  We  can  do  that  simply  by  hovering  over  any  point  that  captures  our  interest.  When  we  do  that,  we  generate  the  inflection  point.  The  whole  curve,  we  can  look  at  it,  or  we  can  dive  in  a  little  closer  by  clicking  that  button.  That  takes  us  right  into  Fit  curve  with  the  sample  that  generated  that  shape.  Different  things  that  we  can  do  with  this  data.  Perhaps  one  other  thing  that  I'll  show  you  that  the   Add-in  can  do  is  to  explore  this  a  little  bit  more  closely  to  explore  the  variability  from  sample  to  sample.

We  can  do  that  by  pressing  this  button  and  then  exploring  the  standard  deviation  of  all  of  the  samples  that  in  theory  would  be  the  same,  but  there's  going  to  be  some  variability.  We  could  see  what  that  looks  like  over  here.  I  hope  you  found  that  interesting.  I  hope  that's  given  you  some  ideas  about  how  you  can  build  similar   Add-ins  yourself  or  automate  processes  that  typically  take  a  long  time.  Thomas,  how  long  would  this  have  taken  without  the  use  of  the   Add-in?

Probably  something  around   3-5  hours.  I  think  the  conclusions  that  could  be  drawn  may  not  necessarily  reflect  the  reality.  Simply  because  certain  tools  were  not  available  for  us.  Definitely  much  of  a  drastic  change  in  the  ways  how  we  work.  Thank  you  very  much,  Hadley,  for  that  presentation.  Just  to  finish  off,  I  will  just  summarize  everything.  Hopefully,  you  can  see  my  slides  now.

I  would  just  want  to  reiterate  the  benefits  of  the  new  tools.  It  is  really  a  one  stop- shop  for  plate  bias  and  uniformity  analysis  with  most  models  which  are  already  chosen  for  users.  That  was  quite  important  for  us  as  well.  Just  to  ensure  that  we  have  this  full  compliance  within  our  team  that  the  best  models  are  being  used.  The  plate  heat   map generation  option  allowed  us  to  remove  any  of  the  obvious  data  outliers  in  order  to  focus  on  the  true  variability  analysis.

Let's  think  for  a  moment  that  we  have  an  outlier  in  one  of  the  five  plates  in  one  of  the  wells  in  row  H  that  not  necessarily  means  that  the  variability  of  the  whole  row  H  across  all  the  assay  runs  would  always  be  much  higher  compared  to  the  other  rows.  As  reiterated  also  at  the  very  beginning  through  that  question  that  Hadley  has  asked,  we  really  were  able  to  remove  the  manual  and  error  prone  copy  paste  of  the  data.

What  I  really  personally  very  liked  is  the  interconnected  connectivity  of  curve  analysis  with  plate  raw  and  column  variability  analysis.  T hat's  these  types  of  graphs  that  Hadley  has  demonstrated  to  you.  More  in  depth  analysis  of  uncertainty  in  the  calculation  of  the  inflection  point  is  possible.  That's  something  that  we  are  exploring  further  as  well  to  perhaps  extend  that  JMP   Add-in  even  further.  A ll  in  all,  it  definitely  aids  and  speeds  up  development  of  robust  potency   assays in  our  team  going  forward.

T hank  you  very  much  for  your  attention.  Both  Hadley  and  I  would  be  willing  to  take  any  questions  just  by  contacting  us  at  JMP  User  forum.  Thank  you  very  much.