JMP® 18: Going beyond simply satisficing Pythonistas

[#1]

1 年前、Python も使用していた JMP ユーザーは、私たちの Python インターフェースが最適とは言えないと考えていることを明らかにしました。ああ！私たちは、5 年以上前に導入した JMP と Python の統合が的を射ていると考えていました。それは満足のいくものでしかない (言い換えれば、十分ではあるが最高ではない) ことに気づき、私たちはこの課題に正面から取り組むことにしました。

JMP の主任システム開発者である Paul Nelson は、JMP 18 の JMP 内で Python スクリプトを作成および実行するための、一貫したフル機能の統合開発環境を作成する取り組みの先頭に立ちました。

私は最近、アップグレードされた JMP と Python の統合について Paul と話しました。 Paul 氏は、目標は Python 開発者に大幅に生産性の高い環境を提供することであると強調しました。主な改善点には次のようなものがあります。

構成を必要とせず、インストールするとすぐに機能する一貫した環境。 Python は、無制限の顧客の Python 環境をサポートします。無制限の顧客の Python 環境ではテストできない新しい JMP および Python 機能を追加することは不可能でした。ソリューション？ JMP 18 には、インストール後すぐに動作する完全にテストされた環境の基礎となる Python の組み込みバージョンが含まれています。

ライブ環境で Python データ テーブルに直接メモリ アクセスします。以前のバージョンでは、Python ユーザーは JMP データ テーブルのコピーにアクセスしました。 JMP 18 では、Python 環境から JMP データ テーブルに直接アクセスできるため、Python ユーザーは JMP 内の Python スクリプトから JMP テーブルにアクセス、作成、変更できるようになります。

Python のコメントとコードの色付け、および埋め込みログを使用する新しい Python スクリプト エディター。以前の統合では、JMP Scripting Language (JSL) が使用されました。 JSL は JSL 開発者にとって馴染みのあるものでしたが、Python の経験はあっても JSL の経験がない JMP ユーザーにとっては魅力的ではないことがよくありました。 JMP 18 では、ユーザーは JMP スクリプト エディターで Python スクリプトを開いて直接実行したり、Python スクリプトから JSL を実行したりできます。 JMP Scripting Index には、新しい機能の文書とサンプルが記載されています。 Python スクリプト用の一貫した環境があると、Python と JSL を使用してアドインを作成するための基盤も提供されます。

ポールの話をもっと聞いてください:

Interview with Paul Nelson.mp4

Video Player is loading.

Play Video

Play

Mute

Current Time 0:00

/

Duration 0:00

Loaded: 0%

0:00

Stream Type LIVE

Seek to live, currently behind liveLIVE

Remaining Time -0:00

1x

Playback Rate

Chapters

• Chapters

Descriptions

• descriptions off, selected

Captions

• captions settings, opens captions settings dialog
• captions off, selected

Audio Track

Picture-in-PictureFullscreen

This is a modal window.

Beginning of dialog window. Escape will cancel and close the window.

Text

ColorWhiteBlackRedGreenBlueYellowMagentaCyanTransparencyOpaqueSemi-Transparent

Background

ColorBlackWhiteRedGreenBlueYellowMagentaCyanTransparencyOpaqueSemi-TransparentTransparent

Window

ColorBlackWhiteRedGreenBlueYellowMagentaCyanTransparencyTransparentSemi-TransparentOpaque

Font Size

50%75%100%125%150%175%200%300%400%

Text Edge Style

NoneRaisedDepressedUniformDropshadow

Font Family

Proportional Sans-SerifMonospace Sans-SerifProportional SerifMonospace SerifCasualScriptSmall Caps

Reset restore all settings to the default valuesDone

Close Modal Dialog

End of dialog window.

Close Modal Dialog

This is a modal window. This modal can be closed by pressing the Escape key or activating the close button.

Paul の 3 月 21 日のライブ ウェビナー「開発者チュートリアル: JMP 18 の新しい Python 統合とスクリプト機能」への登録を検討して、彼の詳しい説明とインターフェイスのデモンストレーションを聞いてください。また、英国マンチェスターで開催される JMP ディスカバリー サミットに参加すると、3 月 6 日の午前のプレナリーの一部としてポールの講演を聞くことができます。

ちなみに、Python プログラマーではない私は、Python の創始者であるグイド ヴァン ロッサムが新しい言語に取り組み始めたときに「モンティ パイソンのフライング サーカス」の台本を読んでいたという噂を知りませんでした。彼は短くてユニークで興味深い名前が欲しかったので、それを Python と呼ぶことにしました。もっともらしいですね！

[BHarris]

Wow, this sounds awesome!

[tsl]

Comment / Question on bringing data back to JMP from Python.

Currently we can do this :

dt = Python Get( df )

where 'df' is a Python dataframe.

I have noticed that what the above command actually does is write the dataframe out to a CSV in the $TEMP folder, then invoke a JSL to read it in, then delete that temporary CSV. For large files there's obviously an overhead to both writing the file and scanning it / reading it in.

It would be very nice if this could be an in-memory transfer direct from Python to JMP

[Paul_Nelson]

In JMP 14-17 both the Python Send ( dt ) and Python Get( df ) operated by saving CSV through a temporary file.  This is one of the major changes in JMP 18.  With JMP 18, the Python Send ( dt ) now creates a jmp.DataTable object in Python.  This is not a copy it is a live in memory reference to the data table.  It is able to be read, and modified directly from Python.  From JSL if you do a Python Get ( dt ), the data table you will get the in-memory data table reference.  Left for compatibility concerns was the original Python Get( df ); method of getting a pandas dataframe into a JMP data table as a copy.  

You now have the power to take a data frame in Python and simply iterate on the data frame columns and create in-memory, the equivalent JMP data table.  See jmp.DataTable. under the new Python category in JMP 18's scripting Index.  There is also a Python subdirectory to Sample Scripts.  In there you will find a JMP2pandas.py script that shows two ways to create in-memory a pandas.DataFrame from a jmp.DataTable object, and one example of creating the jmp.DataTable object from the pandas.DataFrame ( in-memory )

# create JMP DataTable from pandas DataFrame
dt2 = jmp.DataTable('BC2',df.shape[0])
for j in range( df.shape[1] ):
	dt2.new_column(dt[j].name, dt[j].dtype)
	dt2[j] = list(df.iloc[:,j])

Where df is a pandas dataframe, and dt2 is the new JMP DataTable.   ( note dt is an also a JMP jmp.DataTable object,  the type parameter is a jmp.DataType enumeration value. ). The example file opened 'Big Class.jmp' as dt, creates a pandas.DataFrame, the creates dt2 from the data frame.

[BHarris]

Out of curiosity, will JMP v18 support formula columns with python code?

[Paul_Nelson]

Formula columns do not support Python code in JMP 18.  It is something that is being investigated, and would be a great feature.  There was an enormous amount of infrastructure that needed to be added to make JMP 18 robust, work on startup, support a Python aware script editor, enhanced error reporting, add scripting index, and opening up a bridge from Python to JMP.  Many things that had been lacking for some time, have now been enhanced to make what be believe to be an inviting and productive Python environment within JMP. 

Now that the heavy lifting has been done, we are not calling it a day.  Much more to come.

[BHarris]

@Paul_Nelson We're very excited to try it out, and are super grateful for your work so far!

[hogi]

Besides 

dt2 = jmp.DataTable('BC2',df.shape[0])

to create a data table in Jmp,

is it also possible to refer from Python to an already-existing data table and continue working with this table from Python?

[Paul_Nelson]

dt = jmp.current()

dt = jmp.table('BC2')

You can get the current data table, and you can get a table reference by name.

[hogi]

one can even index the column

dt['colname'][row-1]

is the same as 

dt[row]["colname"]

in JSL.

Very useful if a function in JSL is missing: just make a little detour to Python an continue with JSL.

[Paul_Nelson]

Follow up note on Expression columns.   While the jmp.DataTable.Column object does not support reading or writing the column from Python, you can create the column from Python and work around the issue using jmp.run_jsl()

...
# with a data table dt, having columns 'list' and 'np.array'
# add a new expression column with a formula using run_jsl()

# create an expression column from Python
dt.new_column('expression', jmp.DataType.Expression)
jmp.run_jsl('''
dt = Current Data Table();
:expression	<< formula(:list + :np.array);
''')

...

Getting an Image from a column is a bit more involved, but is possible using the run_jsl(), but that is a good topic for a blog post all of its own.