Meetup 2016-11

From Pitagora-Galaxy Wiki
Jump to: navigation, search

Main Page >> Events >>

主旨

  1. ツールやワークフローを持ち寄って仮想マシンに加える (図)
    • 実際には、加えるための手順を作って、仮想マシンの管理者と共有する
    • 同時に、Wiki に新しいツールやワークフローの説明を記載する
  2. プロジェクトを改善するためのフィードバックを収集する
    • 解析プラットフォーム管理に役立つ技術ネタを共有する
    • Galaxy 以外のソフトウェアを扱っていく可能性について議論する

スケジュール

  • 日時: 2016年11月17日(木)
  • 場所: 情報・システム研究機構 URAステーション 会議室 (城山トラストタワー33階, アクセス: http://ura.rois.ac.jp/aboutus/access/)
  • 連絡先: 山中 yamanaka [at] genome.rcast.u-tokyo.ac.jp
  • Skype ID:pitagora-network(最新バージョンのSkypeの使用を推奨)
10:00-10:15 今日の作業確認
10:15-18:00 ツールの開発
18:00-18:30 今日のまとめ (Skype 参加可)
18:30-20:30 有識者会議

内容

全体
山中
大田
  • try.pitagora-galaxy.org を DBCLSのサーバに移したい
    • ファイルシステムのサイズが問題?とかでVMがロードできない問題を解決する => 解決しないことにしました
    • 山中さんが作ってくれたインストールスクリプトを走らせてサラピンから環境構築する方針に。現在DBCLSサーバにインスタンス起動申請中
    • インストールスクリプトをAWS上でチェック。こまごまとした修正 (まとめてPRします)
  • 門田さんに頼まれてる Galaxy の使い方原稿を書かねばならない
    • 今日も書けなかった、門田さんすみません
  • pitagora の wiki をどうにかする
    • とりあえず t1.micro から t2.micro (nanoでもいいかも?) に移行作業中
那須野
  • 会議室のWifiが Port80,443,25 しか通してくれないので、AWS EC2でsshdをPort443で稼働させることにした。
    • sshd_config (EC2) => "Port 22" と "Port 443" の2行を追記
    • EC2 上にアカウント作成、公開鍵を ~/.ssh/authorized_keys へ
    • Client 側の ~/.ssh/config 例:
 Host target-host-via-aws
   HostName target-host
   User ssh-account
   Port target-host-ssh-port
   IdentityFile authentication-identity-file-path
   ProxyCommand ssh -W %h:%p -p 443 EC2-public-IP
   Localforward (以降、略)
  • 複数のGalaxyサーバで1つのDBMSを共有できるか?
    • Dockerコンテナ形式のGalaxyサーバをUID指定で起動することを想定し、DBMSを各Galaxyサーバから共有したい。
    • ユーザ管理を一元化、Workflowの共有、くらいはなんとかなりそう。
    • Galaxy Database Schema の詳細情報(石井さん、ありがとうございます!)
    • Data Library や History 公開機能を使うには、別途共有ストレージなどの考慮が必要。
    • その他、DBに保存されないGalaxyサーバ毎の管理となるもの:
      • tool_data_path (referenceデータの配置情報など)
      • tool_path (Tool設定XMLファイルの格納先)
      • 中間データ、出力データ (file_path, new_file_path, job_working_directory)
      • これら以外にもあるか?
    • config/galaxy.ini でリモートのDBサーバを指定することで、ひとまずregister/loginの動作確認はできた。
 database_connection = mysql://galaxy:galaxy@172.17.0.2:3306/galaxy
  • Cufflinksが起動時に外部からパッケージ取得しようとしている? (インターネット非接続環境でのエラー)
 Traceback (most recent call last):
  File "/usr/local/bin/cufflinks_wrapper.py", line 9, in <module>
    from galaxy.datatypes.util.gff_util import parse_gff_attributes, gff_attributes_to_str
  File "/usr/local/galaxy/lib/galaxy/datatypes/util/gff_util.py", line 7, in <module>
    eggs.require( "bx-python" )
  File "/usr/local/galaxy/lib/galaxy/eggs/__init__.py", line 493, in require
    raise EggNotFetchable( str( [ egg.name for egg in e.eggs ] ) )
 galaxy.eggs.EggNotFetchable: ['bx_python']
鈴木
望月
  • 第二回情報・配列解析支援担当者会議にて、Pitagora-Galaxy の話を少しさせて頂くので、大田さんにスライドを確認して頂いた。最終版は、山中さん大田さんにメールでお送りする。
  • NIG スパコン galaxy 開発環境の構築
    • release をあげて構築している galaxy にて perl スクリプトのツールが動作することを確認。
      • (環境変数の問題で動作していなかった)
    • galaxy でdocker を動かす設定をしようとしたところ、docker が動かないことが発覚。(スパコンの OS が古い。)
  • 「RNA-seq データからの遺伝子セット構築」ワークフローの構築
    • 処理フロー
      • マッピング (Hisat2) → 遺伝子構造予測 (Cufflinks) → 予測妥当性確認 & 機能予測 (植物の遺伝子セットへのblast) → 遺伝子セットの構築 → DDBJ ゲノムアノテーション情報の登録
        • 予測妥当性確認 & 機能予測 (植物の遺伝子セットへのblast) の perl スクリプトの作成
池田
  • Planemoで遊ぶ

念のため、現在利用中のVersion Check

>pip show planemo
Name: planemo
Version: 0.35.0
Summary: Command-line utilities to assist in building tools for the Galaxy project (http://galaxyproject.org/).
Home-page: https://github.com/galaxyproject/planemo
Author: Galaxy Project and Community
Author-email: jmchilton@gmail.com
License: AFL
Location: /home/galaxy/galaxy-python/install/lib/python2.7/site-packages
Requires: glob2, BeautifulSoup4, ephemeris, configparser, gxformat2, Click, jinja2, docutils, six, virtualenv, html5lib, aenum, galaxy-lib, pyaml, cwltool,   bioblend, lxml, pyyaml

一連の操作はplanemoのマニュアルに準拠して実施。 https://planemo.readthedocs.io/en/latest/writing_standalone.html

VarDictJavaを実行するための vardictjava.xml を作成 planemo lingでxmlファイルの問題を検証 (xml中にtest と citationsの記述が無いとFailed lintingとなる。)

>planemo lint
Applying linter tests... WARNING
.. WARNING: No tests found, most tools should define test cases.
.. WARNING: No valid test(s) found.
...
...
Applying linter citations... WARNING
.. WARNING: No citations found, consider adding citations to your tool.
Failed linting

(ただし、test も citations もlintでは記述の有無のみを確認しているだけなので、とりあえず追記)

作成したツールが正常に動作するか planemo serverで確認 作業ディレクトリに test-dataディレクトリが存在しないと planemo server を実行時に文句を言われる。

planemo couldn't find a target test-data directory, you should likely create a test-data directory or pass an explicit path using --test_data.
>mkdir test-data

planemo serveコマンドを実行する事で port 9090でサーバーが起動するので ssh port forwardingでVritual Machineに接続しておくと良い

(ホストマシンからVMへの接続: VMWare を利用)
>ssh -L 9090:localhost:9090 galaxy@192.168.184.138
 

> planemo serve

...
...
Starting server in PID 3211.
serving on http://127.0.0.1:9090

なかなか良いかも。

小寺
石井
  • 自分のPR(api経由でworkflowをインポートすると、必要なツールも自動で落としてくる拡張) #3064 で、言及されている #2823 の、チェックを行っている。
  • Makefile の存在を池田さんに教えてもらう。Galaxyのリリースプロセスがこれを使っているならば、GalaxyのAPI経由で、Galaxyのリリースバージョンと、githubのリビジョンを表示することが可能になるかもしれない。