Meetup 2015-08

From Pitagora-Galaxy Wiki
Jump to: navigation, search

Main Page >> Events >>

主旨

  1. ツールやワークフローを持ち寄って仮想マシンに加える (図)
    • 実際には、加えるための手順を作って、仮想マシンの管理者と共有する
    • 同時に、Wikiに新しいツールやワークフローの説明を記載する
  2. プロジェクトを改善するためのフィードバックを収集する
    • 解析プラットフォーム管理に役立つ技術ネタを共有する
    • Galaxy以外のソフトウェアを扱っていく可能性について議論する

スケジュール

10:00-10:15 主旨のリマインド + 今日の作業確認
10:15-10:30 コミュニティ仮想マシンの更新報告
10:30-18:00 タゴラ装置の開発
18:00-18:30 今日のまとめ + 次回の日程調整 (Skype 参加可)
18:30-20:30 有識者会議

内容

山中
  • APAN40 報告(横山先生に伺ったほうがよい?)
    • Australian GVL とワークフローを共有するために Docker が使えるか
    • APAN41 (2016年1月) までに何をするか: Docker による Pitagora Galaxy 構築、Mesos/Aurora クラスタ構築
  • 仮想マシン 0.2.4 作成中
    • アップデート
      • Workflow Variant Calling 02(池田さん作の uu エンコードなどするワークフロー!)を追加
      • FTP によるアップロードを設定(VSFTPD を使って、まずは既存ユーザーだけでもできるようにする)
    • 困ったこと
      • Galaxy API でワークフローをインストールする際、Revision を指定していても、その Revision が Shed から入手不可でそれより新しい Revision があると新しいものがインストールされてしまう
      • 今回は cufflinks でこの現象が起こった(Revision 5346d5eea8b1 > 64698e16f4a6)
$ python ~/galaxy-dist/scripts/api/install_tool_shed_repositories.py -a 126a89c98a5d1a2c234edf2651024a03 -l http://localhost:8080 \
   -u https://toolshed.g2.bx.psu.edu/ -n cufflinks -o devteam -r 5346d5eea8b1 --panel-section-name "RNA-seq" --repository-deps --tool-deps

Response
--------
/api/tool_shed_repositories/36ddb788a0f14eb3
 name: cufflinks
 status: Installed
 tool_shed_status: {u'latest_installable_revision': u'True', u'revision_update': u'False', u'revision_upgrade': u'False', u'repository_deprecated': u'False'}
 deleted: False
 ctx_rev: 8
 error_message:
 dist_to_shed: False
 tool_shed: toolshed.g2.bx.psu.edu
 installed_changeset_revision: 64698e16f4a6
 uninstalled: False
 owner: devteam
 changeset_revision: 64698e16f4a6
 id: 36ddb788a0f14eb3
 includes_datatypes: False
  • VirtualBox の推奨バージョン(ご意見ありますか?最新は 5.0.2 だがひとつ前の 4.3.30 あたりがよい?)
    • ネットワークのデフォルト設定が変更されたりするので、推奨バージョンはあった方がよい
    • VirtualBox はバージョン更新サイクルが速いので最新でなくてもよいのでは?(例えば、Docker on Mac は 5.0.2 未対応)
  • 論文(今後、皆様にご相談)
    • 期日: 12月までにドラフト作成、3月までに投稿
    • 題材: コンテナの利用とコミュニティ活動による再現性向上(下記の本がとても参考になります)
  • 書籍 「Implementing Reproducible Research」 April 2014(政谷先生にご紹介頂きました)
  • Pitagora のスペル: ピタゴラスは英語では Pythagoras ですが イタリア語 では Pitagora のようです
大田
  • NII-Galaxyの挙動を確認する
    • (最近フォローできてなくてすみません案件)
      • 問題点
        • 分割するとtophat以下の結果が変わる件
        • tophatがhistoryから消える件
          • 不明
  • NIGでNII-Galaxyみたいなのを建てたい
    • Terraform周りについて那須野さんに聞きたい
      • 聞きました (ありがとうございます)
        • 実験環境でMesosのベースコンテナをterraform applyで建てられるようにまずする
        • 統数研で借りてるOpenStackが壊れてた ←いまここ
  • 先月の続き
    • メタゲノム解析のフローをGalaxyで
      • 今日は手付かず
那須野
  • Galaxy@NIIクラウドの運用状況について報告させていただく。
    • Galaxy Toolのコンテナ化については、RNA-Seq 01 のワークフローで使用する2種類のツール (TopHat2, Cufflinks)をGalaxy/Auroraクラスタ環境で実行できることを確認済み。
    • コンテナ形式のツールの作成から導入までの手順も確立できたので、私以外にも試していただけるように説明する機会を設けたい。
  • TopHatの並列化を実装したが、分割しなかった場合と結果のBAMファイルが完全一致しない原因を明らかにしたい。
    • Galaxy Workflow から見るとTopHatの1ステップになるように以下の処理をJob Runnerで実行するようにした。
      • Forward と Reverse の FASTQ を上から同じリード数ずつsplitして組にする
      • その分割単位で Tophat ジョブを複数並列で実行
      • 全てのTopHatジョブが完了したら、出力ファイルのうち後続ステップで必要なBAMのみを samtools merge で結合
    • 約11GBのFASTQファイルを4分割して実行した結果、処理時間はほぼ1/4になった。
    • samtools flagstatの結果の読み方を教えて下さい!
  • 皆様にいろいろ情報やご意見等をいただきました。ありがとうございます。
    • 分割のアプローチは間違っていないはず。
    • アルゴリズム上、完全に同じ結果にはならない。明確な分析の目的があれば、その対象領域に関して発現量のグラフを書いてみるなどしたほうがよい。
    • 同様にデータを分割してTopHatを動かしている人はいるらしいが、結果に関して実用上は、みんなそれほど気にしていないらしい。
    • 鈴木さんに教えていただいたリンク先をちゃんと確認します。
鈴木
  • Galaxyで細菌ゲノム解析
    • "the lack of tools to automatically analyze and interpret genomic data may prevent its wider adoption to combat drug-resistant bacteria." (https://www.genomeweb.com/scan/trace-their-path); thus people need a web-based system to track bacterial infections.
    • 微生物NGS解析用パイプラインOrioneのワークフローの実行手順をOrione-live-supplementにメモしました。バグ・レポートし、開発者の対応待ち。
池田
  • Cent OS 7上へのPitagora Galaxy 構築継続(構築手順 0.2.xとの相違点)
    • galaxy service 起動スクリプトCent OS7用 systemctl のためのスクリプト
         [Unit]
         Description=Galaxy process
         After=mysql.service
         [Service]
         ExecStart=/home/galaxy/galaxy-dist/run.sh --daemon
         ExecStop=/home/galaxy/galaxy-dist/run.sh --stop
         Type=simple
         User=galaxy
         Group=galaxy
         [Install]
         WantedBy=multi-user.target
  • mysql 設定
  • Pitagora-galaxy タイトル、アイコン、Faviconの設定
    • タイトル部分設定

$ vi /home/galaxy/galaxy-dist/static/scripts/galaxy.masthead.js このファイルのjavascriptに埋め込まれているタイトルの部分

         <span id="brand"> Galaxy ‘+b+’</span></a>

         <span id="brand"> Pitagora-Galaxy ‘+b+'</span></a>

に変更

  • 追加ディスクの設定
         mkfs.xfs /dev/sdb
         mkfs.xfs /dev/sdc
  • /etc/fstabの変更

/etc/fstabを編集するために、blkidコマンドでUUIDを取得しこの情報を利用して/etc/fstabにディスク設定を追加

         UUID=8e096e27-44d6-4e6e-8eea-da308811c5d2 /disk/reference         xfs     defaults        0 0
         UUID=2e79410f-1804-4b03-841e-744e666cf062 /disk/database          xfs     defaults        0 0
新海
  • linux版のVPNクライアントを色々と試しているが上手くつながらない。
    • 自分でmakeする必要があったりするのでどこかで問題があるのかも。
    • いくつか他のツールもあったがcuiかつ自分で設定ファイルを書く必要があったりする。
    • とりあえず現在ubuntu付属のvpnツールでトライ中。
      • 事前共有鍵を使用するタイプのツール。
  • pitagora環境上に調達版のデータとツールを現在移行作業中。