Meetup 2016-09

From Pitagora-Galaxy Wiki
Jump to: navigation, search

Main Page >> Events >>

主旨

  1. ツールやワークフローを持ち寄って仮想マシンに加える (図)
    • 実際には、加えるための手順を作って、仮想マシンの管理者と共有する
    • 同時に、Wiki に新しいツールやワークフローの説明を記載する
  2. プロジェクトを改善するためのフィードバックを収集する
    • 解析プラットフォーム管理に役立つ技術ネタを共有する
    • Galaxy 以外のソフトウェアを扱っていく可能性について議論する

スケジュール

  • 日時: 2016年9月8日(木)
  • 場所: 先端研4号館4階セミナールーム
  • 連絡先: 山中 yamanaka [at] genome.rcast.u-tokyo.ac.jp
  • Skype ID:pitagora-network(最新バージョンのSkypeの使用を推奨)
10:00-10:15 今日の作業確認
10:15-18:00 ツールの開発
18:00-18:30 今日のまとめ (Skype 参加可)
18:30-20:30 有識者会議

内容

全体
山中
  • 0.3.2 を作成中 (GitHub)
    • Tool Shed 経由でなく GitHub のレポジトリに置いたツールをインストールできるようにしている
      • 例えば、こんな感じでツールを作る (GitHub)
      • ピタゴラ特有のツール(Download Reference ツール)も同様にした (GitHub)
      • Tool Shed を使わなくなることで、ツール開発(Docker 対応ツールの作成など)が加速すると期待している
    • Docker 型ツールがエラーになる問題の対処
    • welcome.html の編集
大田
那須野
  • "Submitting Jobs as the Real User" についての検討。
    • UGE等へのジョブ投入で、Galaxyユーザとは別に共有ストレージのfile permission (UID/GID)を厳密に取り扱う場合の対処方法として、以下のようなトピックが本家Wikiにあります。
    • https://wiki.galaxyproject.org/Admin/Config/Performance/Cluster#Submitting_Jobs_as_the_Real_User
    • drmaa_external_runner.py などのwrapperスクリプトを使うような運用をもしやっている方がいれば実情を伺いたいです。
      • ⇒石井さんの環境では、UGEユーザ個別にGalaxyサーバコンテナをUID指定(-uオプション付き)で起動するやり方で対応した、とのこと。
  • iibmp2016向け(案)
    • 石井さんと今日議論した内容を話す予定。
    • Galaxyの実運用を想定した場合に遭遇しうる問題についてSIer的な視点から考えてみる
      • 既存の共有ストレージ環境のファイルアクセス権限の問題
        • 解析データの管理権限を厳密に行いたい
      • 既存のジョブスケジューラ環境へのジョブ投入時のユーザ権限の問題
        • 計算資源のQuota管理などを考えると、ツール実行時UIDを適切に設定できることが望ましい
  • 複数のGalaxyサーバで1つのDBMSを共有できるか?
    • Dockerコンテナ形式のGalaxyサーバをUID指定で起動することを想定。DBMSを各Galaxyサーバから共有したい。
      • ⇒ユーザ管理を一元化できてWorkflow等の共有も可能になるはず。
中岡
  • 博多出張中のため、欠席します。残念。。。
    • 来月は金曜日ですので是非!(山中)
小寺
鈴木
望月
  • DNApod genotype imputation workflow
    • multiple VCF file から multiple allelic sites を除去するツールを DDBJ p-galaxy (NIG内部公開 galaxy) に構築。
    • 今後、bcftools merge, index コマンドなども入れていかなければ... 分生までに間に合わせたい...
    • VM に入れるのは不可能なワークフローの場合、Pitagora 様 ワークフローの仲間に入れて頂くためには、どうしたらいいでしょうか?
池田
  • 第5回生命医薬情報学連合大会 BoFに向けての打合せ
新海
  • 実装の方については来週前半までに状況をまとめてその後仕上げます
  • とりあえず産総研のサーバー上でテスト運用出来るように、サーバー上でCLIでVirtualBoxを動かし、その上でPitagora VMを動かしたい

https://askubuntu.com/questions/465454/problem-with-the-installation-of-virtualbox/700399 とか参考にしていろいろやり直す

    • →VBoxManageコマンドは使えるようになる
    • →→VBoxManage importでピタゴライメージのインポートもできた
    • →→VBoxManage list vmsでインポートしたVMも出てくる
      • →→→VBoxManage startvm vmnameでsuccess表示
      • →→→→でも、VBoxManage list VBoxManage list runningvmsでも何も表示されない
      • コアとメモリ不足かもと思いそれらを増やして再デプロイ→再実行→すこし反応が変わる
        • でもやっぱり動かない・・・→うごご
石井
  • なすのさんと、議論
    • 共用計算機、共有ストレージ(NFS)、IDについて議論
    • Galaxyでジョブを投げる時の処理について、コードリーディング。何も設定しないと、Galaxyユーザーで投げるようだ。dockerについては、uidをdynamicに解決できるかもしれない。
  • docker-galaxy-stableに、Grid Engineを使う時のドキュメントを送信