cms-kr / hep-tools Goto Github PK

Number directories are not supported by makeFileList.
(0000, 0001... )

python2+3 migration with futures

set jobs to multicore and request multicores in condor as default

As I know, our batch submitter "create-batch" is not working with CMSSW unscheduled mode.

So, we need to discuss how we solve this issue.

lxplus에서 bsub 명령어가 실행되지 않고 condor를 이용해야 함.

There is no handling code for when you put a directory in TransferFiles (transfer_output_files), or when you put a file with no extension.

As a result, weird transfer_output_remaps is set and no files are transferred.

• using python api's
• more options like disk requirements on CE
• error notifications

https://github.com/cms-kr/hep-tools/blob/master/create-batch#L135

        if self.dest.startswith('/store/'): self.dest = 'root://cms-xrdr.sdfarm.kr:1094///cms/data/xrd/%s' % self.dest

to
if self.dest.startswith('/store/'): self.dest = 'root://cms-xrdr.sdfarm.kr:1094///xrd/%s' % self.dest
Please, update it.

• KISTI에서는 여러 실험 커뮤니티들을 지원하기 위해 제공된 HTCondor 클러스터를 하나로 모아서 지원하려고 합니다.
• 현재 클러스터의 WN들은 CentOS7 으로 구축되었습니다. CMSSW가 주로 SL6만을 지원하기 때문에 이는 큰 문제가 될 수 있습니다.
• 해당 문제를 해결하기 위하여 Singularity를 사용해야 할 것으로 보입니다.

요청 기능

1. Singularity를 지원하기 위해 아래 3줄을 submit.jds 파일에 추가되어야 합니다. SingularityImage와 SingularityBind 옵션 앞에 있는 "+" 기호는 오타나 첨삭 기호가 아닙니다. 반드시 그대로 넣어주셔야 합니다. 위 기능을 옵션으로 On/Off 를 할 수 있도록 요청합니다.

requirements = HasSingularity == true
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el6:latest"
+SingularityBind = "/cvmfs, /cms, /share"

2. 통합 Farm에서는 작업을 던지는 UI서버를 기준으로 유저들의 커뮤니티를 구분할 예정입니다. condor_submit의 alias를 설정하여 해당 명령어 옵션을 추가할 예정이지만, JDS 파일 자체에서도 해당 명령어를 추가하였으면 합니다. 아래 1줄을 추가해주십시오. 다음 명령어는 KISTI라면 언제든 사용해도 무방한 것으로 확인하였습니다.

accounting_group=group_cms