ink-usc / crossfit Goto Github PK

Code for paper "CrossFit :weight_lifting:: A Few-shot Learning Challenge for Cross-task Generalization in NLP" (https://arxiv.org/abs/2104.08835)

Python 99.58% Shell 0.42%

crossfit's People

Contributors

Stargazers

Watchers

Forkers

qcwthu slyviacassell paper-nlp jonathanjao oscar-shih kaimary yubo1993 ani0075saha

crossfit's Issues

ModuleNotFoundError: No module named 'transformers.models'

python tune_hps_singletask.py --task_dir data/boolq/ --do_train --do_predict --learning_rate_list 1e-5 2e-5 5e-5 --bsz_list 2 4 8 --total_steps 1000 --eval_period 100 --warmup_steps 100 --model facebook/bart-base --output_dir models/singletask-boolq --predict_batch_size 32
Traceback (most recent call last):
File "tune_hps_singletask.py", line 30, in
from run_singletask import run
File "/home/harkirat/research/2022/crossfit_polytropon/run_singletask.py", line 11, in
from bart import MyBart, MySkilledBart
File "/home/harkirat/research/2022/crossfit_polytropon/bart.py", line 17, in
from transformers.models.bart.modeling_bart import shift_tokens_right
ModuleNotFoundError: No module named 'transformers.models'

ModuleNotFoundError: No module named 'transformers.modeling_outputs'

File "/home/harkirat/research/2022/BI/crossfit_polytropon/bart.py", line 18, in
from transformers.modeling_outputs import Seq2SeqLMOutput
ModuleNotFoundError: No module named 'transformers.modeling_outputs'

Hello,

I cannot seem to run the code. I tried to check the particular commit that you specified for Transformers repo. But this path (transformers.modeling_outputs) did not exist in that commit. However, it exists in the newer commits. It seems like you might have been using some other commit.

Could the authors try to run the code and see if it works? We would really appreciate any help with this. We are really excited to use your Benchmark.

Regards
Harkirat
https://harkiratbehl.github.io/

Describe a bug

#describe a bug
Whe I try to run example_scripts/finetune_boolq.sh , an error is raised

Traceback (most recent call last):
  File "/mnt/sfs_turbo/lxt/CrossFit/cli_singletask.py", line 147, in <module>
    main()
  File "/mnt/sfs_turbo/lxt/CrossFit/cli_singletask.py", line 144, in main
    run(args, logger)
  File "/mnt/sfs_turbo/lxt/CrossFit/run_singletask.py", line 84, in run
    best_dev_performance, best_model_state_dict = train(args, logger, model, train_data, dev_data, optimizer, scheduler)
  File "/mnt/sfs_turbo/lxt/CrossFit/run_singletask.py", line 175, in train
    curr_performance = inference(model if args.n_gpu==1 else model.module, dev_data)
  File "/mnt/sfs_turbo/lxt/CrossFit/run_singletask.py", line 219, in inference
    outputs = model.generate(input_ids=batch[0],
  File "/mnt/sfs_turbo/zhangshudan/anaconda3/envs/opendelta_dev/lib/python3.8/site-packages/torch/autograd/grad_mode.py", line 28, in decorate_context
    return func(*args, **kwargs)
  File "/mnt/sfs_turbo/zhangshudan/anaconda3/envs/opendelta_dev/lib/python3.8/site-packages/transformers/generation_utils.py", line 1053, in generate
    return self.beam_search(
  File "/mnt/sfs_turbo/zhangshudan/anaconda3/envs/opendelta_dev/lib/python3.8/site-packages/transformers/generation_utils.py", line 1787, in beam_search
    outputs = self(
  File "/mnt/sfs_turbo/zhangshudan/anaconda3/envs/opendelta_dev/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1051, in _call_impl
    return forward_call(*input, **kwargs)
TypeError: forward() got an unexpected keyword argument 'past_key_values'

#System information

Python version: 3.8.2
Transformers version:4.10.0

Absolute Scores for Random Multi-task Learning

Hi, our team would like to cite your paper and compare our approach with your scores for multi-task learning random setting. The Relative scores are displayed in your paper in Figure 4(a), would you be able to share the

multi-task learning absolute scores and
direct fine tuning base line scores.

Specifically if we could get absolute scores for the following 20 tasks:

["quoref", "wiki_split", "ethos-disability", "yelp_polarity", "superglue-rte", "glue-cola", "ethos-sexual_orientation", "blimp-sentential_negation_npi_scope", "ai2_arc", "amazon_polarity", "race-high", "blimp-sentential_negation_npi_licensor_present", "tweet_eval-irony", "break-QDMR", "crawl_domain", "freebase_qa", "glue-qnli", "hatexplain", "ag_news", "circa"]

that would be great!

Thanks!

Finetuning script/config for T5 model

Hi @cherry979988,

Thanks for sharing the implementation for your benchmark. I was able to run the BART direct-finetuning on GLUE-SST2 and get 0.86 accuracy.

I switched the model to T5. I follow the model definitions from nanoT5, but I am not being able to finetune T5 (high losses, zero accuracy). I was wondering is there any BART specific pre-processing which I need to modify to be able to work with T5? Any help would be greatly appreciated. If you can share a corresponding T5 finetuning script, that would be great.

10/30/2023 20:51:31 - INFO - __main__ - Namespace(train_file='data/glue-sst2/glue-sst2_16_100_train.tsv', dev_file='data/glue-sst2/glue-sst2_16_100_dev.tsv', test_file='data/glue-sst2/glue-sst2_1=1000, wait_step=10000000000, quiet=False, eval_period=100, prefix='', debug=False, seed=42)
10/30/2023 20:51:31 - INFO - __main__ - models/google/t5-v1_1-small/singletask-glue-sst2-no-hp
10/30/2023 20:51:31 - INFO - __main__ - Using 1 gpus
Downloading (…)okenizer_config.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.86k/1.86k [00:00<00:00, 1.30MB/s]
Downloading (…)ve/main/spiece.model: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 792k/792k [00:00<00:00, 9.57MB/s]
Downloading (…)cial_tokens_map.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.79k/1.79k [00:00<00:00, 2.67MB/s]
Downloading (…)lve/main/config.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 537/537 [00:00<00:00, 765kB/s]d as explained in https://github.com/huggingface/transformers/pull/24565
10/30/2023 20:51:31 - INFO - __main__ - Loading pre-tokenized data from data/glue-sst2/glue-sst2_16_100_train-T5Tokenized.json
10/30/2023 20:51:31 - INFO - __main__ - Loaded 32 examples from train data
10/30/2023 20:51:31 - INFO - __main__ - Loading pre-tokenized data from data/glue-sst2/glue-sst2_16_100_dev-T5Tokenized.json
10/30/2023 20:51:31 - INFO - __main__ - Loaded 32 examples from dev data
Downloading pytorch_model.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 308M/308M [00:01<00:00, 291MB/s]
Downloading (…)neration_config.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 147/147 [00:00<00:00, 110kB/s]
  warnings.warn(
10/30/2023 20:51:37 - INFO - __main__ - Starting training!
Epoch 0: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 18.43it/s]
Epoch 1: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.57it/s]
Epoch 2: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.47it/s]
Epoch 3: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.45it/s]
Epoch 6:  19%|████████████████████████████▏                                                                                                                         | 3/16 [00:00<00:00, 28.07it/s]
10/30/2023 20:51:43 - INFO - __main__ - Step 100 Train loss 9728.05 ACC 0.0 on epoch=6
10/30/2023 20:51:43 - INFO - __main__ - Not saving model with best ACC: -1.0 -> 0.0 on epoch=6, global_step=100
Epoch 6: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:03<00:00,  4.98it/s]
Epoch 7: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.46it/s]
Epoch 8: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.35it/s]
Epoch 11: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.43it/s]
Epoch 12:  38%|███████████████████████████████████████████████████████▉                                                                                             | 6/16 [00:00<00:00, 28.35it/s]
10/30/2023 20:51:49 - INFO - __main__ - Step 200 Train loss 9156.54 ACC 0.0 on epoch=12
Epoch 12: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:02<00:00,  5.57it/s]
Epoch 13: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.35it/s]
Epoch 14: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.33it/s]
Epoch 15: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.21it/s]
Epoch 18:  56%|███████████████████████████████████████████████████████████████████████████████████▊                                                                 | 9/16 [00:00<00:00, 28.19it/s]
10/30/2023 20:51:55 - INFO - __main__ - Step 300 Train loss 8761.43 ACC 0.0 on epoch=18
Epoch 18: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:02<00:00,  5.55it/s]
Epoch 19: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.30it/s]
Epoch 20: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.19it/s]
Epoch 21: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.14it/s]
Epoch 24:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 15/16 [00:00<00:00, 28.36it/s]
10/30/2023 20:52:01 - INFO - __main__ - Step 400 Train loss 8735.57 ACC 0.0 on epoch=24
Epoch 24: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:02<00:00,  5.55it/s]
Epoch 25: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.17it/s]
Epoch 26: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.37it/s]
Epoch 27: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.30it/s]
Epoch 30: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.32it/s]
Epoch 31:  19%|███████████████████████████▉                                                                                                                         | 3/16 [00:00<00:00, 28.47it/s]
10/30/2023 20:52:07 - INFO - __main__ - Step 500 Train loss 8380.33 ACC 0.0 on epoch=31
Epoch 31: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:02<00:00,  5.49it/s]
Epoch 32: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.30it/s]
Epoch 33: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.32it/s]
Epoch 36: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.31it/s]
Epoch 37:  38%|███████████████████████████████████████████████████████▉                                                                                             | 6/16 [00:00<00:00, 28.32it/s]
10/30/2023 20:52:13 - INFO - __main__ - Step 600 Train loss 8396.24 ACC 0.0 on epoch=37
Epoch 37: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:02<00:00,  5.52it/s]
Epoch 38: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.19it/s]
Epoch 39: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.36it/s]
Epoch 40: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.23it/s]
Epoch 43:  56%|███████████████████████████████████████████████████████████████████████████████████▊                                                                 | 9/16 [00:00<00:00, 28.30it/s]
10/30/2023 20:52:18 - INFO - __main__ - Step 700 Train loss 7912.00 ACC 0.0 on epoch=43
Epoch 43: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:02<00:00,  5.52it/s]
Epoch 44: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.18it/s]
Epoch 45: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.36it/s]
Epoch 46: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.37it/s]
Epoch 49:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 15/16 [00:00<00:00, 28.36it/s]
10/30/2023 20:52:24 - INFO - __main__ - Step 800 Train loss 7964.75 ACC 0.0 on epoch=49
Epoch 49: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:02<00:00,  5.52it/s]
Epoch 50: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.12it/s]
Epoch 49:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 15/16 [00:00<00:00, 28.36it/s]10/30/2023 20:52:24 - INFO - __main__ - Step 800 Train loss 7964.75 ACC 0.0 on epoch=49
Epoch 49: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:02<00:00,  5.52it/s]
Epoch 50: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.12it/s]
Epoch 51: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.20it/s]
Epoch 52: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.30it/s]
Epoch 53: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.18it/s]
Epoch 54: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.24it/s]
Epoch 55: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.29it/s]
Epoch 56:  19%|███████████████████████████▉                                                                                                                         | 3/16 [00:00<00:00, 28.39it/s]10/30/2023 20:52:30 - INFO - __main__ - Step 900 Train loss 8235.67 ACC 0.0 on epoch=56
Epoch 56: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:02<00:00,  5.52it/s]
Epoch 57: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.31it/s]
Epoch 58: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.35it/s]
Epoch 59: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.38it/s]
Epoch 60: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.24it/s]
Epoch 61: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 28.25it/s]
Epoch 62:  38%|███████████████████████████████████████████████████████▉                                                                                             | 6/16 [00:00<00:00, 28.32it/s]10/30/2023 20:52:36 - INFO - __main__ - Step 1000 Train loss 8064.02 ACC 0.0 on epoch=62
Epoch 62:  44%|█████████████████████████████████████████████████████████████████▏                                                                                   | 7/16 [00:02<00:03,  2.67it/s]
10/30/2023 20:52:37 - INFO - __main__ - Loading checkpoint from CPU
10/30/2023 20:52:37 - INFO - __main__ - Loading pre-tokenized data from data/glue-sst2/glue-sst2_16_100_test-T5Tokenized.json
10/30/2023 20:52:37 - INFO - __main__ - Loaded 872 examples from test data
10/30/2023 20:53:44 - INFO - __main__ - Saved prediction in models/google/t5-v1_1-small/singletask-glue-sst2-no-hp/_predictions.txt
10/30/2023 20:53:44 - INFO - __main__ - ACC on test data: 0.00

Encoding problem for certain datasets

Hi, I tried to follow the README, but on certain datasets it gives me a failure when I try to build the gym. As per the README instructions, I've gone in and run some of the tasks python scripts individually but I am met with an encoding error for quite a few of them. For instance when I run python mocha.py in the tasks directory, it gives me this error message:

Traceback (most recent call last):
  File "mocha.py", line 34, in <module>
    main()
  File "mocha.py", line 31, in main
    train, dev, test = dataset.generate_k_shot_data(k=16, seed=seed, path="../data/")
  File "/scratch/jj3706/CrossFit/tasks/fewshot_gym_dataset.py", line 59, in generate_k_shot_data
    self.write_to_tsv(k_shot_train, prefix + "_train.tsv")
  File "/scratch/jj3706/CrossFit/tasks/fewshot_gym_dataset.py", line 8, in write_to_tsv
    fout.write("{}\t{}\n".format(line[0], line[1]))
UnicodeEncodeError: 'ascii' codec can't encode character '\u2014' in position 599: ordinal not in range(128)

or when I run python anli.py it gives:

Traceback (most recent call last):
  File "anli.py", line 40, in <module>
    main()
  File "anli.py", line 37, in main
    train, dev, test = dataset.generate_k_shot_data(k=16, seed=seed, path="../data/")
  File "/scratch/jj3706/CrossFit/tasks/fewshot_gym_dataset.py", line 59, in generate_k_shot_data
    self.write_to_tsv(k_shot_train, prefix + "_train.tsv")
  File "/scratch/jj3706/CrossFit/tasks/fewshot_gym_dataset.py", line 8, in write_to_tsv
    fout.write("{}\t{}\n".format(line[0], line[1]))
UnicodeEncodeError: 'ascii' codec can't encode characters in position 47-54: ordinal not in range(128)

This occurs for about half the datasets available from what I can tell, and the other half seem to give no errors and are marked as successes when building the AI gym. Any details on how to fix this would be appreciated!

MD5 Checksum failure

Hi, so after resolving the encoding issue, I'm still getting a few errors with the most recent code on the following datasets:

Please try the following tasks later by running individual files: ['multi_news.py', 'reddit_tifu.py', 'search_qa.py', 'amazon_polarity.py', 'spider.py', 'jeopardy.py', 'gigaword.py', 'wiki_auto.py', 'wiki_bio.py', 'yahoo_answers_topics.py', 'yelp_review_full.py', 'dbpedia_14.py', 'definite_pronoun_resolution.py', 'kilt_wow.py']

When I try to run a few of them, they output the following:

(crossfit) > python multi_news.py
Using custom data configuration default
Downloading and preparing dataset multi_news/default (download: 245.06 MiB, generated: 667.74 MiB, post-processed: Unknown size, total: 912.80 MiB) to /home/ABCD/.cache/huggingface/datasets/multi_news/default/1.0.0/465b14e19b4d6a55c9bb9131ca1de642175872143c9b231bee1dce789311b449...
Traceback (most recent call last):
  File "multi_news.py", line 32, in <module>
    main()
  File "multi_news.py", line 29, in main
    train, dev, test = dataset.generate_k_shot_data(k=32, seed=seed, path="../data/")
  File "/scratch/ABCD/CrossFit/tasks/fewshot_gym_dataset.py", line 79, in generate_k_shot_data
    dataset = self.load_dataset()
  File "multi_news.py", line 23, in load_dataset
    return datasets.load_dataset('multi_news')
  File "/ext3/miniconda3/envs/crossfit/lib/python3.6/site-packages/datasets/load.py", line 746, in load_dataset
    use_auth_token=use_auth_token,
  File "/ext3/miniconda3/envs/crossfit/lib/python3.6/site-packages/datasets/builder.py", line 579, in download_and_prepare
    dl_manager=dl_manager, verify_infos=verify_infos, **download_and_prepare_kwargs
  File "/ext3/miniconda3/envs/crossfit/lib/python3.6/site-packages/datasets/builder.py", line 639, in _download_and_prepare
    self.info.download_checksums, dl_manager.get_recorded_sizes_checksums(), "dataset source files"
  File "/ext3/miniconda3/envs/crossfit/lib/python3.6/site-packages/datasets/utils/info_utils.py", line 39, in verify_checksums
    raise NonMatchingChecksumError(error_msg + str(bad_urls))
datasets.utils.info_utils.NonMatchingChecksumError: Checksums didn't match for dataset source files:
['https://drive.google.com/uc?export=download&id=1vRY2wM6rlOZrf9exGTm5pXj5ExlVwJ0C']

Running a curl on the URL yields:

<html lang=en><meta charset=utf-8><meta name=viewport content="initial-scale=1, minimum-scale=1, width=device-width"><title>Error 400 (Bad Request)!!1</title><style nonce="SpqF3pAZ+9nngUOG9GU6Gg">*{margin:0;padding:0}html,code{font:15px/22px arial,sans-serif}html{background:#fff;color:#222;padding:15px}body{color:#222;text-align:unset;margin:7% auto 0;max-width:390px;min-height:180px;padding:30px 0 15px;}* > body{background:url(//www.google.com/images/errors/robot.png) 100% 5px no-repeat;padding-right:205px}p{margin:11px 0 22px;overflow:hidden}pre{white-space:pre-wrap;}ins{color:#777;text-decoration:none}a img{border:0}@media screen and (max-width:772px){body{background:none;margin-top:0;max-width:none;padding-right:0}}#logo{background:url(//www.google.com/images/branding/googlelogo/1x/googlelogo_color_150x54dp.png) no-repeat;margin-left:-5px}@media only screen and (min-resolution:192dpi){#logo{background:url(//www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png) no-repeat 0% 0%/100% 100%;-moz-border-image:url(//www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png) 0}}@media only screen and (-webkit-min-device-pixel-ratio:2){#logo{background:url(//www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png) no-repeat;-webkit-background-size:100% 100%}}#logo{display:inline-block;height:54px;width:150px}</style><main id="af-error-container" role="main"><a href=//www.google.com><span id=logo aria-label=Google role=img></span></a><p><b>400.</b> <ins>That’s an error.</ins><p>The server cannot process the request because it is malformed. It should not be retried. <ins>That’s all we know.</ins></main>

On the README file it says that Google Drive has a quota for daily download, but this error message looks like there may be something else going on.

URL invalid for some datasets:

Hi, thank you for such a great paper & resources! I just wanted to report that downloading some of datasets using scripts in tasks/ does not work, presumably because the dataset urls got invalid by the original host. In particular, here is the list of datasets that gave errors due to invalid urls.

jeopardy
kilt_wow
definite_pronoun_resolution
wiki_auto

Recommend Projects

React

A declarative, efficient, and flexible JavaScript library for building user interfaces.
Vue.js

🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
Typescript

TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
TensorFlow

An Open Source Machine Learning Framework for Everyone
Django

The Web framework for perfectionists with deadlines.
Laravel

A PHP framework for web artisans
D3

Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

javascript

JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
web

Some thing interesting about web. New door for the world.
server

A server is a program made to process requests and deliver data to clients.
Machine learning

Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Visualization

Some thing interesting about visualization, use data art
Game

Some thing interesting about game, make everyone happy.

Recommend Org

Facebook

We are working to build community through open source technology. NB: members must have two-factor auth.
Microsoft

Open source projects and samples from Microsoft.
Google

Google ❤️ Open Source for everyone.
Alibaba

Alibaba Open Source for everyone
D3

Data-Driven Documents codes.
Tencent

China tencent open source team.