masakhane-io / lafand-mt Goto Github PK

in <cell line: 1>:1 │
│ in start_training:198 │
│ │
│ /usr/local/lib/python3.10/dist-packages/datasets/arrow_dataset.py:2095 in map │
│ │
│ 2092 │ │ disable_tqdm = bool(logging.get_verbosity() == logging.NOTSET) or not utils.is_p │
│ 2093 │ │ │
│ 2094 │ │ if num_proc is None or num_proc == 1: │
│ ❱ 2095 │ │ │ return self._map_single( │
│ 2096 │ │ │ │ function=function, │
│ 2097 │ │ │ │ with_indices=with_indices, │
│ 2098 │ │ │ │ with_rank=with_rank, │
│ │
│ /usr/local/lib/python3.10/dist-packages/datasets/arrow_dataset.py:515 in wrapper │
│ │
│ 512 │ │ else: │
│ 513 │ │ │ self: "Dataset" = kwargs.pop("self") │
│ 514 │ │ # apply actual function │
│ ❱ 515 │ │ out: Union["Dataset", "DatasetDict"] = func(self, *args, **kwargs) │
│ 516 │ │ datasets: List["Dataset"] = list(out.values()) if isinstance(out, dict) else [ou │
│ 517 │ │ for dataset in datasets: │
│ 518 │ │ │ # Remove task templates if a column mapping of the template is no longer val │
│ │
│ /usr/local/lib/python3.10/dist-packages/datasets/arrow_dataset.py:482 in wrapper │
│ │
│ 479 │ │ │ "output_all_columns": self._output_all_columns, │
│ 480 │ │ } │
│ 481 │ │ # apply actual function │
│ ❱ 482 │ │ out: Union["Dataset", "DatasetDict"] = func(self, *args, **kwargs) │
│ 483 │ │ datasets: List["Dataset"] = list(out.values()) if isinstance(out, dict) else [ou │
│ 484 │ │ # re-apply format to the output │
│ 485 │ │ for dataset in datasets: │
│ │
│ /usr/local/lib/python3.10/dist-packages/datasets/fingerprint.py:411 in wrapper │
│ │
│ 408 │ │ │ │
│ 409 │ │ │ # Call actual function │
│ 410 │ │ │ │
│ ❱ 411 │ │ │ out = func(self, args, **kwargs) │
│ 412 │ │ │ │
│ 413 │ │ │ # Update fingerprint of in-place transforms + update in-place history of tra │
│ 414 │
│ │
│ /usr/local/lib/python3.10/dist-packages/datasets/arrow_dataset.py:2472 in _map_single │
│ │
│ 2469 │ │ │ │ │ │ │ range((slice(i, i + batch_size).indices(input_dataset.num_r │
│ 2470 │ │ │ │ │ │ ) # Something simpler? │
│ 2471 │ │ │ │ │ │ try: │
│ ❱ 2472 │ │ │ │ │ │ │ batch = apply_function_on_filtered_inputs( │
│ 2473 │ │ │ │ │ │ │ │ batch, │
│ 2474 │ │ │ │ │ │ │ │ indices, │
│ 2475 │ │ │ │ │ │ │ │ check_same_num_examples=len(input_dataset.list_indexes() │
│ │
│ /usr/local/lib/python3.10/dist-packages/datasets/arrow_dataset.py:2360 in │
│ apply_function_on_filtered_inputs │
│ │
│ 2357 │ │ │ │ additional_args += (effective_indices,) │
│ 2358 │ │ │ if with_rank: │
│ 2359 │ │ │ │ additional_args += (rank,) │
│ ❱ 2360 │ │ │ processed_inputs = function(*fn_args, *additional_args, **fn_kwargs) │
│ 2361 │ │ │ if update_data is None: │
│ 2362 │ │ │ │ # Check if the function returns updated examples │
│ 2363 │ │ │ │ update_data = isinstance(processed_inputs, (Mapping, pa.Table)) │
│ │
│ /usr/local/lib/python3.10/dist-packages/datasets/arrow_dataset.py:2055 in decorated │
│ │
│ 2052 │ │ │ │ │ Example(item, features=self.features) if not batched else Batch(item │
│ 2053 │ │ │ │ ) │
│ 2054 │ │ │ │ # Use the LazyDict internally, while mapping the function │
│ ❱ 2055 │ │ │ │ result = f(decorated_item, *args, **kwargs) │
│ 2056 │ │ │ │ # Return a standard dict │
│ 2057 │ │ │ │ return result.data if isinstance(result, LazyDict) else result │
│ 2058 │
│ in preprocess_function:173 │
│ in :173 │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
KeyError: 'zu'

Hi. fr-bam config has configuration error. Field name is 'bm' instead of 'bam'. As a result huggingface does not allow to download dataset