artefactory / nlpretext Goto Github PK

For de-duplication...

Use Cases : BPI (Alexy), Allianz (Samuel)

https://towardsdatascience.com/natural-language-processing-for-fuzzy-string-matching-with-python-6632b7824c49

• Library
• Notebook
• Read me

https://pypi.org/project/pydeepl/

• Code
• Notebook
• Read me

The idea is to transform the Nautilus_library using SK-learn compatible API, so we can use the Pipeline module of sklearn in order to chain the processing.
https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.Pipeline.html

Spacy just realeased v2.1, including training of language model (Bert,UMLFIT like) & 3x faster Tokenization.

Check if no breaking change + make api for pre-training.

• Read me
• Notebook
• Library

• malletmodel2ldamodel —> de la merde
• Créer une variable d’environnement os.environ[‘MALLET_PATH’]=‘/path/to/mallet/subfolder

os.environ['MALLET_PATH']='/home/shared/Allianz_topic_forcasting/bin/lib'
path2mallet = '$MALLET_PATH/mallet-2.0.8/bin/mallet'
ldamallet = gensim.models.wrappers.LdaMallet(path2mallet,corpus=corpus, num_topics=15, id2word=id2word, prefix='save')
ldamallet.save('monmodele')

Bien préciser le préfixe, et copier coller TOUS les fichiers avec le préfixe, plus le nom du modèle.
L’importer sur l’autre PC, dans ce PC, bien créer la var d’environnement, et

LdaMallet.load(‘/newpath’) avec tous les fichiers dedans.

Attention, il faut placer le fichier d’execution avec le modèle et ses composantes.

Ligne 317 https://github.com/RaRe-Technologies/gensim/blob/develop/gensim/models/wrappers/ldamallet.py

(a mettre en haut) from gensim.models.wrappers import LdaMallet

Git LFS ?
Drive Nautilus

• Notebook
• Code
• Read me

(=comprendre la question, et comment y répondre)
==> BERT, GP2, DialogFlow

Main topic issue. Might be spitted into several issues if needed

All the pipeline to convert english text

Main topic issue. Might be spitted into several issues if needed.

• Word Cloud
• PyDavis
• Concordances

• Code/Library
• Notebook Implementation
• README

chardet

https://link.springer.com/article/10.1007/s10994-014-5476-6

https://medium.com/@ageitgey/natural-language-processing-is-fun-part-3-explaining-model-predictions-486d8616813c

All the pipeline regarding cleaning and pre-processing french text

Test de load en UTF-8, si unicode error on fait un chardet.
Parametre encoding, param pour activer et désactiver chardet

• Code/Library
• Notebook Implementation
• Notebook Grid Search (& Interpretation)
• Add JAVA + Mallet to Dockerfile
• Mallet train function
• Mallet load function
• README installation
• README Theory
• README Interpretation
• Pyldavis Mallet

• Library
• Notebook
• Read Me

L'idée de cette abstraction est de créer une classe Document qui contient à la fois le raw text + le résultat des preprocessing.
L'abstraction Corpus étant à prendre littéralement comme un ensemble de document.