DL4J
DL4J (או Eclipse Deeplearning4j) היא ספריית תוכנה כתובה ב-Java עבור JVM.[1] הספרייה משמשת כשלד תוכנה עם תמיכה רחבה באלגוריתמי למידה עמוקה.[2] DL4J כולל יישומים של מכונת בולצמן המוגבלת, רשתות אמונה עמוקה, מקודד עמוקים, מחסנית אוטומטית מוערמת ורשת טנזור עצבית רקורסיבית, word2vec, doc2vec ו-GloVe. אלגוריתמים אלו כוללים כולם עיבוד מקבילי ומבוזר המשתלבים עם Apache Hadoop ו-Spark.[3]
| מפתח | Adam Gibson  |
|---|---|
| גרסה אחרונה | 0.9.1 (12 באוגוסט 2017) |
| מערכת הפעלה | לינוקס |
| נכתבה בשפות | Java, Scala |
| סוג רישיון | רישיון אפאצ'י |
| קוד מקור | https://github.com/deeplearning4j/deeplearning4j |
| www | |
  | |
DL4J היא תוכנת קוד פתוח ששוחררה תחת Apache License 2.0,[4] שפותחה בעיקר על ידי קבוצת למידת מכונה בסן פרנסיסקו.[5] היא נתמכת מסחרית על ידי הסטארט-אפ Skymind, המאגד את DL4J, TensorFlow, Keras וספריות למידה עמוקה אחרות בהפצה ארגונית הנקראת Skymind Intelligence Layer.[6] באוקטובר 2017 DL4J נתרמה לקרן Eclipse.[7][8]
מבוא
DL4J מסתמכת על שפת התכנות הנפוצה Java, אם כי היא תואמת ל-Clojure וכוללת ממשק תכנות יישומים לScala (API). היא מופעלת על ידי ספריית עיבוד חישובים מתמטית קוד פתוח משלה, ND4J, ועובדת עם CPUs ו-GPUs.[9][10]
נעשה שימוש ב-DL4J במספר יישומים מסחריים ואקדמאים. הקוד מנוהל ב-GitHub.[11] פורום תמיכה מתקיים ב Gitter. [12]
המסגרת ניתנת להרכבה, כלומר ניתן להוסיף רשתות עצביות רדודות כגון מכונות בולצמן מוגבלות, רשתות קונבולוציוניות, מקודדים אוטומטיים ורשתות חוזרות זו לזו כדי ליצור רשתות עמוקות מסוגים שונים. יש לו גם כלי הדמיה נרחבים,[13] וגרפי חישוב.[14]
הפצה
אימון עם DL4J מתרחש באשכול. רשתות עצביות מאומנות במקביל באמצעות הפחתה איטרטיבית, שפועלת על Hadoop- YARN ועל Spark.[5][15] כאשר DL4J משתלב גם עם ליבות CUDA כדי לבצע פעולות GPU טהורות, ועובד עם GPUs מבוזרים.
מחשוב מדעי עבור JVM
DL4J כולל מחלקת מערך n-ממדית באמצעות ND4J המאפשרת מחשוב מדעי ב-Java ו-Scala, בדומה לפונקציות ש-NumPy מספקת לפייתון. היא מבוססת למעשה על ספרייה לפעולות אלגברה ליניארית ומטריצות בסביבת ייצור.
ספריית וקטוריזציה של DataVec ללימוד מכונה
DataVec וקטוריזציה של פורמטים שונים של קבצים וסוגי נתונים באמצעות מערכת פורמט קלט/פלט הדומה לשימוש של Hadoop ב-MapReduce; כלומר, היא הופכת סוגי נתונים שונים לעמודות של סקלרים המכונים "וקטורים". DataVec נועד להגדיר וקטור קובצי CSV, תמונות, קול, טקסט, וידאו וסדרות זמן.[16][17]
טקסט ו-NLP
DL4J כולל ערכת כלים למידול מרחב וקטור ו"מידול נושאים", המיושמת ב-Java ומשולבת עם GPUs מקבילים לביצועים. הוא נועד להתמודד עם סטים גדולים של טקסט.
Deeplearning4j כולל הטמעות של term frequency–inverse document frequency (או tf–idf), למידה עמוקה ואלגוריתם word2vec של Mikolov,[18] doc2vec, ו-GloVe, מיושמים מחדש ומטוייבים ב-Java. היא מסתמכת על t-SNE להדמיות של ענן-מילים.
מקרי שימוש ואינטגרציות מהעולם האמיתי
מקרי שימוש בעולם האמיתי עבור DL4J כוללים זיהוי חדירת לרשת ואבטחת סייבר, זיהוי הונאה למגזר הפיננסי,[19] זיהוי חריגות בתעשיות כמו ייצור, מערכות ממליצים במסחר אלקטרוני ופרסום,[20] וזיהוי תמונות. DL4J השתלב עם פלטפורמות אחרות ללימוד מכונה כגון RapidMiner, Prediction.io, ו-Weka.[21]
שרת מודל למידת מכונה
DL4J משרתת מודלים של לימוד מכונה להסקת מסקנות בייצור באמצעות מהדורת המפתחים החינמית של SKIL, שכבת ה-Skymind Intelligence Layer.[22][23] שרת מודלים משרת את המודלים הפרמטריים של לימוד מכונה שמקבל החלטות לגבי נתונים. הוא משמש לשלב ההסקה של למידת מכונה, לאחר data pipelines והכשרת מודלים (model training). שרת מודל הוא הכלי המאפשר לבצע מחקר במדעי-הנתונים בסביבת ייצור בעולם האמיתי.
מה ששרת אינטרנט הוא עבור האינטרנט, שרת מודל הוא עבור AI. כאשר שרת אינטרנט מקבל בקשת HTTP ומחזיר נתונים על אתר אינטרנט, שרת דגם מקבל נתונים ומחזיר החלטה או חיזוי לגבי נתונים אלה: למשל שלח תמונה, שרת דגם עשוי להחזיר תווית עבור אותה תמונה, המזהה פרצופים או בעלי חיים בתצלומים.
שרת המודלים של SKIL מסוגל לייבא מודלים ממסגרות Python כגון Tensorflow, Keras, Theano ו-CNTK, ובכך מבטיח התגברות על מחסום גדול בפריסת מודלים של למידה עמוקה.